구글, 크롬의 Prompt API로 AI 엣지 기능 확장

소개

구글이 랩톱, 휴대폰, IoT 기기에서 추론을 위한 하드웨어 가속기를 배포하고 있으며, 크롬에 거주하는 개발자 지향 Prompt API와 함께 제공됩니다. 이러한 움직임은 AWS Snowball Edge 및 Microsoft의 Azure Stack에 대한 직접적인 대응으로, 이미 온프레미스 AI 기능을 제공합니다. 구글이 시기를 맞춘 것은 지역화된 추론에 대한 업계의 광범위한 변화와 일치하며, 지연 시간이 낮고 데이터 전송 비용이 감소하는 것을 약속합니다.

크롬의 Prompt API, 온디바이스 AI 확장

Prompt API를 사용하면 웹 개발자가 로컬 호스트 언어 모델에 텍스트 프롬프트를 전송할 수 있습니다. API는 chrome.ai 네임스페이스에 존재하며 서버 측 LLM 엔드포인트의 요청-응답 패턴을 반영하지만 브라우저에서 완전히 실행됩니다. developer.chrome.com의 문서는 클라이언트를 떠나지 않고 모델의 완성을 반환하는 간단한 자바스크립트 호출을 보여줍니다. API는 OpenAI와 호환되는 스키마를 구현하는 모델을 지원합니다.

엣지 하드웨어 및 소프트웨어

구글의 엣지 노력에는 TPU-Edge 가속기가 포함되어 있어 장치에서 추론을 위한 하드웨어 부스트를 제공합니다. The Financial Times는 구글이 이러한 가속기를 Google Cloud의 생성 모델을 반영하는 소프트웨어 스택과 결합하고 있다고 보고합니다.

인재 파이프라인 및 고위 엔지니어 활용

EvalCode의 의견 기사에서는 주니어 채용을 중단하는 것이 고위 엔지니어에게 아키텍처 결정에 대한 과도한 제어를 제공한다고 주장합니다. 저자는 고위 엔지니어의 소유권이 급격한 반복에 저항하는 모놀리딕 디자인을 초래할 수 있으며, 엣지에서 AI 모델을 배포할 때 위험이 증폭된다고 지적합니다. 이 기사는 팀이 주니어 인재의 꾸준한 흐름을 유지하는 경향이 있는 패턴을 인용합니다.

경쟁 압력 및 시장 영향

구글의 진입은 크롬 브라우저에 모델을 통합하는 데 초점을 맞추고 있으며, 모든 크롬 사용 기기를 잠재적인 추론 노드로 전환합니다. 이는 개발자가 더 이상 LLM을 실행하기 위해 특수한 엣지 박스를 구매할 필요가 없기 때문에 비용 곡선을 변경할 수 있습니다.

산업 컨텍스트

엣지 AI로의 움직임은 지연 시간이 낮고 데이터 전송 비용이 감소해야 하는 필요성에 의해 주도됩니다. 장치에서 생성되는 데이터 양이 계속 증가함에 따라 로컬 처리에 대한 필요성이 점점 더 중요해집니다. 구글이 Prompt API를 통해 이러한 추세를 활용할 수 있는 좋은 위치에 있습니다.

엣지 AI의 역사

엣지 AI의 개념은 새로운 것이 아니지만 하드웨어 및 소프트웨어의 최근 발전으로 인해 더 실현 가능해졌습니다. Amazon 및 Microsoft와 같은 회사는 몇 년 동안 엣지 AI에 투자해 왔으며 구글이 시장에 진입한 것은 중요한 발전입니다.

기술적 메커니즘

Prompt API는 임의 코드 실행을 방지하기 위해 샌드박스 환경을 사용하며, 이는 중요한 보안 기능입니다. API는 또한 OpenAI와 호환되는 스키마를 구현하는 모델을 지원하며, 이는 언어 모델과 상호 작용하기 위한 표준화된 인터페이스를 제공합니다.

향후 영향

구글의 엣지 AI 노력은 광범위한 영향을 미칩니다. 기기에서 AI 모델을 실행하는 비용이 감소함에 따라 AI 강화 애플리케이션의 확산을 기대할 수 있습니다.

주목할 점

다음 분기는 구글이 엣지 스택이 견인력을 얻는지를 드러낼 것입니다. 크롬 원격 측정에서 보고된 Prompt API 호출의 양, AWS Snowball Edge GPU에 대한 온디바이스 성능을 비교하는 제3자 벤치마크 및 크롬 기반 AI 제품에 대한 기업의 발표가 주요 지표입니다.