Google Expands AI Edge Capabilities with Chrome's Prompt API
Introducción
Google está desplegando aceleradores de hardware para inferencia en laptops, teléfonos y dispositivos IoT, y los está empaquetando con una API de Prompt orientada a desarrolladores que vive en Chrome. Este movimiento es una respuesta directa a Amazon’s AWS Snowball Edge y Microsoft’s Azure Stack, que ya ofrecen capacidades de inteligencia artificial locales. El momento de Google coincide con un cambio más amplio en la industria hacia la inferencia localizada, una tendencia que promete una menor latencia y costos de transferencia de datos reducidos.
Chrome’s Prompt API Expands On-Device AI
La API Prompt permite a los desarrolladores web enviar instrucciones de texto a modelos de lenguaje alojados localmente. La API se encuentra bajo el espacio de nombres chrome.ai y refleja el patrón de solicitud-respuesta de los puntos finales de LLM del lado del servidor, pero se ejecuta entirely en el navegador. La documentación en developer.chrome.com muestra una llamada simple de JavaScript que devuelve la finalización de un modelo sin salir del cliente. La API admite modelos que implementan el esquema compatible con OpenAI.
Hardware y Software de Borde
El esfuerzo de borde de Google incluye aceleradores TPU-Edge, que proporcionan un impulso de hardware para la inferencia en dispositivos. The Financial Times informa que Google está combinando estos aceleradores con una pila de software que refleja los modelos generativos de Google Cloud.
Tuberías de Talento y Apalancamiento de Ingenieros Senior
Un artículo de opinión en EvalCode argumenta que detener las contrataciones de junior da a los ingenieros senior un control desproporcionado sobre las decisiones de arquitectura. El autor nota que la propiedad de ingenieros senior puede conducir a diseños monolíticos que resisten la iteración rápida, un riesgo amplificado cuando se implementan modelos de inteligencia artificial en el borde. El artículo cita un patrón: los equipos que mantienen un flujo constante de talento junior tienden a experimentar más con APIs emergentes.
Presión Competitiva y Implicaciones del Mercado
Amazon y Microsoft ya han comercializado la inteligencia artificial en el borde a través de dispositivos Snowball Edge y Azure Stack HCI, respectivamente. La entrada de Google se centra en integrar sus modelos en el navegador Chrome, convirtiendo efectivamente cada dispositivo habilitado para Chrome en un nodo de inferencia potencial. Esto podría cambiar la curva de costos para los desarrolladores que ya no necesitan comprar cajas de borde especializadas para ejecutar LLM.
Contexto de la Industria
El movimiento hacia la inteligencia artificial en el borde está impulsado por la necesidad de una menor latencia y costos de transferencia de datos reducidos. A medida que la cantidad de datos generados por los dispositivos sigue creciendo, la necesidad de procesamiento localizado se vuelve cada vez más importante. La API Prompt de Google está bien posicionada para aprovechar esta tendencia, ya que permite a los desarrolladores ejecutar modelos de inteligencia artificial directamente en los dispositivos, reduciendo la necesidad de procesamiento basado en la nube.
Historia de la Inteligencia Artificial en el Borde
El concepto de inteligencia artificial en el borde no es nuevo, pero los avances recientes en hardware y software han hecho que sea más factible. Empresas como Amazon y Microsoft han estado invirtiendo en inteligencia artificial en el borde durante varios años, y la entrada de Google en el mercado es un desarrollo significativo. El uso de aceleradores TPU-Edge y la API Prompt marca una nueva era en la inteligencia artificial en el borde, ya que proporciona una pila de hardware y software diseñada específicamente para la inferencia localizada.
Mecánica Técnica
La API Prompt utiliza un entorno aislado para prevenir la ejecución de código arbitrario, lo que es una característica de seguridad clave. La API también admite modelos que implementan el esquema compatible con OpenAI, lo que proporciona una interfaz estandarizada para interactuar con modelos de lenguaje. El uso de aceleradores TPU-Edge proporciona un impulso significativo al rendimiento de la inferencia, lo que hace posible ejecutar modelos de inteligencia artificial complejos en dispositivos.
Implicaciones Downstream
Las implicaciones de los esfuerzos de inteligencia artificial en el borde de Google son de gran alcance. A medida que disminuye el costo de ejecutar modelos de inteligencia artificial en dispositivos, podemos esperar ver una proliferación de aplicaciones mejoradas con inteligencia artificial. Esto podría conducir a nuevos casos de uso y modelos de negocio, ya que las empresas buscan aprovechar las capacidades proporcionadas por la inteligencia artificial en el borde. El próximo trimestre será crucial para determinar el éxito de los esfuerzos de inteligencia artificial en el borde de Google, ya que la empresa busca ganar tracción en un mercado dominado por Amazon y Microsoft.
Qué Observar
El próximo trimestre revelará si la pila de borde de Google gana tracción. Los indicadores clave incluyen el volumen de llamadas a la API Prompt informadas en la telemetría de Chrome, las pruebas de benchmark de terceros que comparan el rendimiento en dispositivo con AWS Snowball Edge GPUs y cualquier anuncio empresarial de productos de inteligencia artificial basados en Chrome.
Desarrollos Futuros
A medida que el mercado de inteligencia artificial en el borde sigue evolucionando, podemos esperar ver nuevos desarrollos de Google y sus competidores. El enfoque de la empresa en integrar sus modelos en el navegador Chrome es un paso adelante significativo, pero necesitará seguir innovando para mantenerse por delante de la competencia. El uso de aceleradores TPU-Edge y la API Prompt es un fundamento sólido, pero Google necesitará construir sobre esta base para lograr el éxito a largo plazo.
Conclusión
La expansión de las capacidades de inteligencia artificial en el borde de Google con la API Prompt de Chrome es un desarrollo significativo en el mercado de la inteligencia artificial en el borde. El enfoque de la empresa en integrar sus modelos en el navegador Chrome y proporcionar una pila de hardware y software para la inferencia localizada es un paso adelante sólido. A medida que el mercado sigue evolucionando, podemos esperar ver nuevos desarrollos de Google y sus competidores, y el próximo trimestre será crucial para determinar el éxito de los esfuerzos de inteligencia artificial en el borde de Google.