Google élargit ses capacités d'IA en périphérie avec l'API Prompt de Chrome
Introduction
Google déploie des accélérateurs matériels pour l’inférence sur les ordinateurs portables, les téléphones et les appareils IoT, et les regroupe avec une API Prompt orientée développeur qui vit dans Chrome. Ce mouvement est une réponse directe à Amazon’s AWS Snowball Edge et Microsoft’s Azure Stack, qui offrent déjà des capacités d’IA sur site. La synchronisation de Google coïncide avec un changement industriel plus large vers l’inférence localisée, une tendance qui promet une latence plus faible et des coûts de transfert de données réduits.
L’API Prompt de Chrome étend l’IA sur appareil
L’API Prompt permet aux développeurs Web d’envoyer des invites de texte à des modèles de langage hébergés localement. L’API vit sous l’espace de noms chrome.ai et reflète le modèle de demande-réponse des points de terminaison LLM côté serveur, mais s’exécute entièrement dans le navigateur. La documentation sur developer.chrome.com montre un appel JavaScript simple qui retourne la complétion d’un modèle sans quitter le client. L’API prend en charge les modèles qui implémentent le schéma compatible OpenAI.
Matériel et logiciel de périphérie
L’effort de périphérie de Google comprend des accélérateurs TPU-Edge, qui fournissent un coup de pouce matériel pour l’inférence sur les appareils. The Financial Times rapporte que Google combine ces accélérateurs avec une pile logicielle qui reflète les modèles génératifs de Google Cloud.
Pipelines de talent et effet de levier d’ingénieurs seniors
Un article d’opinion sur EvalCode soutient que l’arrêt des embauches de juniors donne aux ingénieurs seniors un contrôle disproportionné sur les décisions d’architecture. L’auteur note que la propriété des ingénieurs seniors peut conduire à des conceptions monolithiques qui résistent à l’itération rapide, un risque amplifié lors du déploiement de modèles d’IA en périphérie. L’article cite un modèle : les équipes qui maintiennent un flux régulier de talents juniors ont tendance à expérimenter davantage avec les API émergentes.
Pression concurrentielle et implications de marché
Amazon et Microsoft ont déjà commercialisé l’IA en périphérie via les appareils Snowball Edge et Azure Stack HCI, respectivement. L’entrée de Google se concentre sur l’intégration de ses modèles dans le navigateur Chrome, transformant efficacement chaque appareil compatible Chrome en un nœud d’inférence potentiel. Cela pourrait modifier la courbe de coût pour les développeurs qui n’ont plus besoin d’acheter des boîtiers de périphérie spécialisés pour exécuter des LLM.
Contexte industriel
Le mouvement vers l’IA en périphérie est entraîné par la nécessité d’une latence plus faible et de coûts de transfert de données réduits. À mesure que la quantité de données générées par les appareils continue de croître, la nécessité d’un traitement localisé devient de plus en plus importante. L’API Prompt de Google est bien positionnée pour profiter de cette tendance, car elle permet aux développeurs d’exécuter des modèles d’IA directement sur les appareils, réduisant ainsi la nécessité d’un traitement basé sur le cloud.
Histoire de l’IA en périphérie
Le concept d’IA en périphérie n’est pas nouveau, mais les récentes avancées en matériel et logiciel l’ont rendu plus réalisable. Des entreprises comme Amazon et Microsoft investissent dans l’IA en périphérie depuis plusieurs années, et l’entrée de Google sur le marché est un développement important. L’utilisation d’accélérateurs TPU-Edge et de l’API Prompt marque une nouvelle ère dans l’IA en périphérie, car elle fournit une pile matérielle et logicielle spécifiquement conçue pour l’inférence localisée.
Mécaniques techniques
L’API Prompt utilise un environnement sandboxé pour empêcher l’exécution de code arbitraire, ce qui est une fonctionnalité de sécurité clé. L’API prend également en charge les modèles qui implémentent le schéma compatible OpenAI, qui fournit une interface standardisée pour interagir avec les modèles de langage. L’utilisation d’accélérateurs TPU-Edge fournit un coup de pouce significatif aux performances d’inférence, permettant l’exécution de modèles d’IA complexes sur les appareils.
Implications en aval
Les implications des efforts d’IA en périphérie de Google sont considérables. À mesure que le coût de l’exécution de modèles d’IA sur les appareils diminue, nous pouvons nous attendre à voir une prolifération d’applications améliorées par l’IA. Cela pourrait conduire à de nouveaux cas d’utilisation et à de nouveaux modèles commerciaux, car les entreprises cherchent à profiter des capacités offertes par l’IA en périphérie. Le prochain trimestre sera crucial pour déterminer le succès des efforts d’IA en périphérie de Google, car l’entreprise cherche à gagner du terrain sur un marché dominé par Amazon et Microsoft.
À surveiller
Le prochain trimestre révélera si la pile de périphérie de Google prend son essor. Les indicateurs clés comprennent le volume d’appels à l’API Prompt signalés dans la télémétrie Chrome, les benchmarks tiers comparant les performances sur appareil avec les GPU AWS Snowball Edge, et toute annonce d’entreprise de produits d’IA basés sur Chrome.
Développements futurs
À mesure que le marché de l’IA en périphérie continue d’évoluer, nous pouvons nous attendre à voir de nouveaux développements de Google et de ses concurrents. L’accent mis par l’entreprise sur l’intégration de ses modèles dans le navigateur Chrome est un pas important en avant, mais il devra continuer à innover pour rester devant la concurrence. L’utilisation d’accélérateurs TPU-Edge et de l’API Prompt est une base solide, mais Google devra bâtir sur cette base pour réussir à long terme.
Conclusion
L’expansion des capacités d’IA en périphérie de Google avec l’API Prompt de Chrome est un développement important sur le marché de l’IA en périphérie. L’accent mis par l’entreprise sur l’intégration de ses modèles dans le navigateur Chrome et la fourniture d’une pile matérielle et logicielle pour l’inférence localisée est un pas important en avant. À mesure que le marché continue d’évoluer, nous pouvons nous attendre à voir de nouveaux développements de Google et de ses concurrents, et le prochain trimestre sera crucial pour déterminer le succès des efforts d’IA en périphérie de Google.