GoogleL'IA Gemini voit désormais votre écran et ce qui vous entoure
Google a commencé à déployer des fonctionnalités de partage d'écran et d'analyse vidéo en temps réel dans l'expérience conversationnelle vocale avancée Gemini Live.
Gemini Live est la version avancée de l'assistant vocal de Google qui combine la voix, la vision et le contexte affiché à l'écran pour assister l'utilisateur.
Photo by Amanz on UnsplashAprès l'intégration récente des outils Canvas (aide à la rédaction et au codage) et Audio Overview (création de podcasts animés par deux IA), l'assistant intelligent Gemini de Google possède désormais des yeux. Un possesseur d'un smartphone Xiaomi a signalé sur Reddit l'activation de nouvelles capacités dans Gemini Live, l'assistant vocal avancé du géant du web. Il a notamment remarqué que l'IA était désormais capable de voir et d'analyser en temps réel ce qui s'affiche sur l'écran ou se trouve dans l'environnement de l'utilisateur, via la caméra du smartphone, et d'interagir en conséquence. Gemini Live peut ainsi répondre à des questions en fonction de ce qu'il voit, comme il le montre dans une vidéo.
Cette nouveauté, qui emboîte le pas à Live Camera de ChatGPT, est liée au projet de recherche Astra, présenté au côté d'autres innovations lors de l'événement Google I/O 2024. Elle sera progressivement déployée auprès des abonnés à Gemini Advanced, dans le cadre du plan Google One AI Premium, a confirmé un porte-parole au site The Verge.