Des lunettes à agent autonome désormais possibles avec Ray-Ban Meta, OpenClaw et Gemini

Une nouvelle démonstration publiée le 28 février 2026 présente les lunettes connectées Ray-Ban Meta fonctionnant comme un agent d'IA autonome, un bond en avant significatif pour le spatial computing. Le développeur Samin Yasar, un ancien ingénieur logiciel d'Amazon, détaille comment il a intégré le flux de la caméra des lunettes à l'API multimodale Gemini de Google, puis a confié la prise de décision à OpenClaw, un agent autonome open-source fonctionnant sur son Mac.

Surnommée "VisionClaw", la configuration permet aux lunettes de percevoir l'environnement et d'agir en conséquence. Dans une démonstration, Samin Yasar (YouTube) présente le système diagnostiquant un problème d'accélération de sa voiture. L'agent, voyant à travers les lunettes, a identifié un filtre à air encrassé, a trouvé une pièce de rechange pour environ 16 $, et a proposé de l'ajouter à son panier Amazon. Ce processus entier s'est déroulé sans instructions explicites, étape par étape, de la part de Yasar.

De manière cruciale, Yasar (YouTube) a souligné l'autonomie de l'agent. Il a noté, "Je n'ai pas eu à lui dire d'aller sur Amazon. Je n'ai pas construit un flux de travail de commande Amazon." Yasar (YouTube) a expliqué que l'agent aurait tout aussi bien pu contacter un mécanicien, rechercher sur un forum de pièces ou accéder à un manuel d'entretien. "Mais il a choisi la meilleure action en fonction de ce qu'il a vu et de ce que je lui avais demandé. Et c'est ce qui rend cela agentique," a-t-il déclaré.

La simplicité de l'architecture est intentionnelle, favorisant la reproductibilité. Les lunettes fonctionnent uniquement comme des capteurs- une caméra et un microphone, sans traitement sur l'appareil. Un iPhone sert de pont via l'application compagnon Meta AI, utilisant le mode développeur. Le flux vidéo en direct est directement acheminé vers l'API multimodale de Gemini pour l'interprétation visuelle et linguistique. OpenClaw, hébergé sur un Mac Mini ou un serveur privé virtuel (VPS), fournit une mémoire persistante et le contrôle de l'ordinateur, naviguant de manière autonome dans les applications, cliquant et tapant.

Yasar décrit les capacités fondamentales de l'agent avec l'acronyme SMART: See (Voir), Memorize (Mémoriser), Act (Agir), Read (Lire), Teach (Enseigner). Parmi les exemples, on trouve le rappel de notes dictées depuis sa mémoire locale, la traduction instantanée de menus étrangers et la fourniture de conseils de réparation étape par étape tout en surveillant les mains de l'utilisateur.

Samin Yasar (YouTube) est direct quant aux limitations actuelles. Bien que les lunettes coûtent environ 300 $, le streaming vidéo en direct continu vers un modèle multimodal peut entraîner des centaines de dollars de factures mensuelles. Les jetons API bruts des agents sont encore plus coûteux, les utilisateurs pouvant potentiellement dépenser des milliers de dollars si un agent fonctionne sans surveillance. Sa solution de contournement, que le fondateur d'OpenClaw recommande également, consiste à acheminer l'agent via un abonnement forfaitaire ChatGPT Plus. L'autonomie de la batterie reste une limite stricte, et l'ensemble de la pile technologique nécessite actuellement un Mac, un iPhone et une grande tolérance au dépannage. Comme Yasar (YouTube) l'admet, "Il m'a fallu de nombreuses tentatives pour faire fonctionner cette démo."

Ce que cela signifie: Ce projet souligne une tendance industrielle significative : la capacité matérielle existante des lunettes connectées rencontre les avancées rapides des logiciels d'IA grand public. Aucun nouveau matériel sur mesure n'était nécessaire; les pièces manquantes- un modèle multimodal pour traiter la vision et l'audio, et une couche d'agent avec mémoire et le droit d'agir- sont récemment devenues disponibles. Cela reflète les stratégies plus larges d'entreprises comme Meta avec son offre d'IA payante, Alibaba avec ses lunettes à agent Qwen, et Google et Samsung pour Android XR.

Le projet préfigure également des défis de gouvernance imminents. Un agent qui navigue de manière autonome, se connecte à des comptes et passe des commandes présente des préoccupations de confidentialité et de responsabilité très différentes d'un simple appareil d'enregistrement. La mémoire locale de Yasar offre un modèle rassurant et contrôlé par l'utilisateur, mais les versions inévitables basées sur le cloud et par abonnement des fabricants attirent déjà l'attention des régulateurs en Europe et dans divers États américains.