Autonome Agenten-Brillen jetzt möglich mit Ray-Ban Meta, OpenClaw und Gemini

Eine neue Demonstration, veröffentlicht am 28. Februar 2026, zeigt Ray-Ban Meta Smart Glasses, die als autonomer KI-Agent fungieren, ein bedeutender Sprung für das räumliche Computing. Der Entwickler Samin Yasar, ein ehemaliger Amazon-Softwareingenieur, beschreibt, wie er den Kamera-Feed der Brille mit Googles multimodaler Gemini API integrierte und dann die Entscheidungsfindung an OpenClaw übergab, einen Open-Source-Autonomen Agenten, der auf seinem Mac läuft.

Die als "VisionClaw" bezeichnete Einrichtung ermöglicht es der Brille, die Umgebung wahrzunehmen und darauf zu reagieren. In einer Demonstration zeigt Samin Yasar (YouTube), wie das System das Beschleunigungsproblem seines Autos diagnostiziert. Der Agent, der durch die Brille blickt, identifizierte einen verstopften Luftfilter, fand ein Ersatzteil für etwa 16 US-Dollar und bot an, es seinem Amazon-Warenkorb hinzuzufügen. Dieser gesamte Prozess lief ohne explizite Schritt-für-Schritt-Anweisungen von Yasar ab.

Entscheidend ist, dass Yasar (YouTube) die Autonomie des Agenten betonte. Er bemerkte: "Ich musste ihm nicht sagen, er solle zu Amazon gehen. Ich habe keinen Amazon-Bestellworkflow erstellt." Yasar (YouTube) erklärte, dass der Agent genauso gut einen Mechaniker hätte kontaktieren, ein Teileforum durchsuchen oder ein Servicehandbuch hätte konsultieren können. "Aber er wählte die beste Aktion basierend auf dem, was er sah und was ich ihn gefragt hatte. Und das macht ihn agentisch", sagte er.

Die Einfachheit der Architektur ist beabsichtigt, um die Reproduzierbarkeit zu fördern. Die Brille fungiert ausschließlich als Sensor- eine Kamera und ein Mikrofon, ohne On-Device-Verarbeitung. Ein iPhone dient als Brücke über die Meta AI Companion App, wobei der Entwicklermodus genutzt wird. Der Live-Video-Stream wird direkt in Geminis multimodale API für die Bild- und Sprachinterpretation eingespeist. OpenClaw, gehostet auf einem Mac Mini oder einem Virtual Private Server (VPS), bietet persistenten Speicher und Computersteuerung, indem es autonom Apps navigiert, klickt und tippt.

Yasar skizziert die Kernfähigkeiten des Agenten mit dem Akronym SMART: Sehen, Merken, Agieren, Lesen, Lehren. Beispiele sind das Abrufen diktierter Notizen aus seinem lokalen Speicher, das Übersetzen fremder Menüs im Handumdrehen und das Bereitstellen schrittweiser Reparaturanleitungen, während die Hände des Benutzers überwacht werden.

Samin Yasar (YouTube) spricht offen über die aktuellen Einschränkungen. Während die Brille etwa 300 US-Dollar kostet, kann kontinuierliches Live-Video-Streaming zu einem multimodalen Modell monatliche Kosten von Hunderten von Dollar verursachen. Rohe Agenten-API-Tokens sind noch kostspieliger, wobei Benutzer möglicherweise Tausende von Dollar verbrauchen, wenn ein Agent unbeaufsichtigt läuft. Sein Workaround, den der OpenClaw-Gründer ebenfalls empfiehlt, ist das Routing des Agenten über ein Flatrate-ChatGPT Plus-Abonnement. Die Akkulaufzeit bleibt eine harte Obergrenze, und der gesamte Stack erfordert derzeit einen Mac, ein iPhone und eine hohe Toleranz für die Fehlerbehebung. Wie Yasar (YouTube) zugibt: "Nur damit ich diese Demo zum Laufen brachte, waren viele Versuche nötig."

Was das bedeutet: Dieses Projekt unterstreicht einen bedeutenden Branchentrend: Die bestehenden Hardware-Fähigkeiten von Smart Glasses treffen auf die rasanten Fortschritte bei der KI-Software für Endverbraucher. Es war keine neue maßgeschneiderte Hardware erforderlich; die fehlenden Teile- ein multimodales Modell zur Verarbeitung von Bild und Audio sowie eine Agentenschicht mit Speicher und Handlungsberechtigung- sind erst kürzlich verfügbar geworden. Dies spiegelt die umfassenderen Strategien von Unternehmen wie Meta mit seinem kostenpflichtigen KI-Tier, Alibaba mit seinen Qwen Agent Glasses sowie Google und Samsung für Android XR wider.

Das Projekt gibt auch einen Vorgeschmack auf bevorstehende Governance-Herausforderungen. Ein Agent, der autonom browsen, sich bei Konten anmelden und Bestellungen aufgeben kann, wirft ganz andere Datenschutz- und Haftungsbedenken auf als ein einfaches Aufnahmegerät. Yasars lokaler Speicher bietet ein beruhigendes, benutzergesteuertes Modell, aber die unvermeidlichen cloud-basierten, abonnementbasierten Versionen der Hersteller werden bereits von Regulierungsbehörden in Europa und verschiedenen US-Bundesstaaten genau unter die Lupe genommen.