Vision Pros nächster Sprung: visionOS 2 ermöglicht 3D-Objektverfolgung für verbesserte AR

Apple kündigte visionOS 2 offiziell auf seiner Worldwide Developers Conference (WWDC24) am 10. Juni 2024 an. Unter den bedeutenden Verbesserungen ist eine völlig neue Funktion: die 3D-Objektverfolgung. Diese Funktion ermöglicht es dem Vision Pro, spezifische physische Objekte in der Umgebung eines Benutzers zu identifizieren und mit ihnen zu interagieren, und geht über die seit der Einführung des Geräts verfügbare 2D-Bildverfolgung hinaus.

UploadVR berichtet, dass diese fortschrittliche Verfolgung, zusammen mit Verbesserungen der Handverfolgung und des allgemeinen Szenenverständnisses, in der Haupt-Keynote der WWDC24 nicht hervorgehoben wurde. Stattdessen tauchten Details in Entwickler-Sessions auf, die von Apple-Ingenieuren online zur Verfügung gestellt wurden. Laut UploadVR konnte der Vision Pro zuvor nur „spezifizierte 2D-Bilder, wie Marker und Spielbretter“ verfolgen, aber visionOS 2 erweitert dies auf dreidimensionale physische Objekte.

Das Medium erläutert den Prozess für Entwickler und erklärt, dass sie 3D-Modelle (USDZ-Format) der zu verfolgenden Objekte bereitstellen müssen. Diese Modelle werden dann während der App-Kompilierung auf einem Mac über Apples Create ML-Tool verarbeitet. Dieses Training generiert ein neuronales Netzwerk für jedes Objekt, das dann in die Anwendung selbst eingebettet wird. Sie merken an, dass dies bedeutet, dass Benutzer keine beliebigen eigenen Objekte verfolgen können und das Hinzufügen neuer Objekte ein App-Update erfordert.

UploadVR deutet an, dass diese Funktionalität ein beträchtliches Potenzial birgt, insbesondere für „Geschäfts- und Bildungsanwendungen oder sogar für Ausstellungen wie Museen“. Der Artikel beschreibt, wie visionOS für jedes erkannte Objekt einen Begrenzungsrahmen mit genauer Skalierung und Ausrichtung bereitstellt, was es Entwicklern ermöglicht, virtuelle Inhalte direkt daran zu verankern oder sie mit digitalen Effekten zu erweitern. Die Veröffentlichung äußert großes Interesse daran, „was visionOS-Entwickler mit dieser neuen Funktion letztendlich bauen werden“, die sie als „echte Erweiterung spezifischer Objekte in Ihrem Raum, nicht nur der Umgebung“ charakterisiert.

Unsere Einschätzung: Diese 3D-Objektverfolgung ist ein entscheidender Fortschritt für die Augmented-Reality-Fähigkeiten des Vision Pro. Obwohl die aktuelle Implementierung vorab spezifizierte Objekte erfordert und die spontane Interaktion einschränkt, legt sie den Grundstein für anspruchsvollere AR-Erlebnisse in Industrie, Bildung und sogar im Einzelhandel. Wir verfolgen die langsame, aber stetige Konvergenz digitaler und physischer Realitäten, und dieses Update bestätigt Apples Engagement, ein tieferes, interaktiveres Spatial Computing zu ermöglichen. Zukünftige Iterationen werden wahrscheinlich die Einschränkung der benutzerdefinierten Objektverfolgung beheben, aber vorerst bietet dies einen robusten Rahmen für dedizierte AR-Anwendungen.