La prochaine étape de Vision Pro : visionOS 2 débloque le suivi d'objets 3D pour une AR améliorée

Apple a officiellement annoncé visionOS 2 lors de sa Conférence Mondiale des Développeurs (WWDC24) le 10 juin 2024. Parmi les améliorations significatives figure une toute nouvelle capacité : le suivi d'objets 3D. Cette fonctionnalité permet au Vision Pro d'identifier et d'interagir avec des objets physiques spécifiques dans l'environnement d'un utilisateur, allant au-delà du suivi d'images 2D disponible depuis le lancement de l'appareil.

UploadVR rapporte que ce suivi avancé, ainsi que les améliorations au suivi des mains et à la compréhension globale de la scène, n'ont pas été mis en avant lors de la présentation principale de la WWDC24. Au lieu de cela, les détails ont émergé des sessions développeurs mises en ligne par les ingénieurs d'Apple. Selon UploadVR, le Vision Pro ne pouvait auparavant suivre que des «images 2D spécifiées, telles que des marqueurs et des plateaux de jeu», mais visionOS 2 étend cela aux objets physiques tridimensionnels.

Le média clarifie le processus pour les développeurs, expliquant qu'ils doivent fournir des modèles 3D (format USDZ) des objets à suivre. Ces modèles sont ensuite traités via l'outil Create ML d'Apple lors de la compilation de l'application sur un Mac. Cette formation génère un réseau neuronal pour chaque objet, qui est ensuite intégré à l'application elle-même. Ils notent que cela signifie que les utilisateurs ne peuvent pas suivre leurs propres objets arbitraires, et l'ajout de nouveaux objets nécessite une mise à jour de l'application.

UploadVR suggère que cette fonctionnalité est très prometteuse, en particulier pour les « cas d'utilisation professionnels et éducatifs, ou même pour des expositions comme les musées ». L'article décrit comment visionOS fournit une "bounding box" avec une échelle et une orientation précises pour chaque objet reconnu, permettant aux développeurs d'ancrer du contenu virtuel directement sur ceux-ci ou de les augmenter avec des effets numériques. La publication exprime un vif intérêt pour « ce que les développeurs visionOS finiront par construire » avec cette nouvelle capacité, qu'elle caractérise comme permettant une « véritable augmentation d'objets spécifiques dans votre espace, et pas seulement de l'environnement ».

Notre avis : Ce suivi d'objets 3D est un pas en avant crucial pour les capacités de réalité augmentée du Vision Pro. Bien que l'implémentation actuelle exige des objets pré-spécifiés, limitant l'interaction spontanée, elle jette les bases d'expériences AR plus sophistiquées dans les secteurs industriel, éducatif et même de la vente au détail. Nous suivons la convergence lente mais constante des réalités numériques et physiques, et cette mise à jour confirme l'engagement d'Apple à permettre une informatique spatiale plus profonde et plus interactive. Les futures itérations aborderont probablement la limitation du suivi d'objets définis par l'utilisateur, mais pour l'instant, cela fournit un cadre robuste pour les applications AR dédiées.