Vision Pro的下一步飞跃：visionOS 2解锁3D对象追踪，增强AR体验

Apple于2024年6月10日在其全球开发者大会（WWDC24）上正式发布了visionOS 2。其中一项重大增强功能是全新的3D对象追踪能力。此功能使Vision Pro能够识别并与用户环境中的特定物理对象进行交互，超越了设备发布至今一直提供的2D图像追踪。

UploadVR报道称，这项先进的追踪技术，以及手部追踪和整体场景理解的改进，并未在WWDC24主旨演讲中强调。相反，细节是从Apple工程师在线提供的开发者会议中浮出水面。据UploadVR称，Vision Pro此前只能追踪“特定的2D图像，例如标记和游戏棋盘”，但visionOS 2将其扩展到了三维物理物品。

该媒体向开发者阐明了整个过程，解释说开发者必须提供待追踪对象的3D模型（USDZ格式）。这些模型随后通过Mac上的Apple Create ML工具在应用编译期间进行处理。此训练为每个对象生成一个神经网络，然后嵌入到应用程序本身中。他们指出，这意味着用户无法追踪自己的任意对象，添加新对象需要应用更新。

UploadVR认为此功能前景广阔，特别适用于“商业和教育用例，甚至博物馆等展览”。文章描述了visionOS如何为每个识别出的对象提供带有精确比例和方向的包围盒，允许开发者将虚拟内容直接锚定到它们，或用数字效果增强它们。该出版物对visionOS开发者利用这一新功能“最终会构建出什么”表示了浓厚兴趣，并将其描述为实现了“对空间中特定对象的真正增强，而不仅仅是环境”。

我们的看法：此次3D对象追踪是Vision Pro增强现实能力向前迈出的关键一步。尽管目前的实现需要预先指定的对象，限制了自发交互，但它为工业、教育乃至零售领域更复杂的AR体验奠定了基础。我们一直在追踪数字与物理现实缓慢而稳健的融合，此次更新证实了Apple致力于实现更深入、更具交互性的空间计算。未来的迭代可能会解决用户自定义对象追踪的限制，但就目前而言，这为专用AR应用提供了一个强大的框架。