Apple Vision Pro 开启空间计算时代：要么沉浸，要么死亡！

投稿 | 中信出版集团，摘编自《空间计算》

作者 | 凯西·哈克尔（Cathy Hackl）伊雷娜·克罗宁（Irena Cronin）

责编 | Echo Tang

随着 2024 年 Vision Pro 的发布，苹果公司迎来了下一个 iPhone 时刻。类似于 2007 年的革命，苹果公司通过智能化、沉浸式空间计算平台，再次改变了计算行为的轨迹。就像 2007 年一样，世界再度焕然一新。一款全新的操作系统开启了全新的维度。这些无限的、分层的画布赋予了用户“超能力”。现在，在任何环境中，人们都可以凭借超凡的能力，在传统物理世界和数字世界之外的空间里与信息、内容以及他人交互。我们每天都可以进入前所未有的世界，体验在虚拟和增强领域中形成的奇妙世界。

图源：使用 GPT 生成

人类正在踏上未知的混合现实之旅，这是智能、沉浸式且超越现实的旅程。混合现实提升了人类的能力，在不断发展的混合维度中释放指数级的性能，取得前所未有的成就，促进了物理世界与数字世界的相互联系。

什么是空间计算？

空间计算是很多商界人士在苹果公司于 2023 年 6 月发布 Vision Pro 设备时第一次听到的术语。但是，这并不是一个新术语。有人可能会说，我们的手机是原始的空间设备。事实上，AR、VR、XR（扩展现实）和 AI 领域的很多专业人士多年来一直致力于空间计算。

为了理解空间计算的商业价值，我们首先必须为商业世界创建一个工作定义，并解释它将带来的市场机遇。

一旦这样做了，我们就可以了解商业和计算将如何变化，以便为这一转型做好准备。

很多人追溯到西蒙·格林沃尔德（Simon Greenworld） 2003 年在麻省理工学院发表的硕士论文，在其中，空间计算首次被定义为学术术语。当时他还是麻省理工学院媒体实验室美学和计算小组的研究员。在论文中，他探讨了计算结构的空间环境，并这样定义空间计算：“空间计算是人类与机器的交互，其中机器保留并操纵真实物体和真实空间的参照物。它是让我们的机器在工作和娱乐中成为更好伙伴的重要组成部分。”

他进一步定义：“作为人类与机器的交互，在其中机器保留并操纵真实物体和真实空间的参照物。在理想情况下，这些真实的物体和空间对用户具有优先意义。空间计算更关注体验质量。在大多数情况下，这意味着设计的系统能够突破屏幕和键盘的传统界限，而不会陷入一种界面或温和的模拟。为了让机器在我们的工作和娱乐中成为更全面的伙伴，它们需要加入我们的物理世界。它们将不得不操作我们操作的物体，而我们需要使用我们的物理直觉操作它们。”

格林沃尔德的定义并非独一无二。很早以前，曾是风险投资界和科技界宠儿的 Magic Leap（美国增强现实公司）将他们正在打造的设备描述为空间计算设备。他们将空间计算定义为一种新的计算形式，利用 AI 和计算机视觉将虚拟内容无缝融入我们周围的物理世界。

他们通过一款名为 Magic Leap One 的设备做到了这一点。在 2018 年由前 CEO（首席执行官）罗尼·阿博维茨（Rony Abovitz）和其他几名著名的 Magic Leap（美国增强现实公司）员工撰写的一篇题为《空间计算：给我们技术朋友的概述》的文章中，他们解释了该公司如何将空间计算定义为一种新的计算形式，让数字内容超越当今 2D（二维）屏幕和计算机的限制，并深入研究了其中的一些技术构件。1 从那以后，Magic Leap 就不再使用空间计算这个术语，而是使用 AR 一词，这一变化可以从其最近的媒体采访和网站上可以看到。

在苹果公司 2023 年 6 月召开全球开发者大会（WWDC）期间，该公司公开表示，空间计算“将数字内容与物理世界无缝融合，同时让用户可以身处其中并与他人保持联系。”这一信息进一步反映在其网站和针对开发者的 visionOS（苹果的空间计算操作系统）资料中。

在 Meta Connect 2023 开发者大会期间，Meta 公司宣布推出其 Meta Quest 3（头戴装置），该产品采用新的芯片，使设备能够更好地穿过混合现实，通过先进的空间映射更好地扫描物理世界，以及实现虚拟物品的空间锚定， 让佩戴者每次使用设备时都可以返回起点。Meta 高管还谈到通过智能眼镜的发展迎来下一代计算平台，并表示该公司的新款眼镜将是“未来很长一段时间内市场上最具价值的空间计算眼镜”。

该公司还宣布了新的雷朋 Meta 智能眼镜，该眼镜将在 2024 年实现多模态，能够利用 AI 了解佩戴者周围的环境。微软将其定义为设备感知周围环境并以数字方式表现这种感知的能力，以及在人机交互中提供新功能的能力。

AWS（亚马逊云计算服务）将空间计算定义为虚拟世界与物理世界的结合，通过将物理世界虚拟化，并将虚拟信息叠加到物理世界上，用户可以通过自然和直观的方式与数字内容进行交互。对 AWS 来说，这种结合增强了我们在物理或虚拟场景上进行数据可视化、数据模拟以及与数据交互的方式。亚马逊技术副总裁比尔·瓦斯（Bill Vass）在他的博文《预测未来的最佳方式是模拟未来》中表示，“空间计算是协作体验的动力”。

英伟达公司通过 Omniverse 产品为其开发人员引入了空间框架，而 Niantic（游戏公司）通过其视觉定位系统（VPS）专注于空间映射，该系统使用户能够将虚拟物品放置在特定的现实世界位置，并让该物品持续存在，因此一个人可以留下一个物品供其他人寻找，从而使现实世界的全球桌上游戏变得栩栩如生。

有哪些技术？

空间计算世界依赖于一系列基础技术来驱动其沉浸式体验。这些技术包括 AI 和内容创作工具，以及连接解决方案和云计算。在本节中，我们将探索这些技术及其在空间计算领域中的关键作用。在空间计算领域中，数字世界和物理世界融合在一起，创造出非凡的体验。

AI 基础

AI 是空间计算的基石，包含多个子领域。

• 机器学习（Machine Learning，ML）

空间计算的支柱，使系统能够从数据中学习并适应，而无须明确编程。它让机器可以识别模式、做出决策，并随着时间的推移提高其性能。在空间计算中，机器学习为 AR 导航中的路线规划等应用提供了支持，这些应用通过分析实时传感器数据为用户提供最有效和最友好的路线。通过不断完善其对环境的理解，机器学习在增强用户体验方面发挥着关键作用。

• 深度学习（Deep Learning，DL）

机器学习的一个子集，专注于使用多层神经网络来对复杂模型进行建模。在空间计算中，深度学习能够创建处理大量数据的复杂模型，这对于 AR 和 VR 应用中的图像识别和对象检测至关重要。该技术增强了空间设备识别用户周围环境中的物体和空间并与之交互的能力。

• 强化学习（Reinforcement Learning，RL）

机器学习的一种形式，其中智能体通过采取行动和接收反馈或奖励来学习如何做出决策。在空间计算中，强化学习用于开发游戏和娱乐应用中的动态角色行为。它让角色能够根据用户的输入调整自己的动作，从而创造更具沉浸感和互动性的体验。此外，强化学习有助于空间设备中使用的实时决策过程，以改善用户交互。

• 程序化生成（Procedural Generation）

一种用于通过算法生成内容的技术，可以创建大量不同的风景、物体和场景。在空间计算中，程序化生成为沉浸式环境带来了动态且不断变化的维度。这项技术通常用于生成 3D 世界，使每个用户的体验都是独一无二的。它对于游戏、虚拟模拟和 AR 等应用至关重要，这些应用需要即时生成内容以保持新鲜度和多样性。

• 神经网络（Neural Networks）

受人脑结构启发的计算模型。它们是各种 AI 任务的基础，包括模式识别和数据分析。在空间计算中，神经网络有助于处理复杂的任务。例如，它们在计算机视觉中发挥着关键作用， 能够识别现实世界中的物体和形状。这种功能对于在 AR 应用中增强物理环境至关重要，可以提供实时信息并增强用户理解。

• 计算机视觉（Computer Vision，CV）

一种让机器能够理解和解释来自物理世界的视觉信息的技术。在空间计算中，计算机视觉处于最前沿，它帮助空间设备识别用户周围的物体和空间，并与之交互。它在 AR 导航等应用中发挥着重要作用，可以将数字信息叠加到现实世界中，为用户提供实时方向和导引。

• 传感器技术（Sensor Technology）

传感器技术是空间计算的感觉神经系统，为设备提供感知物理世界的能力。空间设备配备了各种传感器，包括摄像头、陀螺仪、加速度计、GPS、光探测和测距（激光雷达） 等。这些传感器采集与用户周围环境相关的数据，如运动、位置、光照水平甚至深度信息。在空间计算中， 传感器在理解用户的环境和移动、促进精确跟踪、手势识别和物理空间映射方面发挥着关键作用。这些传感器是空间设备的眼睛和耳朵，使它们能够为用户提供实时的、环境感知的体验。无论是用于沉浸式游戏、AR 导航，还是用于工业环境的精确地图绘制，传感器技术对于创建动态体验和交互式空间体验都至关重要。

• 空间音频（Spatial audio）

空间音频是空间计算领域沉浸式体验的无名英雄。它改变了我们感知声音的方式，让我们沉浸在与环境视觉协调一致的 3D 听觉情境之中。无论你是在探索虚拟世界、参加虚拟音乐会，还是在听 AR 讲故事，空间音频都可以为体验的听觉部分增加深度、维度和真实感。它可以让声音从空间中的特定位置发出，从而使用户产生方向感和距离感，甚至可以模拟不同环境的声学效果。空间音频不仅丰富了我们的娱乐体验和游戏体验，而且在训练模拟、虚拟会议和建筑设计中得到应用。这项技术彻底改变了我们与声音互动的方式，使音频成为沉浸式体验中不可或缺的一部分。

• 眼动追踪（Eye tracking）

眼动追踪技术已经成为空间计算领域的游戏规则改变者，为了解用户的意图和兴趣提供了直接的窗口。通过精确监测眼球运动和注视方向，它可以实现与空间设备更自然、更直观的交互。从 VR 和 AR 到游戏和医疗健康应用，眼动追踪都可以增强用户体验。它让设备可以根据用户的视线进行调整，从而提供有针对性的信息，增强沉浸感，甚至提供个性化的内容。除了娱乐之外，眼动追踪在帮助行动障碍患者和协助诊断程序等医疗健康方面也具有很好的前景。借助这项技术，观看行为成为一种强大的工具，以之前难以想象的方式驾驭和塑造数字世界和物理世界。

• 语音识别（Voice recognition）

在 AI 能力的推动下， 语音识别技术已经成为空间计算领域轻松交流的基石。借助语音的力量，用户可以自然地与空间设备进行交互，仅用声音就可以发出指令、提出问题并接收响应。AI 算法是语音识别的基础，其使这些系统能够理解人类语言、口音和语境的细微差别。这项技术不仅为日常工作带来了便利，还为无障碍交流打开了大门，让具备各种能力的个人都能参与空间环境。无论是在 AR 界面导航、控制智能家居设备，还是触手可及的实时语言翻译方面，AI 增强的语音识别都已经成为连接人类意图与数字行动的桥梁。在快速发展的空间计算领域，语音识别就像一首交响乐，使我们的言语与我们想要的行动和体验协调起来。

• 异常检测（Anomaly Detection）

异常检测涉及识别数据中的异常模式或行为。在空间计算中，这项技术对于确保安全至关重要。通过分析传感器数据并识别异常情况，空间设备可以提醒用户潜在的问题。异常检测在与预测性维护相关的应用中尤为重要，它有助于预测设备故障并减少停机时间。

• 基于物理的模拟（Physics-Based Simulation）

基于物理的模拟对于在空间计算中创建逼真、动态的虚拟环境至关重要。空间应用程序可以模仿现实世界的物理交互，增强用户的存在感和互动感。医疗培训模拟、建筑设计和游戏等应用程序利用这项技术来提供逼真的场景和用户体验。

• 优化算法（Optimization Algorithms）

优化算法是空间计算中简化流程和决策的基础。它们确保系统高效、有效地运行。在零售商店布局优化等应用中，这些算法分析客户的移动数据，并帮助零售商通过优化商店布局和产品摆放来增强顾客的购物体验。

• 自然语言处理（Natural Language Processing，NLP）

自然语言处理使机器能够理解人类语言并与之交互。在空间计算中，自然语言处理促进用户和空间设备之间的无缝交流。这对于涉及实时语言翻译的应用尤为关键，AR 眼镜可以将口语即时翻译成字幕或音频，让讲不同语言的人可以轻松交流。

• 语言识别（Speech recognition）

一种将口头语言转换为文本或可操作数据的技术。在空间计算中，这项技术有助于用户交互。它使用户能够发出语音指令并接收来自空间设备的响应，使语音控制界面成为 AR 和 VR 应用程序不可或缺的一部分。

• 生成式 AI（Generative AI，GenAI）

一项为空间计算带来一个新的创造力维度的技术。它让应用程序能够创建 3D 内容和模拟，从而扩展了沉浸式体验的可能性。例如，在时尚设计和奢侈品领域，生成式 AI 可用来处理体积数据、分析供应链信息以及生成产品及设计的虚拟 3D 模型。

这些技术共同构成了空间计算的 AI 框架，为其注入了在现实世界中交互、适应和创新的能力。

AI 在空间计算中的商业效益

为了进一步扩展 AI 在空间计算中的关键作用，我们现在需要探索其切实的商业效益。这种融合对企业意味着什么？企业如何从当前的融合中受益，同时关注 AI 与空间计算在融合方面的快速发展？

AI 在空间计算中的一些切实的商业效益包括下面几类。

第一，改善零售和电子商务中的客户体验。除了聊天机器人之外，空间计算中的 AI 为零售和电子商务中的客户支持提供了更强大的体验。电子商务正在转变为虚拟店面，商店在网上创建其零售点的数字孪生。试验性电子商务平台 Obsess 使用生成式 AI 来设计效率更高的虚拟店面，并大规模生成动态内容。虚拟聊天机器人升级为虚拟的、栩栩如生的人，其可以根据购物者的喜好实时定制个性化响应。

在实体零售点，空间计算中的 AI 扮演着不同的角色。个性化在网上更有可能实现，但实体零售店也可以使用空间计算中的 AI 为店内顾客带来个性化体验，从而弥合他们的数字购物习惯与实体购物习惯之间的差距。店内空间计算中的 AI 可以为顾客在实体零售点的旅程添加时间戳，从而创建顾客的完整视图。尽管并不是每个人都拥有空间计算设备，但智能手机正在接近这个目标。随着支持空间计算技术的可穿戴设备进入市场，零售商可以使用这些设备以及 AI 和数据集来引导顾客获得新的店内购物体验，引导他们尝试不同的产品，或者根据他们的喜好（如对店内服务员、独自购物、橱窗购物，以及那些进进出出的人的要求）来优化购物时间。

第二，加强医疗健康和教育领域的培训和模拟。熟能生巧这句话对任何人都适用，对医疗健康领域的专业人士来说更是如此。了解人体及各种情况是练习者提升自己的唯一途径。从依靠遗传捐赠者进行学习到使用虚拟现实和模拟实验室进行高级模拟，医疗健康培训和教育取得了突飞猛进的进步。再加上空间计算中的 AI，医疗健康从业者将得到全新的培训机会和教育机会。

空间计算中的 AI 不仅仅能用于实操前的学习和练习，还可以帮助外科医生评估他们的手术。在医疗健康教育领域，AI 在空间计算中的作用是提高从初学者到经验丰富从业者的转变速度和质量。将空间计算中的 AI 整合到当前的医疗健康工作流程中，可以通过使用大量数据和学习来实时教育医疗健康从业者，帮助医生更快地判断病情。空间计算中的 AI 与连接设备相结合，能够使从业者看到他们以前无法看到的人体部分，比如肺部的新角度，这些可以为手术和诊断提供信息。

第三，制造效率和物流效率的提高。空间计算中的 AI 有可能彻底改变制造业。目前，很多工厂的运营中都

采用机器人、传感器和数据采集等技术。与人类同行一样，空间计算中的 AI 可以实时指导操作人员。空间计算中的 AI 消除了对过时人机界面的需求，因为它可以向特定位置的操作人员学习，并通过工厂中的摄像头和其他传感器，用计算机视觉来识别生产线上的问题、产品缺陷和其他质量关注点。空间计算中的 AI 可以将相关信息反馈给操作员，以便实时进行调整。空间计算中的 AI 在制造领域和物流领域的应用如果实施得当，可以减少浪费，缩短产品面市所需的时间，并大幅度提高操作人员的安全性。

第四，游戏和娱乐中的创造性应用。游戏和娱乐行业已经为空间计算中的 AI 做好了准备。从用户到新技术的采用，空间计算中的 AI 为我们观看、玩耍和游戏的方式提供了创造性的应用。空间计算中 AI 为开发人员提供创造性应用的一种方式是从使用操纵杆和键盘切换到用眼睛和手势控制。空间计算中的 AI 能在现实世界事件的游戏化中变得有趣，例如在现场比赛中创建篮球运动员的数字孪生，球迷可以通过他们的空间计算机在篮球比赛中与篮球运动员进行互动。

空间计算中的 AI 使得开发人员可以创建基于三维空间的游戏，而不是让基于二维空间的游戏来适配空间计算。空间计算中的 AI 具备利用现实世界环境的能力，能加快物体和场景的开发。另外，利用空间计算机进行空间创作的能力将为游戏开发、电影制作、音乐表演和其他娱乐活动领域创造全新的行业。

第五，农业产业的进步。技术在农业方面的利用并不少见。拖拉机和农机设备装有传感器，可以跟踪种子的播撒情况，并根据土壤和其他相关指标来评估植物的质量。约翰迪尔（John Deere）公司在 2022 年的 CES（国际消费类电子产品展览会）上展示了一款全自动驾驶拖拉机。空间计算中的 AI 是这些联网车辆、传感器和设备的关键进步，可用于增强精准农业，如害虫检测、植物健康、资源分配优化等。空间计算中的 AI 先进的空间可视化技术使农民能够从复杂的农业数据中获得新的见解并识别新的模式。

在房地产领域，空间计算中的 AI 提供了各种各样的用例，从建筑物和住宅的数字孪生到家具摆放或施工前的数字化翻新房屋。

第六，汽车和交通运输行业的创新。空间计算中的 AI 为用户和交通规划者提供了静态的二维地图的视角转换。通过平视显示器将空间计算中的 AI 整合到车辆中，例如宝马 7 系或捷豹 XF 采用的全息显示器，它们可以告诉驾驶员交通状况、协助换挡的换挡点、横向转弯时的加速度大小，以及越野时的转向角和俯仰角等各种信息。在我们大多数人每天都在进行的活动中，空间计算中的 AI 提供了我们以前无法获得的信息和帮助。

针对交通规划者的空间计算 AI 可从道路上的传感器、联网汽车和基础设施中的其他联网数据点获取数据，并利用这些数据来规划路线、预测交通流量并考虑道路状况。空间计算中的 AI 在公共交通运输上，可以利用空间分析来预测各种公共汽车路线的需求。对飞机来说，空间计算中的 AI 在飞行前检查时可以比人工更快、更有效地检查飞机是否被鸟类、闪电或其他事件损坏。空间计算中的 AI 能够缩短检查时间，并提供实时报告。在一个案例中，使用空间计算中的 AI 解决方案，针对损坏的检查时间从 30 分钟缩短到 3 分钟。

【图书推荐】

在《空间计算》中，凯西·哈克尔和伊蕾娜·克罗宁将通过空间创新理念激发你的想象力，以创造新的世界、新的工作方式、新的学习模式、新的交流形式、新的探索途径以及梦想、记忆、发明、解决方案和演进的新方式，从而提供一个变革性的开端。

物理世界与数字世界之间的边界将由各位读者共同塑造。你们是这些未知世界的建筑师，是发现这些世界的天文学家，是探索这些新领域的开拓者。你们的愿景将引领空间设计、体验和人类潜力的新篇章。

由 CSDN 和 Boolan 联合主办的「2024 全球软件研发技术大会（SDCon）」将于 7 月 4 -5 日在北京威斯汀酒店举行。

由 MIT 计算机与 AI 实验室（CSAIL）副主任、ACM FellowDaniel Jackson和世界著名软件架构大师、云原生和微服务领域技术先驱Chris Richardson领衔，华为、BAT、微软、字节跳动、京东等技术专家将齐聚一堂，共同探讨软件开发的最前沿趋势与技术实践。