通过视觉图灵测试：我们追求 VR视觉 逼真度的背后故事

上述是近期Zuckerberg 和 Abrash的一次对话，他們多年来针对打造先进的虚拟现实（VR）显示系统，已进行了一系列深入的对话，包括在 2015 年造访具前景的增强现实（AR ）公司、频繁的电邮对话、一对一讨论、技术审查，以及多次在雷德蒙德和门洛公园的演示。 

他们大可以回复天马行空的推测 但实情却恰恰相反，因为由 Douglas Lanman 带领的 Reality Labs 显示系统研究（Display Systems Research，简称 DSR）团队在过去五年来， 已深入研究了回答 Zuckerberg 提问所需的所有技术。 事实上，这个问题来得正是时候; 是时候具体规划 DSR 对 VR 显示未来十年的愿景了：通过视觉图灵测试。 

显示研究的终极目标

图灵测试是艾伦· 图灵（Alan Turing）在 1950 年提出的设计，旨在评估电脑是否能像人一般通过测试。 视觉图灵测试则是DSR与其他顶尖学术团队一同采用并协助普及化的词汇; 该测试旨在效法图灵测试，用来评估VR头戴式装置所显示的内容，是否能与现实世界所見相似。 这是一项主观测试，目前尚未有VR技术能通过这项测试。 虽然VR已经能创造出强烈的存在感，以极具说服力的方式让人感觉身处虚拟空间中，但却尚未达到能让人怀疑所见为实或虚的程度。 

Zuckerberg 的提问刺激 Lanman 在 2020 年 12 月写下了后来在内部广为流传的备忘录，通过视觉图灵测试。 他在备忘录中制定了实现目标的详细蓝图; 成功达成此目标将能开启 VR 功能的全新境界，包括可让远距工作的生产力达到（或甚至超越）在实体办公空间工作的水平的虚拟工作空间、感觉就像在与他人实际相处的虚拟社交互动、虚拟旅游，以及几乎所有我们今天会在现实世界中做的事。 由 VR提供的 远距工作将可让更多人自由选择想居住的地方，而不需搬到工作所在的地区。 这将能为个人和企业创造崭新机会：想接触更多工作机会的个人不再受地理位置限制，企业则能借此开辟广大的全球人才中心。 不过，这项改变世界的技术不会仅止于影响生产力层面。 VR 与 AR 能改变世界的潜力等同或甚至胜过个人运算，而难以分辨虚实的逼真视觉体验将在这当中扮演重大的角色。  

在今天的「实验室内幕」贴文中，我们会深入探讨 DSR 如何针对视觉体验的所有面向迎接视觉图灵测试挑战，以及他们借此致力打造出的多项显示技术（包括 Codec Avatars、逼真的触控手感、空间音效 等更多技术）将如何让未来的元宇宙拥有真正的逼真体验。 我们会说明 DSR 开发的核心技术、讨论推动 DSR 进度的原型设计方法，并分享催化了团队大部分研究的一项前所未有的感知研究结果。 最后，我们会分享多个 DSR 原型的细节，并揭露神秘的设计原型 Mirror Lake：这是整合了 DSR 多个研究领域工作，外型轻巧舒适的新一代头戴式装置。 

这是一个科学探索的故事：从一颗研究想法的种子，成长为全方面的计划，并且很可能在有朝一日改变我们工作、游戏和沟通的方式。 这个故事的开头是来自一个挑战。

挑战

DSR 追求视觉逼真度时面临的挑战，一言以蔽之就是：通过视觉图灵测试所需的技术（尤其是在消费者版头戴式装置中）尚未存在。 虽然 Quest 和 Quest 2 能打造引人入胜的 3D 视觉体验，但却仍比不上我们在现实世界中的体验。 一个显而易见的目前限制是分辨率，但所牵涉到的挑战却远不于此。 VR 带来了许多现今 2D 显示器不存在的新问题，包括眼球辐辏调节冲突、色差、视差和瞳孔游移。 因此，在迈向成熟逼真的 VR 视觉体验之前，我们必须先克服许多障碍，及进行大量调查研究与用户研究。 跨越技术门槛所需的创新技术可分为多个主要类别。 

第一个问题是分辨率。 问题在于，VR 头戴式装置的视野比最宽的屏幕还宽广得多，因此相较于 2D 显示器，VR 头戴式装置上的任何可用像素都必须套用至更为广大的区域，导致在使用指定像素数时的分辨率会降低。 举例来说，以视力 1.0 为准的完整人类视野，横向所需的像素约为 13，000 个，远多于任何现有的消费者版显示器。 （现实并非如此严苛，因为人眼无法感知完整视野的高分辨率，但这依旧能说明挑战的重大性。 ）我们不仅需要更多像素，还需要提升这些像素的品质。 与笔记本电脑、电视和手机相比，现有 VR头 戴式装置的亮度和对比低了许多。 因此，VR 的细节与准确呈现的水平，尚未能达到我们使用 2D 显示器时已习惯的水平。 

另外，现有 VR显示 器中使用的镜头通常会扭曲虚拟图像，若未能在软件中完全校正失真问题，逼真度就会降低; 但由于眼球移动以看向不同方向时的失真情形各异，因此要修正此问题是相当困难的。 此外，撇除逼真度问题，用户也会因为有失真情形而难以长时间使用头戴式装置，而且头戴式装置的重量也会造成暂时性的不适和疲劳。 另外还有一项重要元素，虽可视为分辨率问题的一部分，但其重大程度足以让它自成一类：在任何距离皆能正确聚焦的功能。 我们很快就会说明并深入探讨最后这点，因为这是我们今天这则故事的核心。 

为了能彻底解决上述的技术门槛，Zuckerberg 和 Lanman 认为通过视觉图灵测试所需打造的新技术栈包括：

「变焦」技术：提供正确的聚焦深度（相对于单一固定焦距），进而在一定距离下提供清晰舒适的视野，以延长使用的时间

分辨率：接近并最终超越人类视力 1.0

失真校正：藉由视觉光学协助解决像差，例如物体边缘的色晕和图像扭曲

高动态范围（HDR）技术：扩大在 VR 中能体验到的色彩、亮度和对比范围 

开发上述所有功能是必要的（而且很困难！ ），但还不够。 所有功能最终都必须放进舒适且适合消费者使用的头戴式装置中，这表示 DSR 不仅必须推进多项围绕显示的革新技术，还必须打造能远胜现有装置的完整显示系统，而这又将挑战推向了另一个层次。 但这是 DSR已 准备好迎接的挑战，而且 Zuckerberg 也相信，解决此问题是迈向新一代 VR 的必要关键。 

Lanman 指出这项任务的复杂性：「设计和打造整合所有技术组合的头戴式装置，是一项艰巨且费时的工作，因为所有技术系统在头戴式装置显示器中都是相互关联的。 所有系统都必须为了那相同的大小、重量、效能和成本预算而奋战，同时也必须能容纳进轻巧的穿戴式外型。」 这不仅牵涉到要将所有技术塞进有限的预算内，技术堆叠中的每个元素还必须与其他所有元素兼容。 举例来说，特定眼球追踪技术必须与特定类型的显示镜头搭配，才能正常运作。 

为解决此问题，DSR 已率先进行一系列广泛的原型设计工作（包括个别技术和完整系统），来规划及突破庞大 VR 显示器设计空间的极限，并针对这些原型进行用户研究，以评估通过视觉图灵测试的进度。 这项工作的实质成果展示于位于雷德蒙德的 Reality Labs（RL）研究中心：整面墙上收藏的原型设计，都是为开发新一代 VR 显示器而探索的广泛技术，是 DSR 追寻视觉逼真度的活历史。

在这则贴文的其余部分，我们会探索从最开始直到今天的这段历史。 我们会依序了解四个主要技术轴，包括我们多年来多次讨论过且已持续多年的变焦计划最新消息。 我们也会讨论两个近期的 DSR 显示系统架构：Holocake 2 — 据我们所知，在所有 Quest 2 等级的 VR 头戴式装置中，其拥有最精简的光学设计，也是首批包含全息摄影光学系统的头戴式装置; Mirror Lake — 此架构是为未来世代的 VR 视觉体验而设计的提案。 

让我们回到 2015 年，回顾这一切的起头。 

变焦与手势所扮演的意外角色

在 2015 年，Lanman 新成立的团队开始调查与通过视觉图灵测试可能相关的显示技术。 与此同时，Meta（当时名为 Facebook）正准备推出 Oculus Rift，以及将手势操控带进 VR 的新颖互动方法：Touch 控制器。 

Lanman 相信 RL 有朝一日会超越 Touch，让当时研究团队仍在开发的手势追踪技术问世。 （他是对的：我们在 2020 年将手势新增至 Quest。 ）这个想法启发 Lanman 得出了一个重要见解。

这个见解就是，若要以最有效的方式使用手势，就必须将焦点聚焦在手上。 这可能看似是一个显而易见且不足为奇的道理，因为我们在现实世界中就是这么做的，但这是其中一个进到 VR 就会改变规则的例子。 在现实世界中，眼睛中的水晶体会不断改变形状，来将焦点调节至我们所观看的事物所在的距离，进而让来自该距离的光线正确成像。相反地，现有 VR头 戴式装置的光学系统为固定焦距，通常为 5 到 6.5 英尺（1.5 到 2 米）。 这表示尽管我们没注意到，但无论我们观看场景中的何处，VR 中的光线实际上总是来自相同距离，而这对我们的视觉系统来说是一个陌生的现象。 您在 VR 中接收到的虚拟 3D 对象模拟距离与聚焦距离（再次强调，现有头戴式设备的焦距固定为大约 5 到 6 英尺）不相符时，便会产生 眼球辐辏调节冲突（VAC）现象。 VAC 是 VR领域 中广为人知的现象，会导致暂时性疲劳和视觉模糊，也是长时间身处 VR时 会感到不适的原因之一。 Zuckerberg 去年在说明变焦的好处时表示：「你的眼睛会尝试聚焦却做不到，因为 [显示器] 只投影 [至 ] 单一距离。」 

解决 VAC 问题的一个途径是动态调整 VR 中的焦距深度，以配合所关注对象的距离，让我们的眼睛可以聚焦在正确的距离上; 为了达到这个目的，一个可行方法为所谓的「变焦」，也就是让镜头在用户改变所观看的事物时随之移动。 为测试这个理论，DSR 在 2016 年建立了一个庞大的经验验证原型，如下方所示。 我们将这类原型设计（意指与商品化尚相距甚远，制作目的为透过多年研究与开发探究可能成果）称为「时光机」。 时光机是 DSR 探索未来 VR 视觉技术的设计空间时，所采用的方法中不可或缺的一部分。

前所未有的用户研究与 Half Dome 的演变 

Zuckerberg 在 2017 年造访 RL 研究中心时，查看了许多原型，并针对公司在技术上应采取的方向进行了几项决策。 他当天首先试用的 VR展示 是我们针对变焦进行的首次尝试，他很快就同意这个强大功能改善了周边对象的清晰度。 这个展示和其他早期原型都显示，以变焦为基础的原则是可行的，而且主观上能提供更清晰的视觉体验。 不过，虽然新兴证据的前景看好，但仍缺乏公信力，且团队也尚未有决定性证据可证明 DSR 版本的变焦功能可克服 VAC 并改善灵敏度和舒适度。 

时任 DSR 团队的视觉科学家 Marina Zannoli 在此加入并带头进行有关变焦的用户研究，以寻找答案。 她首先发出一项艰巨的工程挑战：团队必须打造新的头戴式装置，重量和外型规格必须接近 Oculus Rift，以免穿戴庞大原型的整体不适感误导这项研究。 以团队现有的 2,450 克（5.5 磅）头戴式装置为准，他们需要将质量减少至四分之一，同时需要调整让装置免去变焦系统产生的噪音和震动。 

九个月后，团队交出的成果为 Half Dome Zero，这个 680 克的研究原型头戴式装置完全兼容于每一个为 Rift 而制作的 VR 游戏，且更能透过变焦技术在这些游戏中提供正确的聚焦深度。 虽然比 470 克的 Rift 还重了一些，但 Zannoli 相信这个新头戴式设备的轻巧程度，已足以用于了解用户的偏好以及变焦的实际好处。  

接着，Zannoli 必须决定如何测试变焦的预期好处，包括是否能改善周边对象的清晰度、是否能协助用户更快速感知到 3D 场景、是否能提升视觉舒适度，以及最重要的是，用户是否真的比较喜欢新的装置。 

Zannoli 在此决定用于解答问题的方法，与使用有限刺激物的标准视觉科学方法（例如视力表）大不相同。 她选择将丰富的 VR体验作为研究基础，并与技术美术人员团队合作开发建基于电玩游戏技术的自定义展示应用程序，以鼓励参与者花费更多时间观察附近的对象; 由于已知的固定焦距 VR限制 ，上述是我们目前建议 VR 开发人员避免采取的作法。

配备了合适的头戴式装置和设计严谨的协议后，Zannoli 邀请 63 位参与者完成为期两天的试用，评估团队的变焦系统之于固定焦距 VR。 其中一天是在 Half Dome Zero 上完全启用变焦功能，另一天则让头戴式装置以现有标准 VR 头戴式装置的固定焦距模式运作。 我们请参与者完成一组问卷调查，以主观评估对各种项目的偏好。 

研究结果比团队最初的预测更佳。 Zannoli 总结说：「我们检视结果时发现，使用变焦时，用户在各方面都感觉更舒适。 他们感觉疲劳、恶心及视觉模糊的情形减少了，而且更能够识别小型物件、阅读文字时更轻松，并能更快速对视觉环境做出反应。」 最棒的是，比起固定焦距 VR，大部分参与者更喜欢变焦 VR; 这是令人惊讶的结果，因为 Half Dome Zero 是初期的原型，其眼球追踪及失真校正软件并不完善。

因此在 2017 年夏季，DSR 终于有决定性证据，能证明变焦功能可为 VR 带来众多效能与舒适度优势，而且同时期在Inria and UC Berkeley和 Stanford  的研究也支持这项结论。 团队现在很确定他们的首要任务是解决其余的工程挑战，包括眼球追踪、电脑绘图、光学设计、控制系统和重量，因此在接下来超过五年的时间，DSR 打造了一系列原型，以突破变焦技术的限制。

变焦功能之外：视网膜分辨率、无失真显示器和 HDR

Lanman 表示：「对我们的团队来说，Half Dome 系列是一个转折点。 它协助我们推进与革新变焦技术，也成了我们其他研究计划的模板。」 在 Half Dome 之后，DSR 开始以相同的途径引导所有的研究工作，这个程序以建立技术要求开始，接着是建立大量经验验证时光机、打造完善的概念验证原型，最后是进行用户研究以产生用于决定下一代原型的重要资料。 

Lanman 补充道：「我们严谨地将此蓝图套用至视觉图灵测试的其他层面，特别是分辨率、光学失真和动态范围。」 

让我们来更深入了解这三个领域，并了解各领域目前位于 DSR 研究之路上的哪个阶段。 

Butterscotch：了解「视网膜分辨率」 

「视网膜分辨率」长久以来都是具备屏幕之产品的黄金标准。 虽无公认定义，但一般认为是大约每度 60 个像素（ppd），等同于视力表上的 1.0。 大多数笔记本电脑、电视和手机早已超越此指标，但 VR 的进展却较为落后，因为 VR 的沉浸式视野会将可用像素散布至更为广泛的视觉范围。 例如，Quest 2 显示器为大约 20 ppd。

这显然限制了清楚呈现文字和其他细节的能力，也会限制能感知到的逼真度。 举例来说，日本的研究人员说明，图像分辨率提高时逼真度会随之稳定增加，直到 120 ppd（远超越公认的「视网膜」分辨率）。 由于视觉逼真度是视觉图灵测试的核心，DSR 多年来已打造一系列高分辨率 VR 原型，专门用来探究 VR中的 视网膜分辨率的重要性，以及为实际头戴式装置寻找可达成该水平的方法。 

Zuckerberg 和 Bosworth 去年造访 RL 研究中心时，意外强化了该原型设计的价值。 在从机场前往研究中心的路上，Zuckerberg 询问 Abrash 有关团队在视网膜分辨率方面的进展。 Abrash 回答，他可以亲自去见证，因为几个小时后，他就会穿戴上 DSR 最新、最先进的视网膜分辨率原型 Butterscotch。

Butterscotch 是让他能最快速直接得到解答的绝佳原型范例。目前并无任何面板可支持标准 VR视野的视网膜分辨率，因此团队使用 3K 液晶显示器面板，并将视野缩小至 Quest 2 的一半，以便将分辨率提高至 55 ppd，也就是 Quest 2 的 2.5 倍。 接着，他们必须开发新类型的混合镜头，以完整解析如此高的分辨率。  

成品距离商品化还相当遥远（太过笨重且过于庞大），但却能够让 Zuckerberg 体验到近乎视网膜分辨率的分辨率，并亲自见证其带来的差异，而这正是 DSR 时光机的设计用意。 事实上，Zuckerberg 在体验 Butterscotch 并了解视网膜分辨率技术对 VR 未来的重要性之后，便指示相关人员针对分辨率蓝图进行公司层级的检视。 

在 VR分辨率 能趋近现实之前还有一段很长的路要走，但 Butterscotch 是旅途中的一大进展，也是将其他 DSR 技术整合至高分辨率显示系统的基础。 举例来说，DSR 正在打造变焦版的 Butterscotch，该版本能提供的分辨率将超过 Half Dome Zero 原型的三倍。 固定焦距会导致焦平面以外位置的模糊情形，而分辨率越高，问题就会显得越重大; 变焦版 Butterscotch 将能让我们评估在接近人类视力极限的焦距下，完整视觉灵敏度的好处。 

消除 VR头戴式装置中的光学失真情形

VR 视觉体验的分辨率很重要，但这只是整幅拼图中的一块而已。图像质量同样重要，但由于各种技术原因，没有任何 VR 镜头能完全消除像差。部分像差可通过在软件中扭曲图像来校正，对所有现有 VR 头戴式装置来说，这是一项重大要素，而且成功的校正是带来绝佳视觉体验的关键。 不过，在现有 VR头 戴式装置中运作的失真校正软件并不完善；校正程序是静态的，但虚拟图像的失真是动态的，因为失真情形会随用户视线的位置改变。如下方所示，这个称为「瞳孔游移」的现象会降低 VR 的逼真度，因为眼球移动时，所有东西都会跟着稍微移动。使用变焦功能时，这点变得更重要，因为显示器的焦距改变时，图像会随之稍做缩放。

多亏在 2017 年进行 Half Dome Zero 用户研究时发生的错误，团队当时意外关闭了变焦功能的失真校正，因此他们很早就清楚了解正确的变焦失真校正的重要性。 他们修正了这个错误，但也在过程中了解到，变焦功能只有在正确套用镜头失真校正时，才会带来显著的好处。 这凸显了正确设定失真校正的重要性，但团队在探索这个主题时，很快就发现他们缺少达成目的所需的工具。  

问题在于失真研究需花费相当长的时间来设定; 光是制造自定义戴式装置中的镜头就可能要花上几周或几个月的时间，而且为了打造可用于测试且可运作的头戴式装置显示器，这还只是整段漫长过程的起头。 DSR 意识到必须以光学设计软件（而非镜头制造硬件）的速度进行失真研究后，便着手解决问题

他们真的解决了问题。团队已重新利用 3D 电视技术来打造 VR 镜头失真模拟器，该模拟器可生成精确受控的失真情形，因此他们能立即针对任何镜头设计来研究失真校正算法。 DSR 将于 8 月在 SIGGRAPH 年度会议上展示他们的快速原型设计解决方案。 

有了此独特的快速原型设计功能，团队首次能够进行用户研究以调查眼球追踪的失真校正。 与现有头戴式装置中的校正软体不同，动态失真校正会使用眼球追踪来更新因应眼球移动而进行转译的校正结果，因此有潜力可产生静态校正所无法达成的恒久稳定图像。

快速原型设计能确保大幅加速针对 VR镜头失真和各种校正的研究工作，藉此为未来降低 VR 头戴式装置失真问题的工作奠定基础。 

Starburst：预览高动态范围头戴式装置

分辨率、失真校正和变焦是进阶的视觉逼真度的关键主轴，但高动态范围（HDR）一直以来都是与提升逼真度和深度最密不可分的一项技术。 HDR 指的是对广范围的亮度、对比和色彩的支持，直到最近才在电视领域中受到重视。  

「尼特」是说明对象可发出多少亮光的单位，室内环境的值通常超过 10,000 尼特（如下方所示）。 直到最近，一般电视的亮度只有几百尼特。 不过，Dolby Labs的研究人员在 2013 年进行了一项用户研究，他们使用最高可达 20,000 尼特的自订显示器，并发现最佳的最大亮度为大约 10,000 尼特。 这项前卫的研究激发电视产业在过去五年间开发及推出 HDR 显示器，且大获成功。

VR却未能取得相同的进展。 Quest 2 的最大亮度为大约100尼特，而在VR头戴式装置的电力、散热和外型规格限制下，想大幅提升亮度值并不容易。 Zuckerberg 在去年的一次访谈中说明：「谈到显示最艰难的挑战，而且要让影像超级鲜明，问题就在于此 [HDR]。 最近电视的 HDR 有变得比较好了。 但屏幕的鲜明度...... 与眼睛在现实世界所看到的相比，是相差数个量级的差异。」 现代VR头戴式装置中使用的液晶显示器面板，对比度比电视屏幕更低，而且提高亮度通常只会让问题变得更严重，因为这会使较深的颜色淡化，特别是黑色。 最后，现有显示器只能显示人眼能感知到的全部色彩范围中的一部分。 

DSR 研究人员正致力于打造 HDR VR 头戴式设备的原型。 DSR 研究中心科学家 Nathan Matsuda 表示：「我们最新的 Starburst 既庞大又笨重，也受场地限制，而且用户必须像举起特大望远镜一样，把它举到面前。 但如果他们这么做，就能经历前所未见的体验：这个展示能够重现一般在室内或夜间环境所能见到的完整亮度范围。」

没有什么能比得上直接亲眼见证 HDR 体验，因此 DSR 将于 8 月在 SIGGRAPH 展示 Starburst。 与此同时，DSR 会以一如既往的模式打造出改良的 HDR 头戴式装置，作为用户研究的工具。 在打造出真正的 HDR VR 显示器之前还有一段很长的路要走，但 DSR 已经开始这段旅程，并且会在过程中随时提供最新消息。 

实现阶段性变更

进行多年的展示和用户研究后，DSR 很确定，若要通过 VR 的视觉图灵测试，视网膜分辨率、变焦、准确的失真校正和 HDR 都十分重要，而且他们也已针对个别领域打造原型，并验证了这些原型有助于分别推进视觉逼真度的各个面向。 但最终的成果是必须实际将所有技术结合在单一轻巧的头戴式装置中，因此这让挑战更进了一级。 

问题在于 VR头 戴式装置必须是小巧、轻便且时尚的，但为实作 DSR 技术所需的额外硬件却正好相反。 Lanman 观察道：「在开发高效能变焦头戴式装置将近七年后，我们的机械工程师发现，任何出色的变焦系统（至少是那些建基于物理转译镜头或屏幕的系统），都会为设备增加 40 到 50 克的重量。」 这个重量看似没有很重（大约两个 AA 电池的重量），但若放到设备上，就等于是要求用户接受比 Quest 2 还重 10% 的头戴式装置。 

这时就轮到 DSR 研究中心科学家 Andrew Maimone 上阵了。 Maimone 的研究着重于尽可能缩小现有 VR 的尺寸、重量和电源。 Maimone 表示：「我们已从早期原型中了解许多事，但为了通过视觉图灵测试，庞大且笨重的实验性测试台只是过程中的第一步，最终的目的是在精致轻巧的外型规格中提供这些技术，让用户想要每天使用。 因此，我们也打造架构原型，以探索如何将所有元素浓缩在可商品化的大小上。」 

Holocake：可以减到多轻？ 

Maimone 领导的其中一个架构原型开发工作，就是去年秋天 Zuckerberg 和 Bosworth 在雷德蒙德体验过，称为 Holocake 2 的极轻巧头戴式装置。

结合了全息与饼干光学（我们在 2020 年关于 Holocake 头戴式装置的贴文中，首次讨论过此方法），Holocake 2 是我们打造过的 VR 头戴式设备中最轻薄的一个。 与原始的 Holocake（看起来像一副太阳眼镜，但缺少重要机械及电子元件，且光学效能比现有使用者版 VR 头戴式装置低下许多）不同，Holocake 2 是具备完整功能、系连电脑且可执行任何电脑版  VR 游戏的头戴式装置。  

为了解 Holocake 2 如何达成其极轻巧的外型规格，我们需要先快速了解 VR 显示器是如何建构而成。 现有的 VR显示器仰赖的是光源、透过调整光线明暗来形成图像的显示器面板，以及将光线从显示器聚焦至眼球的镜头。 镜头通常必须与显示器相距几英寸，才能有足够的光学倍率来将光线汇聚至眼球。

但如上图所示，我们可以透过几种方式将镜头放置在更靠近显示器的位置，借此大幅缩小头戴式装置的大小。 Holocake 2 同时使用两种技术来达成此目的。 首先，此装置以全息光学取代镜头，此技术能如同镜头一般让光线曲折，但形状像轻薄的透明玻璃板。 其次，此装置实作偏振光学折叠技术（模拟饼干镜头，但外型规格比全息光学设计小得多）来大幅缩短光线从显示器到眼球的距离。 

这听起来是个可用来减少尺寸和重量的神奇方法，但当中有什么蹊跷？ 一大问题与光源有关，Holocake 头戴式装置需要使用专属的雷射，而非使用于现有 VR 产品中的 LED。 Maimone 表示：「激光在今日并非难以取得，但很少有消费者产品提供的激光符合我们所需的效能、尺寸和价格。 因此我们必须进行许多工程上的工作，才能让激光符合规格且可用于消费者版产品，而且是安全、低成本且有效的，还要能装进轻薄的 VR 头戴式装置中。」 

至今，我们还不知道是否存在合适的激光来源，但如果这个方法是可行的，我们就有途径可实现像太阳眼镜般的 VR 显示器了。 

Mirror Lake：整合所有技术

DSR 的多个研究方向皆源于共同的核心理念。 正如 Lanman 所说：「我们将自己命名为显示『系统』研究中心，因为我们知道，除非我们在过程中开发出出色且能实际运用的架构，否则世界上所有的展示和用户测试都是毫无用处的。 这是 DSR 的核心工作：不断寻找能解开谜题的解决方案，了解如何整合所有技术来打造出新一代视觉体验，并朝通过视觉图灵测试的目标迈进。 不是以『包办一切』的方式，而是以优雅的方式带来真正的用户价值。」 

Holocake 2 是该理念下的产品，而且日后还会推出更多成果。今天我们推出了更进一步的显示系统：Mirror Lake。这个模样像滑雪护目镜的概念起源于 Holocake 2 架构，并且几乎加入了团队在过去七年间孕育的所有技术。

Mirror Lake 展现了拥有扁平外部表面的 Holocake 所开创的可能性。举例来说，加入 Half Dome 3 轻薄的电子变焦模块可解决眼球辐辏调节冲突，且不会为头戴式装置增加太大的厚度。另外，由于采用了个性化视力矫正技术，因此只需在头戴式装置前方附加另一层轻薄的镜片，或甚至只需将配戴者的度数直接建立于主要 Holocake 镜头的全息投影中，而无需配戴庞大的矯正镜片。 我们也在太阳穴位置装设了一对前置镜头，以启用由机器学习驱动的传递功能; DSR 将会在 SIGGRAPH展示这项工作成果。 

眼球追踪已成为通过视觉图灵测试的关键元素，因为这是变焦和动态失真校正所需的技术。 Mirror Lake 架构引领了一个新方法，也就是使用全息胶片来将眼球的光线重新导向至安装在头戴式装置头带的相机上，而且这个新颖的方法支持多视点眼球追踪，能大幅提升准确度。 

这里的重点是，多亏全息摄影技术，一切才能是轻薄扁平的。变焦模组以及用于 Holocake、视力矫正和眼球追踪的所有全息胶片，都是扁平的，而且持续新增轻薄扁平的技术变得很容易。近期开发的反象传递显示器也强调了这点，团队发现只需在光学堆叠中放入另一个扁平的 3D 显示器，即可将其整合至 Mirror Lake 设计中。 

Mirror Lake 概念的前景一片看好，但这目前只是个概念，尚未有功能完整的头戴式装置能确凿地证明此架构。 不过，若能顺利进展，这将能为 VR 视觉体验带来彻底的变革。 

通过视觉图灵测试的漫漫长路

虽然 Mirror Lake 有带来颠覆性影响的潜力，但我们只是在通过视觉图灵测试的漫漫长路中前进了另一步而已。 开发通过测试所需的技术，并找到方法将其变身为符合数百万人需求的头戴式装置，将会是个多年的旅程，途中还会遇上许多难题，也需要学习和了解许多事物。 DSR 完全了解这项挑战，而且致力于完成使命，也就是达到真正的视觉逼真度; 他们至今的努力让团队和 Zuckerberg 都相信，这个目标最终是能实现的。 

Zuckerberg 先前曾表示：「当你展望 10 年后的未来时，显然会希望 [头戴式设备] 外型规格变得更小。 理想是能做到几乎等同 VR 界的 Retina 显示器...... [也有必要] 可能 [打造] 某种液态镜头或能以机械方式移动的镜头，或是基本上能将对象以不同距离投影的装置...... 如果所有东西在VR中只是稍微暗淡了一点，在色彩的对比和亮度方面，你也不会想放弃人眼可真正看见的鲜明度。」以视网膜分辨率、变焦和HDR为重心的架构，源自多年与DSR的合作，包括投资这些技术、亲眼看到这些技术的优势，以及为每项技术制定往后的实用规划。 

让我们以 Lanman 的话作为结尾：「激光有可能最终证明对 VR 不实用，至少针对 Holocake 的需要是如此。 如果发生这种情况，整个 Mirror Lake 的脆弱结构将随之瓦解。 这就是仰赖新兴科技来开发全新显示系统的挑战。 但确保自己能到达预期目的地的最佳方法，就是要开辟多条路线，而 Mirror Lake 只是 DSR 的其中一个研究方向。无论如何，不管我们走哪一条路，我们的团队很确定目标是要通过视觉图灵测试，而且没有任何事物能阻止我们到达目的地。 我们已经在过去的七年瞥见了这个未来，因此我们会继续致力于找到实际可行的路径，迈向在视觉上真正逼真的元宇宙。」