Skip to Content

通過視覺圖靈測試：我們追求 VR 視覺逼真度的背後故事

2020 年 11 月，Meta 執行長 Mark Zuckerberg 傳送電子郵件給技術長 Andrew “Boz” Bosworth 和 Reality Labs 首席科學家 Michael Abrash，信中提出非常直白的問題：「是什麼阻礙我們擁有虛實難辨的 VR 顯示器？我們需要解決什麼問題才能達成目標？」

Recommended Reading

Zuckerberg 和 Abrash 多年來針對打造先進的虛擬實境（VR）顯示系統，已進行了一系列深入的對話，包括在 2015 年造訪具前景的擴增實境（AR）公司、頻繁的電子郵件對話、一對一討論、技術審查，以及多次在雷德蒙德和門洛公園的展示；上述是最近期的一次對話。
 
他們大可以回覆天馬行空的推測，但實情卻恰恰相反，因為由 Douglas Lanman 帶領的 Reality Labs 顯示系統研究（Display Systems Research，簡稱 DSR）團隊在過去五年來，已深入研究了回答 Zuckerberg 提問所需的所有技術。事實上，這個問題來得正是時候；是時候具體規劃 DSR 對 VR 顯示器未來十年的願景了：通過視覺圖靈測試。
 

顯示器研究的終極目標

 
圖靈測試是艾倫·圖靈（Alan Turing）在 1950 年提出的設計，旨在評估電腦是否能像人一般通過測試。視覺圖靈測試則是 DSR 與其他頂尖學術團隊一同採用並協助普及化的詞彙；該測試旨在效法圖靈測試，用來評估 VR 頭戴式裝置所顯示的內容，是否能與現實世界的事物區別。這是一項主觀測試，目前尚未有 VR 技術能通過這項測試。雖然 VR 已經能創造出強烈的存在感，以極具說服力的方式讓人感覺身處虛擬空間中，但卻尚未達到能讓人懷疑所見為實或虛的程度。
 
Zuckerberg 的提問刺激 Lanman 在 2020 年 12 月寫下了後來在內部廣為流傳的備忘錄：「通過視覺圖靈測試」。他在備忘錄中制定了實現目標的詳細藍圖；成功達成此目標將能開啟 VR 功能的全新境界，包括可讓遠距工作的生產力達到（或甚至超越）在實體辦公空間工作的水準的虛擬工作空間、感覺就像在與他人實際相處的虛擬社交互動、虛擬旅遊，以及幾乎所有我們今天會在現實世界中做的事。由 VR 提供的遠距工作將可讓更多人自由選擇想居住的地方，而不需搬到工作所在的地區。這將能為個人和企業創造嶄新機會：想接觸更多工作機會的個人不再受地理位置限制，企業則能藉此開闢廣大的全球人才中心。不過，這項改變世界的技術不會僅止於影響生產力層面。VR 與 AR 能改變世界的潛力等同或甚至勝過個人運算，而難以分辨虛實的逼真視覺體驗將在這當中扮演重大的角色。
 
在今天的「實驗室內幕」貼文中，我們會深入探討 DSR 如何針對視覺體驗的所有面向迎接視覺圖靈測試挑戰，以及他們藉此致力打造出的多項顯示技術（包括 Codec Avatars、逼真的觸控手感、空間音效等更多技術）將如何讓未來的元宇宙擁有真正的逼真體驗。我們會說明 DSR 開發的核心技術、討論推動 DSR 進度的原型設計方法，並分享催化了團隊大部分研究的一項前所未有的感知研究結果。最後，我們會分享多個 DSR 原型的細節，並揭露神祕的設計原型 Mirror Lake：這是整合了 DSR 多個研究領域工作，外型輕巧舒適的新一代頭戴式裝置。
 
這是一個科學探索的故事：從一顆研究想法的種子，成長為全方面的計畫，並且很可能在有朝一日改變我們工作、遊戲和溝通的方式。這個故事的開頭是來自一個挑戰。

挑戰

 
DSR 追求視覺逼真度時面臨的挑戰，一言以蔽之就是：通過視覺圖靈測試所需的技術（尤其是在消費者版頭戴式裝置中）尚未存在。雖然 Quest 和 Quest 2 能打造引人入勝的 3D 視覺體驗，但卻仍比不上我們在現實世界中的體驗。一個顯而易見的目前限制是解析度，但所牽涉到的挑戰卻遠不於此。VR 帶來了許多現今 2D 顯示器不存在的新問題，包括眼球輻輳調節衝突、色差、視差和瞳孔游移。因此，在邁向成熟逼真的 VR 視覺體驗之前，我們必須先克服許多障礙，及進行大量調查研究與用戶研究。跨越技術門檻所需的創新技術可分為多個主要類別。
 
第一個問題是解析度。問題在於，VR 頭戴式裝置的視野比最寬的螢幕還寬廣得多，因此相較於 2D 顯示器，VR 頭戴式裝置上的任何可用像素都必須套用至更為廣大的區域，導致在使用指定像素數時的解析度會降低。舉例來說，以視力 1.0 為準的完整人類視野，橫向所需的像素約為 13,000 個，遠多於任何現有的消費者版顯示器。（現實並非如此嚴苛，因為人眼無法感知完整視野的高解析度，但這依舊能說明挑戰的重大性。）我們不僅需要更多像素，還需要提升這些像素的品質。與筆記型電腦、電視和手機相比，現有 VR 頭戴式裝置的亮度和對比低了許多。因此，VR 的細節與準確呈現的水準，尚未能達到我們使用 2D 顯示器時已習慣的水準。
 
另外，現有 VR 顯示器中使用的鏡頭通常會扭曲虛擬圖像，若未能在軟體中完全校正失真問題，逼真度就會降低；但由於眼球移動以看向不同方向時的失真情形各異，因此要修正此問題是相當困難的。此外，撇除逼真度問題，用戶也會因為有失真情形而難以長時間使用頭戴式裝置，而且頭戴式裝置的重量也會造成暫時性的不適和疲勞。另外還有一項重要元素，雖可視為解析度問題的一部分，但其重大程度足以讓它自成一類：在任何距離皆能正確聚焦的功能。我們很快就會說明並深入探討最後這點，因為這是我們今天這則故事的核心。
 
為了能徹底解決上述的技術門檻，Zuckerberg 和 Lanman 認為通過視覺圖靈測試所需打造的新技術堆疊包括：
 
  • 「變焦」技術：提供正確的聚焦深度（相對於單一固定焦距），進而在一定距離下提供清晰舒適的視野，以延長使用的時間
  • 解析度：接近並最終超越人類視力 1.0
  • 失真校正：藉由視覺光學協助解決像差，例如物體邊緣的色暈和圖像扭曲
  • 高動態範圍（HDR）技術：擴大在 VR 中能體驗到的色彩、亮度和對比範圍
 
開發上述所有功能是必要的（而且很困難！），但還不夠。所有功能最終都必須放進舒適且適合消費者使用的頭戴式裝置中，這表示 DSR 不僅必須推進多項圍繞顯示器的革新技術，還必須打造能遠勝現有裝置的完整顯示系統，而這又將挑戰推向了另一個層次。但這是 DSR 已準備好迎接的挑戰，而且 Zuckerberg 也相信，解決此問題是邁向新一代 VR 的必要關鍵。
 
Lanman 指出這項任務的複雜性：「設計和打造整合所有技術組合的頭戴式裝置，是一項艱鉅且費時的工作，因為所有技術系統在頭戴式裝置顯示器中都是相互關聯的。所有系統都必須為了那相同的大小、重量、效能和成本預算而奮戰，同時也必須能容納進輕巧的穿戴式外型。」這不僅牽涉到要將所有技術塞進有限的預算內，技術堆疊中的每個元素還必須與其他所有元素相容。舉例來說，特定眼球追蹤技術必須與特定類型的顯示鏡頭搭配，才能正常運作。
 
為解決此問題，DSR 已率先進行一系列廣泛的原型設計工作（包括個別技術和完整系統），來規劃及突破龐大 VR 顯示器設計空間的極限，並針對這些原型進行用戶研究，以評估通過視覺圖靈測試的進度。這項工作的實質成果展示於位於雷德蒙德的 Reality Labs（RL）研究中心：整面牆上收藏的原型設計，都是為開發新一代 VR 顯示器而探索的廣泛技術，是 DSR 追尋視覺逼真度的活歷史。
在過去的七年裡，Lanman 的團隊已經打造了兩打功能齊全的 AR/VR 研究耳機，每一款都旨在解鎖新穎的演示和用戶研究。
在這則貼文的其餘部分，我們會探索從最開始直到今天的這段歷史。我們會依序瞭解四個主要技術軸，包括我們多年來多次討論過且已持續多年的變焦計畫最新消息。我們也會討論兩個近期的 DSR 顯示系統架構：Holocake 2 — 據我們所知，在所有 Quest 2 等級的 VR 頭戴式裝置中，其擁有最精簡的光學設計，也是首批包含全像攝影光學系統的頭戴式裝置；Mirror Lake — 此架構是為未來世代的 VR 視覺體驗而設計的提案。
 
讓我們回到 2015 年，回顧這一切的起頭。
 

變焦與手勢所扮演的意外角色

 
在 2015 年，Lanman 新成立的團隊開始調查與通過視覺圖靈測試可能相關的顯示技術。與此同時，Meta（當時名為 Facebook）正準備推出 Oculus Rift，以及將手勢操控帶進 VR 的新穎互動方法：Touch 控制器。
 
Lanman 相信 RL 有朝一日會超越 Touch，讓當時研究團隊仍在開發的手勢追蹤技術問世。（他是對的：我們在 2020 年將手勢新增至 Quest。）這個想法啟發 Lanman 得出了一個重要見解。
Varifocal 是一項涉及根據您正在查看的內容調整顯示焦點的技術。在這個鏡頭鏡頭中，您可以看到它所帶來的不同——尤其是在關注附近物體時。
這個見解就是，若要以最有效的方式使用手勢，就必須將焦點聚焦在手上。這可能看似是一個顯而易見且不足為奇的道理，因為我們在現實世界中就是這麼做的，但這是其中一個進到 VR 就會改變規則的例子。在現實世界中，眼睛中的水晶體會不斷改變形狀，來將焦點調節至我們所觀看的事物所在的距離，進而讓來自該距離的光線正確成像。相反地，現有 VR 頭戴式裝置的光學系統為固定焦距，通常為 5 到 6.5 英尺（1.5 到 2 公尺）。這表示儘管我們沒注意到，但無論我們觀看場景中的何處，VR 中的光線實際上總是來自相同距離，而這對我們的視覺系統來說是一個陌生的現象。您在 VR 中接收到的虛擬 3D 物件模擬距離與聚焦距離（再次強調，現有頭戴式裝置的焦距固定為大約 5 到 6 英尺）不相符時，便會產生眼球輻輳調節衝突（VAC）現象。VAC 是 VR 領域中廣為人知的現象，會導致暫時性疲勞和視覺模糊，也是長時間身處 VR 時會感到不適的原因之一。Zuckerberg 去年在說明變焦的好處時表示：「你的眼睛會嘗試聚焦卻做不到，因為 [顯示器] 只投影 [至] 單一距離。」
 
解決 VAC 問題的一個途徑是動態調整 VR 中的聚焦深度，以配合所關注物件的距離，讓我們的眼睛可以聚焦在正確的距離上；為了達到這個目的，一個可行方法為所謂的「變焦」，也就是讓鏡頭在用戶改變所觀看的事物時隨之移動。為測試這個理論，DSR 在 2016 年建立了一個龐大的經驗驗證原型，如下方所示。我們將這類原型設計（意指與商品化尚相距甚遠，製作目的為透過多年研究與開發探究可能成果）稱為「時光機」。時光機是 DSR 探索未來 VR 視覺技術的設計空間時，所採用的方法中不可或缺的一部分。
DSR 於 2016 年創建的第一個完整的變焦原型，集成了所有必要的組件，以提供引人入勝的體驗——可變焦、強大的眼動追踪、隨顯示焦點變化而更新的實時失真校正，以及遠離焦平面增加的渲染模糊，就像在現實世界中一樣。 2016 年的演示使用原型 Touch 控制器，讓實驗室成員可以直接評估手臂長度內物體的視力優勢。

前所未有的用戶研究與 Half Dome 的演變

 
Zuckerberg 在 2017 年造訪 RL 研究中心時，查看了許多原型，並針對公司在技術上應採取的方向進行了幾項決策。他當天首先試用的 VR 展示是我們針對變焦進行的首次嘗試，他很快就同意這個強大功能改善了周邊物件的清晰度。這個展示和其他早期原型都顯示，以變焦為基礎的原則是可行的，而且主觀上能提供更清晰的視覺體驗。不過，雖然新興證據的前景看好，但仍缺乏公信力，且團隊也尚未有決定性證據可證明 DSR 版本的變焦功能可克服 VAC 並改善靈敏度和舒適度。
 
時任 DSR 團隊的視覺科學家 Marina Zannoli 在此加入並帶頭進行有關變焦的用戶研究，以尋找答案。她首先發出一項艱鉅的工程挑戰：團隊必須打造新的頭戴式裝置，重量和外型規格必須接近 Oculus Rift，以免穿戴龐大原型的整體不適感誤導這項研究。以團隊現有的 2,450 克（5.5 磅）頭戴式裝置為準，他們需要將質量減少至四分之一，同時需要調整讓裝置免去變焦系統產生的噪音和震動。
 
九個月後，團隊交出的成果為 Half Dome Zero，這個 680 克的研究原型頭戴式裝置完全相容於每一個為 Rift 而製作的 VR 遊戲，且更能透過變焦技術在這些遊戲中提供正確的聚焦深度。雖然比 470 克的 Rift 還重了一些，但 Zannoli 相信這個新頭戴式裝置的輕巧程度，已足以用於瞭解用戶的偏好以及變焦的實際好處。
 
接著，Zannoli 必須決定如何測試變焦的預期好處，包括是否能改善周邊物件的清晰度、是否能協助用戶更快速感知到 3D 場景、是否能提升視覺舒適度，以及最重要的是，用戶是否真的比較喜歡新的裝置。
 
Zannoli 在此決定用於解答問題的方法，與使用有限刺激物的標準視覺科學方法（例如視力表）大不相同。她選擇將豐富的 VR 體驗作為研究基礎，並與技術美術人員團隊合作開發建基於電玩遊戲技術的自訂展示應用程式，以鼓勵參與者花費更多時間觀察附近的物件；由於已知的固定焦距 VR 限制，上述是我們目前建議 VR 開發人員避免採取的作法。
Half Dome Zero 用戶研究於 2017 年進行，涉及在 VR 中花費 30 分鐘，涉及三種體驗：First Contact 的修改版本，涉及與附近物體的交互，Dreamdeck 的修改場景，參與者必須在其中搜索一個小的符號，以及一項涉及查看隨機點立體圖並評估參與者理解場景中 3D 模式的速度的任務（注意：這些模式僅在 VR 中可見）。
配備了合適的頭戴式裝置和設計嚴謹的協定後，Zannoli 邀請 63 位參與者完成為期兩天的試用，評估團隊的變焦系統之於固定焦距 VR。其中一天是在 Half Dome Zero 上完全啟用變焦功能，另一天則讓頭戴式裝置以現有標準 VR 頭戴式裝置的固定焦距模式運作。我們請參與者完成一組問卷調查，以主觀評估對各種項目的偏好。
 
研究結果比團隊最初的預測更佳。Zannoli 總結說：「我們檢視結果時發現，使用變焦時，用戶在各方面都感覺更舒適。他們感覺疲勞、噁心及視覺模糊的情形減少了，而且更能夠識別小型物件、閱讀文字時更輕鬆，並能更快速對視覺環境做出反應。」最棒的是，比起固定焦距 VR，大部分參與者更喜歡變焦 VR；這是令人驚訝的結果，因為 Half Dome Zero 是初期的原型，其眼球追蹤及失真校正軟體並不完善。
因此在 2017 年夏季，DSR 終於有決定性證據，能證明變焦功能可為 VR 帶來眾多效能與舒適度優勢，而且同時期在 Inria and UC Berkeley 和 Stanford 的研究也支持這項結論。團隊現在很確定他們的首要任務是解決其餘的工程挑戰，包括眼球追蹤、電腦繪圖、光學設計、控制系統和重量，因此在接下來超過五年的時間，DSR 打造了一系列原型，以突破變焦技術的限制。
2017 年的研究中使用了半圓頂零。借助 Half Dome 1，該團隊將視野擴大到 140 度。對於 Half Dome 2，他們專注於人體工程學和舒適性，減少了 200 克。並且，在 Half Dome 3 中，他們引入了電子變焦，進一步減小了耳機的尺寸和重量。

變焦功能之外：視網膜解析度、無失真顯示器和 HDR

 
Lanman 表示：「對我們的團隊來說，Half Dome 系列是一個轉折點。它協助我們推進與革新變焦技術，也成了我們其他研究計畫的範本。」在 Half Dome 之後，DSR 開始以相同的途徑引導所有的研究工作，這個程序以建立技術要求開始，接著是建立大量經驗驗證時光機、打造完善的概念驗證原型，最後是進行用戶研究以產生用於決定下一代原型的重要資料。
 
Lanman 補充道：「我們嚴謹地將此藍圖套用至視覺圖靈測試的其他層面，特別是解析度、光學失真和動態範圍。」
 
讓我們來更深入瞭解這三個領域，並瞭解各領域目前位於 DSR 研究之路上的哪個階段。
 

Butterscotch：瞭解「視網膜解析度」

 
「視網膜解析度」長久以來都是具備螢幕之產品的黃金標準。雖無公認定義，但一般認為是大約每度 60 個像素（ppd），等同於視力表上的 1.0。大多數筆記型電腦、電視和手機早已超越此指標，但 VR 的進展卻較為落後，因為 VR 的沉浸式視野會將可用像素散佈至更為廣泛的視覺範圍。例如，Quest 2 顯示器為大約 20 ppd。
如果在 VR 中呈現視力表，那麼 Rift 和 Quest 2 都無法分辨出代表 20/20 視力的最低線。相比之下，DSR 的 Butterscotch 原型旨在滿足傳統的視網膜分辨率要求，並且可以在視力表中描繪出最精細的特徵，從通過每種耳機鏡頭拍攝的這些照片中可以看出。
這顯然限制了清楚呈現文字和其他細節的能力，也會限制能感知到的逼真度。舉例來說，日本的研究人員說明，圖像解析度提高時逼真度會隨之穩定增加，直到 120 ppd（遠超越公認的「視網膜」解析度）。由於視覺逼真度是視覺圖靈測試的核心，DSR 多年來已打造一系列高解析度 VR 原型，專門用來探究 VR 中的視網膜解析度的重要性，以及為實際頭戴式裝置尋找可達成該水準的方法。
 
Zuckerberg 和 Bosworth 去年造訪 RL 研究中心時，意外強化了該原型設計的價值。在從機場前往研究中心的路上，Zuckerberg 詢問 Abrash 有關團隊在視網膜解析度方面的進展。Abrash 回答，他可以親自去見證，因為幾個小時後，他就會穿戴上 DSR 最新、最先進的視網膜解析度原型 Butterscotch。
DSR 團隊定期向 Meta 領導層演示，提供對未來 AR/VR 視覺技術的初步了解。左：馬克·扎克伯格在 2017 年訪問華盛頓雷德蒙德的研究團隊時首次體驗了變焦，當時他使用的是早期的 AR 變焦原型（顯然沒有針對人體工程學進行優化！）。右圖：去年訪問 RL Research 時，扎克伯格體驗了 DSR 最新的視網膜分辨率 VR 原型。
Butterscotch 是讓他能最快速直接得到解答的絕佳原型範例。目前並無任何面板可支援標準 VR 視野的視網膜解析度，因此團隊使用 3K 液晶顯示器面板，並將視野縮小至 Quest 2 的一半，以便將解析度提高至 55 ppd，也就是 Quest 2 的 2.5 倍。接著，他們必須開發新類型的混合鏡頭，以完整解析如此高的解析度。
 
成品距離商品化還相當遙遠（太過笨重且過於龐大），但卻能夠讓 Zuckerberg 體驗到近乎視網膜解析度的解析度，並親自見證其帶來的差異，而這正是 DSR 時光機的設計用意。事實上，Zuckerberg 在體驗 Butterscotch 並瞭解視網膜解析度技術對 VR 未來的重要性之後，便指示相關人員針對解析度藍圖進行公司層級的審查。
 
在 VR 解析度能趨近現實之前還有一段很長的路要走，但 Butterscotch 是旅途中的一大進展，也是將其他 DSR 技術整合至高解析度顯示系統的基礎。舉例來說，DSR 正在打造變焦版的 Butterscotch，該版本能提供的解析度將超過 Half Dome Zero 原型的三倍。固定焦距會導致焦平面以外位置的模糊情形，而解析度越高，問題就會顯得越重大；變焦版 Butterscotch 將能讓我們評估在接近人類視力極限的焦距下，完整視覺靈敏度的好處。
 

消除 VR 頭戴式裝置中的光學失真情形

 
VR 視覺體驗的解析度很重要，但這只是整幅拼圖中的一塊而已。圖像品質同樣重要，但由於各種技術原因，沒有任何 VR 鏡頭能完全消除像差。部分像差可透過在軟體中扭曲影像來校正，對所有現有 VR 頭戴式裝置來說，這是一項重大要素，而且成功的校正是帶來絕佳視覺體驗的關鍵。不過，在現有 VR 頭戴式裝置中運作的失真校正軟體並不完善；校正程序是靜態的，但虛擬圖像的失真是動態的，因為失真情形會隨用戶視線的位置改變。如下方所示，這個稱為「瞳孔游移」的現象會降低 VR 的逼真度，因為眼球移動時，所有東西都會跟著稍微移動。使用變焦功能時，這點變得更重要，因為顯示器的焦距改變時，圖像會隨之稍做縮放。
為了使變焦鏡頭無縫工作，光學失真是 VR 中的一個常見問題，需要進一步解決，而不僅僅是當今的頭顯。今天的頭顯中的校正是靜態的，但虛擬圖像的失真是動態的，會隨著人們注視的位置而變化。這種被稱為瞳孔游動的現象會使 VR 看起來不那麼真實，因為當眼睛移動時，一切都會移動一點。
多虧在 2017 年進行 Half Dome Zero 用戶研究時發生的錯誤，團隊當時意外關閉了變焦功能的失真校正，因此他們很早就清楚瞭解正確的變焦失真校正的重要性。他們修正了這個錯誤，但也在過程中瞭解到，變焦功能只有在正確套用鏡頭失真校正時，才會帶來顯著的好處。這凸顯了正確設定失真校正的重要性，但團隊在探索這個主題時，很快就發現他們缺少達成目的所需的工具。
 
問題在於失真研究需花費相當長的時間來設定；光是製造自訂頭戴式裝置中的鏡頭就可能要花上幾週或幾個月的時間，而且為了打造可用於測試且可運作的頭戴式裝置顯示器，這還只是整段漫長過程的起頭。DSR 意識到必須以光學設計軟體（而非鏡頭製造硬體）的速度進行失真研究後，便著手解決問題。
DSR 的 VR 鏡頭失真模擬器使用 3D 電視模擬 VR 耳機。這使團隊能夠以可重複、可靠的方式快速研究新穎的光學設計和失真校正算法，同時還消除了使用完整耳機原型迭代設計的耗時過程。
他們真的解決了問題。團隊已重新利用 3D 電視技術來打造 VR 鏡頭失真模擬器，該模擬器可生成精確受控的失真情形，因此他們能立即針對任何鏡頭設計來研究失真校正演算法。DSR 將於 8 月在 SIGGRAPH 年度會議上展示他們的快速原型設計解決方案。
 
有了此獨特的快速原型設計功能，團隊首次能夠進行用戶研究以調查眼球追蹤的失真校正。與現有頭戴式裝置中的校正軟體不同，動態失真校正會使用眼球追蹤來更新因應眼球移動而進行轉譯的校正結果，因此有潛力可產生靜態校正所無法達成的恆久穩定圖像。
 
快速原型設計能確保大幅加速針對 VR 鏡頭失真和各種校正的研究工作，藉此為未來降低 VR 頭戴式裝置失真問題的工作奠定基礎。
 

Starburst：預覽高動態範圍頭戴式裝置

 
解析度、失真校正和變焦是進階的視覺逼真度的關鍵主軸，但高動態範圍（HDR）一直以來都是與提升逼真度和深度最密不可分的一項技術。HDR 指的是對廣範圍的亮度、對比和色彩的支援，直到最近才在電視領域中受到重視。
 
「尼特」是說明物件可發出多少亮光的單位，室內環境的值通常超過 10,000 尼特（如下方所示）。直到最近，一般電視的亮度只有幾百尼特。不過，Dolby Labs 的研究人員在 2013 年進行了一項用戶研究，他們使用最高可達 20,000 尼特的自訂顯示器，並發現最佳的最大亮度為大約 10,000 尼特。這項前衛的研究激發電視產業在過去五年間開發及推出 HDR 顯示器，且大獲成功。
VR 卻未能取得相同的進展。Quest 2 的最大亮度為大約 100 尼特，而在 VR 頭戴式裝置的電力、散熱和外型規格限制下，想大幅提升亮度值並不容易。Zuckerberg 在去年的一次訪談中說明：「談到顯示器最艱難的挑戰，而且要讓影像超級鮮明，問題就在於 [HDR]。最近電視的 HDR 有變得比較好了。但螢幕的鮮明度……與眼睛在現實世界所看到的相比，是相差數個量級的差異。」現代 VR 頭戴式裝置中使用的液晶顯示器面板，對比度比電視螢幕更低，而且提高亮度通常只會讓問題變得更嚴重，因為這會使較深的顏色淡化，特別是黑色。最後，現有顯示器只能顯示人眼能感知到的全部色彩範圍中的一部分。
 
DSR 研究人員正致力於打造 HDR VR 頭戴式裝置的原型。DSR 研究中心科學家 Nathan Matsuda 表示：「我們最新的 Starburst 既龐大又笨重，也受場地限制，而且用戶必須像舉起特大望遠鏡一樣，把它舉到面前。但如果他們這麼做，就能經歷前所未見的體驗：這個展示能夠重現一般在室內或夜間環境所能見到的完整亮度範圍。」
DSR 的 Starburst 原型重新配置了 Quest 2 耳機的內部結構，在 LCD 面板後面放置了一盞非常明亮的燈。這台“時間機器”是有史以來最亮的 HDR 顯示器之一，峰值亮度達到 20,000 尼特，它是 DSR 所知道的第一款 3D HDR 耳機，使團隊能夠研究 HDR 和 3D 深度感知的相互作用。
沒有什麼能比得上直接親眼見證 HDR 體驗，因此 DSR 將於 8 月在 SIGGRAPH 展示 Starburst。與此同時，DSR 會以一如既往的模式打造出改良的 HDR 頭戴式裝置，作為用戶研究的工具。在打造出真正的 HDR VR 顯示器之前還有一段很長的路要走，但 DSR 已經開始這段旅程，並且會在過程中隨時提供最新消息。
 

實現階段性變更

 
進行多年的展示和用戶研究後，DSR 很確定，若要通過 VR 的視覺圖靈測試，視網膜解析度、變焦、準確的失真校正和 HDR 都十分重要，而且他們也已針對個別領域打造原型，並驗證了這些原型有助於分別推進視覺逼真度的各個面向。但最終的成果是必須實際將所有技術結合在單一輕巧的頭戴式裝置中，因此這讓挑戰更進了一級。
 
問題在於 VR 頭戴式裝置必須是小巧、輕便且時尚的，但為實作 DSR 技術所需的額外硬體卻正好相反。Lanman 觀察道：「在開發高效能變焦頭戴式裝置將近七年後，我們的機械工程師發現，任何出色的變焦系統（至少是那些建基於物理轉譯鏡頭或螢幕的系統），都會為裝置增加 40 到 50 克的重量。」這個重量看似沒有很重（大約兩個 AA 電池的重量），但若放到裝置上，就等於是要求用戶接受比 Quest 2 還重 10% 的頭戴式裝置。
 
這時就輪到 DSR 研究中心科學家 Andrew Maimone 上陣了。Maimone 的研究著重於盡可能縮小現有 VR 的尺寸、重量和電源。Maimone 表示：「我們已從早期原型中瞭解許多事，但為了通過視覺圖靈測試，龐大且笨重的實驗性測試台只是過程中的第一步，最終的目的是在精緻輕巧的外型規格中提供這些技術，讓用戶想要每天使用。因此，我們也打造架構原型，以探索如何將所有元素濃縮在可商品化的大小上。」
 

Holocake：可以減到多輕？

 
Maimone 領導的其中一個架構原型開發工作，就是去年秋天 Zuckerberg 和 Bosworth 在雷德蒙德體驗過，稱為 Holocake 2 的極輕巧頭戴式裝置。
Holocake 2 旨在測試功能齊全的 PC 連接耳機中的全息煎餅鏡頭的光學性能。
結合了全像與餅乾光學（我們在 2020 年關於 Holocake 頭戴式裝置的貼文中，首次討論過此方法），Holocake 2 是我們打造過的 VR 頭戴式裝置中最輕薄的一個。與原始的 Holocake（看起來像一副太陽眼鏡，但缺少重要機械及電子元件，且光學效能比現有消費者版 VR 頭戴式裝置低下許多）不同，Holocake 2 是具備完整功能、繫連電腦且可執行任何電腦版 VR 遊戲的頭戴式裝置。
 
為瞭解 Holocake 2 如何達成其極輕巧的外型規格，我們需要先快速瞭解 VR 顯示器是如何建構而成。現有的 VR 顯示器仰賴的是光源、透過調整光線明暗來形成圖像的顯示器面板，以及將光線從顯示器聚焦至眼球的鏡頭。鏡頭通常必須與顯示器相距幾英寸，才能有足夠的光學倍率來將光線匯聚至眼球。
Holocake 鏡片以兩種方式減少厚度和重量。首先，基於偏振的光學折疊會導致光線在鏡片內部反射，類似於新興的煎餅鏡片。其次，全息膜取代了薄餅鏡片和傳統折射設計（如 Quest 2）中使用的笨重折射鏡片。在每種情況下，來自平板顯示器的光都聚焦在眼睛上。只是外形尺寸不同。
但如上圖所示，我們可以透過幾種方式將鏡頭放置在更靠近顯示器的位置，藉此大幅縮小頭戴式裝置的大小。Holocake 2 同時使用兩種技術來達成此目的。首先，此裝置以全像光學取代鏡頭，此技術能如同鏡頭一般讓光線曲折，但形狀像輕薄的透明玻璃板。其次，此裝置實作偏振光學摺疊技術（模擬餅乾鏡頭，但外型規格比全像光學設計小得多）來大幅縮短光線從顯示器到眼球的距離。
 
這聽起來是個可用來減少尺寸和重量的神奇方法，但當中有什麼蹊蹺？一大問題與光源有關，Holocake 頭戴式裝置需要使用專屬的雷射，而非使用於現有 VR 產品中的 LED。Maimone 表示：「雷射在今日並非難以取得，但很少有消費者產品提供的雷射符合我們所需的效能、尺寸和價格。因此我們必須進行許多工程上的工作，才能讓雷射符合規格且可用於消費者版產品，而且是安全、低成本且有效的，還要能裝進輕薄的 VR 頭戴式裝置中。」
 
至今，我們還不知道是否存在合適的雷射來源，但如果這個方法是可行的，我們就有途徑可實現像太陽眼鏡般的 VR 顯示器了。
 

Mirror Lake：結合所有技術

 
DSR 的多個研究方向皆源於共同的核心理念。正如 Lanman 所說：「我們將自己命名為顯示器『系統』研究中心，因為我們知道，除非我們在過程中開發出出色且能實際運用的架構，否則世界上所有的展示和用戶測試都是毫無用處的。這是 DSR 的核心工作：不斷尋找能解開謎題的解決方案，瞭解如何整合所有技術來打造出新一代視覺體驗，並朝通過視覺圖靈測試的目標邁進。不是以『包辦一切』的方式，而是以優雅的方式帶來真正的用戶價值。」
 
Holocake 2 是該理念下的產品，而且日後還會推出更多成果。今天我們推出了更進一步的顯示系統：Mirror Lake。這個模樣像滑雪護目鏡的概念起源於 Holocake 2 架構，並且幾乎加入了團隊在過去七年間孕育的所有技術。
Mirror Lake 是一種概念設計，具有類似滑雪護目鏡的外形，將 DSR 在過去七年中孵化的幾乎所有先進視覺技術（包括變焦和眼球追踪）集成到緊湊、輕巧、節能的形式中因素。它展示了完整的下一代顯示系統的外觀。
Mirror Lake 展現了擁有扁平外部表面的 Holocake 所開創的可能性。舉例來說，加入 Half Dome 3 輕薄的電子變焦模組可解決眼球輻輳調節衝突，且不會為頭戴式裝置增加太大的厚度。另外，由於採用了個人化視力矯正技術，因此只需在頭戴式裝置前方附加另一層輕薄的鏡片，或甚至只需將配戴者的度數直接建立於主要 Holocake 鏡頭的全像投影中，而無需配戴龐大的處方鏡片。我們也在太陽穴位置裝設了一對前置鏡頭，以啟用由機器學習驅動的傳遞功能；DSR 將會在 SIGGRAPH 展示這項工作成果。
 
眼球追蹤已成為通過視覺圖靈測試的關鍵元素，因為這是變焦和動態失真校正所需的技術。Mirror Lake 架構引領了一個新方法，也就是使用全像膠片來將眼球的光線重新導向至安裝在頭戴式裝置頭帶的相機上，而且這個新穎的方法支援多視點眼球追蹤，能大幅提升準確度。
 
這裡的重點是，多虧全像攝影技術，一切才能是輕薄扁平的。變焦模組以及用於 Holocake、視力矯正和眼球追蹤的所有全像膠片，都是扁平的，而且持續新增輕薄扁平的技術變得很容易。近期開發的反像傳遞顯示器也強調了這點，團隊發現只需在光學堆疊中放入另一個扁平的 3D 顯示器，即可將其整合至 Mirror Lake 設計中。
 
Mirror Lake 概念的前景一片看好，但這目前只是個概念，尚未有功能完整的頭戴式裝置能確鑿地證明此架構。不過，若能順利進展，這將能為 VR 視覺體驗帶來徹底的變革。
 

通過視覺圖靈測試的漫漫長路

 
雖然 Mirror Lake 有帶來顛覆性影響的潛力，但我們只是在通過視覺圖靈測試的漫漫長路中前進了另一步而已。開發通過測試所需的技術，並找到方法將其變身為符合數百萬人需求的頭戴式裝置，將會是個多年的旅程，途中還會遇上許多難題，也需要學習和瞭解許多事物。DSR 完全瞭解這項挑戰，而且致力於完成使命，也就是達到真正的視覺逼真度；他們至今的努力讓團隊和 Zuckerberg 都相信，這個目標最終是能實現的。
 
Zuckerberg 先前曾表示：「當你展望 10 年後的未來時，顯然會希望 [頭戴式裝置] 外型規格變得更小。理想是能做到幾乎等同 VR 界的 Retina 顯示器……[也有必要] 可能 [打造] 某種液體鏡頭或能以機械方式移動的鏡頭，或是基本上能將物件以不同距離投影的裝置……如果所有東西在 VR 中只是稍微暗淡了一點，在色彩的對比和亮度方面，你也不會想放棄人眼可真正看見的鮮明度。」以視網膜解析度、變焦和 HDR 為重心的架構，源自多年與 DSR 的合作，包括投資這些技術、親眼看到這些技術的優勢，以及為每項技術制定往後的實用規劃。
 
讓我們以 Lanman 的話作為結尾：「雷射有可能最終證明對 VR 不實用，至少針對 Holocake 的需要是如此。如果發生這種情況，整個 Mirror Lake 的脆弱結構將隨之瓦解。這就是仰賴新興科技來開發全新顯示系統的挑戰。但確保自己能到達預期目的地的最佳方法，就是要開闢多條路線，而 Mirror Lake 只是 DSR 的其中一個研究方向。無論如何，不管我們走哪一條路，我們的團隊很確定目標是要通過視覺圖靈測試，而且沒有任何事物能阻止我們到達目的地。我們已經在過去的七年瞥見了這個未來，因此我們會繼續致力於找到實際可行的路徑，邁向在視覺上真正逼真的元宇宙。」

Latest Stories

通过视觉图灵测试：我们追求 VR视觉 逼真度的背后故事

Play

Passing the visual Turing test: het verhaal van onze zoektocht naar visueel realisme in VR

Play

Επιτυχής ολοκλήρωση της οπτικής δοκιμής Turing: Η ιστορία εκ των έσω της αναζήτησής μας για οπτικό ρεαλισμό στην εικονική πραγματικότητα

Επιτυχής ολοκλήρωση της οπτικής δοκιμής Turing: Η ιστορία εκ των έσω της αναζήτησής μας για οπτικό ρεαλισμό στην εικονική πραγματικότητα

Play

לעבור את מבחן טיורינג החזותי: סיפור המסע שלנו להשגת ריאליזם חזותי במציאות מדומה

Play

اجتياز اختبار تورنج البصري: القصة الخفية للسعي من أجل تحقيق الواقعية البصرية في الواقع الافتراضي

Play

通過視覺圖靈測試：我們追求 VR 視覺逼真度的背後故事

Play

Superamento del test di Turing visivo: la storia dettagliata del nostro impegno per portare il realismo visivo in VR

Play

Den visuellen Turing-Test bestehen: Einblicke in unser Streben nach visuellem Realismus in der VR

Play

Boz to the Future Episode 10: The Future of VR Displays with Douglas Lanman

Play

Aprovação no teste visual de Turing: a história interna da nossa busca por realismo visual em VR

Play

Aprobar la prueba de Turing visual: Los entretelones de la historia de nuestra búsqueda del realismo virtual en VR

Play

시각적 튜링 테스트 통과하기: VR에서 시각적 사실감을 구현하기 위한 Meta의 여정 들여다보기

Play

ビジュアルチューリングテストを突破するために: VRでの視覚的リアリティを追求するMetaの開発の舞台裏

Play

Passing the visual Turing test: The inside story of our quest for visual realism in VR

Play

Réussir le test visuel de Turing : l’histoire de notre quête du réalisme visuel dans la VR

Play

Making the metaverse: What it is, how it will be built, and why it matters

Meta VP, Global Affairs, Nick Clegg on the metaverse
Play

To help personalize content, tailor and measure ads, and provide a safer experience, we use cookies. By clicking or navigating the site, you agree to allow our collection of information on and off Facebook through cookies. Learn more, including about available controls: Cookies Policy