通過視覺圖靈測試：我們追求 VR 視覺逼真度的幕後故事

上述是 Zuckerberg  和  Abrash 最近期的一次對話，他們多年來針對打造先進的虛擬實境（VR）顯示系統，已進行了一系列深入的對話，包括在 2015 年造訪具前景的擴增實境（AR）公司、頻繁的電子郵件對話、一對一討論、技術檢視，以及多次在雷德蒙德和門洛公園的 demo。

他們大可以回覆天馬行空的推測，但實情卻恰恰相反，因為由 Douglas Lanman 帶領的 Reality Labs 顯示系統研究（Display Systems Research，簡稱 DSR）團隊在過去五年來，已深入研究了回答 Zuckerberg 提問所需的所有技術。事實上，這個問題來得正是時候；是時候具體規劃 DSR 對 VR 顯示器未來十年的願景：通過視覺圖靈測試。

顯示器研究的終極目標

圖靈測試是艾倫•圖靈（Alan Turing）在 1950 年提出的設計，旨在評估電腦是否能像人一般通過測試。視覺圖靈測試────此詞彙是 DSR 與其他頂尖學術團隊共同採用並協助推廣的用語────該測試旨在效法圖靈測試，用來評估 VR 頭戴式裝置所顯示的內容，是否能與現實世界的事物區別。這是一項主觀的測驗，目前尚未有 VR 技術能通過這項測試。雖然 VR 已經能創造出強烈的臨場感，以極具說服力的方式讓人感覺身處虛擬空間中，但卻尚未達到能讓人覺得真假難辨的程度。 

Zuckerberg 的提問刺激 Lanman 在 2020 年 12 月寫下了後來在內部廣為流傳的備忘錄：「通過視覺圖靈測試」。他在備忘錄中制定了實現目標的詳細藍圖；成功達成此目標將能開啟 VR 功能的全新境界，包括可讓遠距工作的生產力達到（或甚至超越）在實體辦公空間工作的水準的虛擬工作空間、感覺就像在與他人實際相處的虛擬社交互動、虛擬旅遊，以及幾乎所有我們今天會在現實世界中做的事。由 VR 提供的遠距工作將可讓更多人自由選擇想居住的地方，而不需搬到工作所在的地區。這將能為個人和企業創造嶄新機會：想接觸更多工作機會的個人不再受地理位置限制，企業則能藉此開闢廣大的全球人才中心。不過，這項改變世界的技術不會僅止於影響生產力層面。VR 與 AR 能改變世界的潛力等同或甚至勝過個人運算，而難以分辨虛實的逼真視覺體驗將在這當中扮演重大的角色。 

在今天的「實驗室內幕」貼文中，我們會深入探討 DSR 如何針對視覺體驗的所有面向迎接視覺圖靈測試挑戰，以及他們藉此致力打造出的多項顯示技術（包括 Codec Avatars、逼真的觸控手感、空間音效等更多技術）將如何讓未來的元宇宙擁有真實的逼真體驗。我們會說明 DSR 開發的核心技術、討論推動 DSR 進度的原型設計方法，並分享催化了團隊大部分研究的一項前所未有的感知研究結果。最後，我們會分享多個 DSR 原型的細節，並揭露神祕的設計原型 Mirror Lake：這是整合 DSR 多個研究領域工作，外型輕巧舒適的新一代頭戴式裝置。

這是一個科學探索的故事：從一顆研究想法的種子，成長為全方面的計畫，並且很可能在有朝一日改變我們工作、遊戲和溝通的方式。這個故事的開頭是來自一個挑戰。

在這則貼文的其餘內容，我們會探索從最開始直到今天的歷程。我們會依序瞭解四個主要技術軸，包括我們多年來多次討論過且長期努力的變焦計畫最新消息。我們也會討論兩個近期的 DSR 顯示系統架構：Holocake 2 ── 據我們所知，在所有 Quest 2 等級的 VR 頭戴式裝置中，擁有最精簡的光學設計，也是首批包含全息攝影光學系統的頭戴式裝置；Mirror Lake ── 此架構是為未來世代的 VR 視覺體驗而設計的提案。 

讓我們回到 2015 年，回顧這一切的源頭。

變焦與手勢所扮演的意外角色

在 2015 年，Lanman 新成立的團隊開始深入了解與通過視覺圖靈測試可能相關的顯示技術。與此同時，Meta（當時名為 Facebook）正準備推出 Oculus Rift，以及將手勢操控帶進 VR 的嶄新互動方法：Touch 控制器。

Lanman 相信 RL 有朝一日會超越 Touch，讓當時研究團隊仍在開發的手勢追蹤技術問世。（他是對的：我們在 2020 年將手勢新增至 Quest。）這個想法啟發 Lanman 得出了一個重要見解。

這個見解就是，若要以最有效的方式使用手勢，就必須讓鏡頭對焦在手上。這可能看似是一個顯而易見且不足為奇的道理，因為我們在現實世界中就是這麼做的，但這是其中一個進到 VR 就會改變規則的例子。在現實世界中，眼睛中的水晶體會不斷改變形狀，來將焦距調節至我們所觀看的事物所在的距離，進而讓來自該距離的光線正確成像。相反地，現有 VR 頭戴式裝置的光學系統為固定焦距，通常為 5 到 6.5 英尺（1.5 到 2 公尺）。這表示儘管我們沒注意到，但無論我們觀看場景中的何處，VR 中的光線實際上總是來自相同距離，而這對我們的視覺系統來說是一個陌生的現象。您在 VR 中接收到的虛擬 3D 物件模擬距離與焦距（再次強調，現有頭戴式裝置的焦距固定為大約 5 到 6 英尺）不相符時，便會產生眼球輻輳調節衝突（VAC）現象。VAC 是 VR 領域中廣為人知的現象，會導致暫時性疲勞和視覺模糊，也是長時間身處 VR 時會感到不適的原因之一。Zuckerberg 去年在說明變焦的優點時表示：「你的眼睛想嘗試聚焦，卻做不到，因為（顯示）只投射（至）單一距離。」 

解決 VAC 問題的一個途徑是動態調整 VR 中的焦距深度，以配合所關注物體的距離，讓我們的眼睛可以聚焦在正確的距離上；為了達到這個目的，一個可行方法為所謂的「變焦」，也就是讓鏡頭在用戶改變所觀看的事物時隨之移動。為測試這個理論，DSR 在 2016 年建立了一個龐大的經驗驗證原型，如下方所示。我們將這類原型設計—意指與商品化尚相距甚遠，製作目的為透過多年研究與開發探究可能成果—稱為「時光機」。時光機是 DSR 探索未來 VR 視覺技術的設計空間時，所採用的方法中不可或缺的一部分。

配備了合適的頭戴式裝置和設計嚴謹的協定後，Zannoli 邀請 63 位參與者完成為期兩天的試用，評估團隊的變焦系統之於固定焦距 VR。其中一天是在 Half Dome Zero 上完全啟用變焦功能，另一天則讓頭戴式裝置以現有標準 VR 頭戴式裝置的固定焦距模式運作。我們請參與者完成一組問卷調查，以主觀評估對各種項目的偏好。 

研究結果比團隊最初的預測更佳。Zannoli 總結說：「我們檢視結果時發現，使用變焦時，用戶在各方面都感覺更舒適。他們感覺疲勞、噁心及視覺模糊的情形減少了，而且更能夠識別小型物體、閱讀文字時更輕鬆，並能更快速對視覺環境做出反應。」最棒的是，比起固定焦距 VR，大部分參與者更喜歡變焦 VR；這是令人驚訝的結果，因為 Half Dome Zero 是初期的原型，其眼球追蹤及失真校正軟體並不完善。

這顯然限制了清楚呈現文字和其他細節的能力，也會限制能感知到的逼真度。舉例來說，日本的研究人員說明，圖像解析度提高時逼真度會隨之穩定增加，直到 120 ppd（遠超越公認的「視網膜」解析度）。由於視覺逼真度是視覺圖靈測試的核心，DSR 多年來已打造一系列高解析度 VR 原型，專門用來探究 VR 中的視網膜解析度的重要性，以及為實際頭戴式裝置尋找可達成該水準的方法。 

Zuckerberg 和 Bosworth 去年造訪 RL 研究中心時，意外強化了該原型設計的價值。在從機場前往研究中心的路上，Zuckerberg 詢問 Abrash 有關團隊在視網膜解析度方面的進展。Abrash 回答，他可以親自去見證，因為幾個小時後，他就會穿戴上 DSR 最新、最先進的視網膜解析度原型 Butterscotch。

Butterscotch 是讓他能最快速直接得到解答的絕佳原型範例。目前並無任何面板可支援標準 VR 視野的視網膜解析度，因此團隊使用 3K 液晶顯示器面板，並將視野縮小至 Quest 2 的一半，以便將解析度提高至 55 ppd，也就是 Quest 2 的 2.5 倍。接著，他們必須開發新類型的混合鏡頭，得以完整解析如此高的解析度。 

成品距離商品化還相當遙遠（太過笨重且過於龐大），但卻能夠讓 Zuckerberg 體驗到近乎視網膜解析度的標準，並親自見證其帶來的差異，而這正是 DSR 時光機的設計用意。事實上，Zuckerberg 在體驗 Butterscotch 並瞭解視網膜解析度技術對 VR 未來的重要性之後，便要求相關人員針對解析度的未來規畫，進行公司層級的檢視。

在 VR 解析度能趨近現實之前還有一段很長的路要走，但 Butterscotch 是旅途中的一大進展，也是將其他 DSR 技術整合至高解析度顯示系統的基礎。舉例來說，DSR 正在打造變焦版的 Butterscotch，該版本能提供的解析度將超過 Half Dome Zero 原型的三倍。定焦會導致焦平面以外的模糊，而解析度越高，問題就會顯得越重大；變焦版 Butterscotch 將能讓我們評估在接近人類視力極限的焦距下，讓視覺靈敏度的好處更完整。

消除 VR 頭戴式裝置中的光學失真情形

VR 視覺體驗的解析度很重要，但這只是整幅拼圖中的一塊而已。圖像品質同樣重要，但由於各種技術原因，沒有任何 VR 鏡頭能完全消除像差。部分像差可透過在軟體中扭曲影像來校正，對所有現有 VR 頭戴式裝置來說，這是一項重大要素，而且成功的校正是帶來絕佳視覺體驗的關鍵。不過，在現有 VR 頭戴式裝置中運作的失真校正軟體並不完善；校正程序是靜態的，但虛擬圖像的失真是動態的，因為失真情形會隨用戶視線的位置改變。如下方所示，這個稱為「瞳孔游移」的現象會降低 VR 的逼真度，因為眼球移動時，所有東西都會跟著稍微移動。使用變焦功能時，這點變得更重要，因為顯示器的焦距改變時，圖像會隨之稍做縮放。

多虧在 2017 年進行 Half Dome Zero 用戶研究時發生的錯誤，團隊當時意外關閉了變焦功能的失真校正，因此他們很早就清楚瞭解正確的變焦失真校正的重要性。他們修正了這個錯誤，但也在過程中瞭解到，變焦功能只有在正確套用鏡頭失真校正時，才會帶來顯著的好處。這凸顯了正確設定失真校正的重要性，但團隊在探索這個主題時，很快就發現他們缺少達成目的所需的工具。

問題在於失真研究需花費相當長的時間來設定；光是製造自訂頭戴式裝置中的鏡頭就可能要花上幾週或幾個月的時間，而且為了打造可用於測試且可運作的頭戴式裝置顯示器，這還只是整段漫長過程的起頭。DSR 意識到必須以光學設計軟體（而非鏡頭製造硬體）的速度進行失真研究後，便著手解決問題。

他們真的解決了問題。團隊已重新利用 3D 電視技術來打造 VR 鏡頭失真模擬器，該模擬器可生成精確受控的失真情形，因此他們能立即針對任何鏡頭設計來研究失真校正演算法。DSR 將於 8 月在 SIGGRAPH 年度會議上展示他們的快速原型設計解決方案。

有了此獨特的快速原型設計功能，團隊得以首次透過用戶研究調查眼球追蹤的失真校正。與現有頭戴式裝置中的校正軟體不同，動態失真校正透過眼球追蹤，來依照眼球移動而更新進行渲染的校正結果，因此有潛力可產生目前靜態校正所無法達成的永久靜態圖像。

快速原型設計能確保大幅加速針對 VR 鏡頭失真和各種校正的研究工作，藉此為未來降低 VR 頭戴式裝置失真問題的工作奠定基礎。

Starburst：預覽高動態範圍頭戴式裝置

解析度、失真校正和變焦是進階的視覺逼真度的關鍵主軸，但高動態範圍（HDR）一直以來都是與提升逼真度和深度最密不可分的一項技術。HDR 指的是對廣範圍的亮度、對比和色彩的支援，直到最近才在電視領域中受到重視。

「尼特」是說明物體可發出多少亮光的單位，室內環境的值通常超過 10,000 尼特（如下方所示）。直到最近，一般電視的亮度只有幾百尼特。不過，Dolby Labs 的研究人員在 2013 年進行了一項用戶研究，他們使用最高可達 20,000 尼特的自訂顯示器，並發現最佳的最大亮度為大約 10,000 尼特。這項前衛的研究激發電視產業在過去五年間開發及推出 HDR 顯示器，且大獲成功。

VR 卻未能取得相同的進展。Quest 2 的最大亮度為大約 100 尼特，而在 VR 頭戴式裝置的電力、散熱和外型規格限制下，想大幅提升亮度值並不容易。Zuckerberg 在去年的一次訪談中說明：「談到顯示最艱難的挑戰，而且要讓影像超級鮮明，問題就在於 (HDR)。最近電視的 HDR 已有改善。但螢幕的鮮明度……與眼睛在現實世界所看到的相比，有極大的差異。」現代 VR 頭戴式裝置中使用的液晶顯示器面板，對比度比電視螢幕更低，而且提高亮度通常只會讓問題變得更嚴重，因為這會使較深的顏色淡化，特別是黑色。最後，現有顯示器只能顯示人眼能感知到的全部色彩範圍中的一部分。

DSR 研究人員正致力於打造 HDR VR 頭戴式裝置的原型。DSR 研究中心科學家 Nathan Matsuda 表示：「我們最新的 Starburst 既龐大又笨重，也受場地限制，而且用戶必須像舉起特大望遠鏡一樣，把它舉到面前。但如果他們這麼做，就能經歷前所未見的體驗：這個 demo 能夠呈現一般在室內或夜間環境所能見到的完整亮度範圍。」

直接親眼見證 HDR 的體驗無與倫比，因此 DSR 將於 8 月在 SIGGRAPH 展示 Starburst。與此同時，DSR 會以一如既往的模式打造出優化的 HDR 頭戴式裝置，作為用戶研究的工具。在打造出真正的 HDR VR 顯示器仍路途遙遠，但 DSR 已經開啟這段旅程，並且會在過程中隨時提供最新消息。

實現階段性改變

進行多年的 demo 和用戶研究後，DSR 很確定，若要通過 VR 的視覺圖靈測試，視網膜解析度、變焦、準確的失真校正和 HDR 都十分重要，而且他們也已針對個別領域打造原型，並驗證了這些原型有助於分別推進視覺逼真度的各個面向。但最終的成果是必須實際將所有技術整合在單一輕巧的頭戴式裝置中，因此這讓挑戰更為困難。

問題在於 VR 頭戴式裝置必須是小巧、輕便且時尚的，但為實作 DSR 技術所需的額外硬體卻恰恰相反。Lanman 觀察：「在開發高效能變焦頭戴式裝置將近七年後，我們的機械工程師發現，任何出色的變焦系統（至少是那些奠基於實體轉換型鏡頭或螢幕的系統），都會為裝置增加 40 到 50 公克的重量。」這個重量看似沒有很重（大約兩個 AA 電池的重量），但若放到裝置上，就等於是要求用戶接受比 Quest 2 還重 10% 的頭戴式裝置。

這時就輪到 DSR 研究中心科學家 Andrew Maimone 上陣了。Maimone 的研究著重於盡可能縮小現有 VR 的尺寸、重量和電源。Maimone 表示：「我們已從早期原型中瞭解許多事，但為了通過視覺圖靈測試，龐大且笨重的實驗性測試台只是過程中的第一步，最終的目的是在精緻輕巧的外型規格中提供這些技術，讓用戶想要每天使用。因此，我們也打造架構原型，以探索如何將所有元素壓縮在可商品化的尺寸上。」

Holocake：可以減到多輕？

Maimone 帶領的其中一個架構原型開發工作，就是去年秋天 Zuckerberg 和 Bosworth 在雷德蒙德體驗過，稱為 Holocake 2 的極輕巧頭戴式裝置。

結合了全息與餅乾光學（我們在 2020 年關於 Holocake 頭戴式裝置的貼文中，首次討論過此方法），Holocake 2 是我們打造過的 VR 頭戴式裝置中最輕薄的一個。與原始的 Holocake（看起來像一副太陽眼鏡，但缺少重要機械及電子元件，且光學效能比現有消費者版 VR 頭戴式裝置遠遠不足，Holocake 2 是具備完整功能、可連結到電腦且可執行任何電腦版 VR 遊戲的頭戴式裝置。

為瞭解 Holocake 2 如何達成其極輕巧的外型規格，我們需要先快速瞭解 VR 顯示器是如何建構而成。現有的 VR 顯示器仰賴的是光源、透過調整光線明暗來形成圖像的顯示器面板，以及將光線從顯示器聚焦至眼球的鏡頭。鏡頭通常必須與顯示器相距幾英寸，才能有足夠的光學倍率來將光線匯聚至眼球。

但如上圖所示，我們可以透過幾種方式將鏡頭放置在更靠近顯示器的位置，藉此大幅縮小頭戴式裝置的大小。Holocake 2 同時使用兩種技術來達成此目的。首先，此裝置以全像光學取代鏡頭，此技術能如同鏡頭一般讓光線曲折，但形狀像輕薄的透明玻璃板。其次，此裝置實作偏振光學摺疊技術（模擬餅乾鏡頭，但外型規格比全像光學設計小得多）來大幅縮短光線從顯示器到眼球的距離。

這聽起來是個可用來減少尺寸和重量的神奇方法，但當中有什麼蹊蹺？一大問題與光源有關，Holocake 頭戴式裝置需要使用專屬的雷射，而非使用於現有 VR 產品中的 LED。Maimone 表示：「雷射在今日並非難以取得，但很少有消費者產品提供的雷射符合我們所需的效能、尺寸和價格。因此我們必須進行許多工程上的工作，才能讓雷射符合規格且可用於消費者版產品，而且是安全、低成本且有效的，還要能裝進輕薄的 VR 頭戴式裝置中。」

至今，我們還不知道是否存在合適的雷射來源，但如果這個方法是可行的，我們就有路徑可實現像太陽眼鏡般的 VR 顯示器。

Mirror Lake：結合所有技術

DSR 的多個研究方向皆源於共同的核心理念。正如 Lanman 所說：「我們將自己命名為顯示器『系統』研究中心，因為我們知道，除非我們在過程中開發出出色且能實際運用的架構，否則世界上所有的展示和用戶測試都是毫無用處的。這是 DSR 的核心工作：不斷尋找能解開謎題的解決方案，瞭解如何整合所有技術來打造出新一代視覺體驗，並朝著通過視覺圖靈測試的目標邁進。不是以『包辦一切』的方式，而是以優雅的方式帶來真正的用戶價值。」

Holocake 2 是該理念下的產品，而且日後還會推出更多成果。今天我們推出了更進一步的顯示系統：Mirror Lake。這個模樣像滑雪護目鏡的概念起源於 Holocake 2 架構，並且幾乎加入了團隊在過去七年間孕育的所有技術。

Mirror Lake 展現了擁有扁平外表的 Holocake 所開創的可能性。舉例來說，加入 Half Dome 3 輕薄的電子變焦模組可解決眼球輻輳調節衝突，且不會為頭戴式裝置增加太大的厚度。另外，由於採用了個人化視力矯正技術，因此只需在頭戴式裝置前方附加另一層輕薄的鏡片，或甚至只需將配戴者的度數直接建立於主要 Holocake 鏡頭的全息投影中，而無需配戴龐大的矯正鏡片。我們也在太陽穴位置裝設了一對前置鏡頭，以啟用由機器學習驅動的通透功能；DSR 將會在 SIGGRAPH 展示這項工作成果。

眼球追蹤已成為通過視覺圖靈測試的關鍵元素，因為這是變焦和動態失真校正所需的技術。Mirror Lake 架構引領了一個新方法，也就是使用全息底片將眼球的光線重新導向至安裝在頭戴式裝置的相機上，而且這個新穎的方法支援多視點眼球追蹤，能大幅提升準確度。

這裡的重點是，多虧全息攝影技術，一切才能是輕薄扁平的。變焦模組以及用於 Holocake、視力矯正和眼球追蹤的所有全息底片，都是扁平的，而且持續新增輕薄扁平的技術變得很容易。近期開發的反像傳遞顯示器也強調了這點，團隊發現只需在堆疊的鏡片中放入另一個扁平的 3D 顯示器，即可將其整合至 Mirror Lake 設計中。

Mirror Lake 概念的前景一片看好，但這目前只是個概念，尚未有功能完整的頭戴式裝置能確鑿地證明此架構。不過，若能順利進展，這將能為 VR 視覺體驗帶來徹底的變革。

通過視覺圖靈測試的漫漫長路

雖然 Mirror Lake 有帶來顛覆性影響的潛力，但我們僅僅是在通過視覺圖靈測試的漫漫長路中前進一小步而已。開發通過測試所需的技術，並找到方法將其變身為符合數百萬人需求的頭戴式裝置，將會是長達數年的旅程，途中還會遇上許多難題，也需要學習和瞭解許多事物。DSR 完全瞭解這項挑戰，而且致力於完成使命，也就是達到真正的視覺逼真度；他們至今的努力讓團隊和 Zuckerberg 都相信，這個目標最終是能實現的。

Zuckerberg 先前曾表示：「當你展望 10 年後的未來時，顯然會希望 (頭戴式裝置) 外型規格變得更小。理想是能做到幾乎等同 VR 界的 Retina 顯示器……(也有必要)可能 (打造) 某種液態鏡頭或能以機械式移動的鏡頭，或是基本上能將物體以不同距離投影的裝置……如果所有東西在 VR 中只是稍微暗淡了一點，在色彩的對比和亮度方面，你也不會想放棄人眼可真正看見的鮮明度。」以視網膜解析度、變焦和 HDR 為重心的架構，源自多年與 DSR 的合作，包括投入在這些技術的資源、親眼看到這些技術的優勢，以及為每項技術制訂往後的實用規劃。

讓我們以 Lanman 的話作為結尾：「有可能最終證明雷射對 VR 並不實用，至少針對 Holocake 的需求就是如此。若發生這種情況，整個 Mirror Lake 的脆弱結構將隨之瓦解。這就是仰賴新興科技來開發全新顯示系統的挑戰。但確保自己能到達預期目的地的最佳方法，就是要開闢多條路徑，而 Mirror Lake 只是 DSR 的其中一個研究方向。無論如何，不管我們走哪一條路，我們的團隊很確定目標是要通過視覺圖靈測試，而且沒有任何事物能阻止我們到達目的地。我們已經在過去的七年瞥見了這個未來，因此我們會繼續致力於找到實際可行的路徑，邁向在視覺上真正逼真的元宇宙。」