Skip to Content

ビジュアルチューリングテストを突破するために: VRでの視覚的リアリティを追求するMetaの開発の舞台裏

2020年11月、MetaのCEOのマーク・ザッカーバーグからCTOのAndrew “Boz” BosworthとReality LabsチーフサイエンティストのMichael Abrash宛てに一通のメールが届きました。そこには非常に直球の、こんな質問が書かれていました。「現実とほぼ見分けが付かないVRディスプレイの実現を妨げているものは何だろうか。実現に向けて解決すべき問題は何だろうか」。

Recommended Reading

この質問に至るまでの間にも、ザッカーバーグとAbrashは高度な拡張現実(VR)ディスプレイシステムの開発について、何年にもわたって深い議論を重ねていました。2015年には有望な仮想現実(VR)企業に足を運び、2人で頻繁にメールをやり取りもし、1対1で話し合い、ともにテクノロジーを精査し、何年もの間レドモンドやメンローパークでいくつものデモを試していました。
 
件の質問は、想像に任せて回答してもおかしくないものでしたが、そんなことはまったくありませんでした。Reality LabsのDouglas Lanmanが率いるDisplay Systems Research (DSR)チームでは、ザッカーバーグからのこの問いに答えるのに必要なすべての技術について、すでに5年も前から深い研究が続けられていたのです。実際のところ、DSRの今後10年のVRディスプレイのビジョンを明確にして、そこへの道筋を描くのにまさに的確な質問が、ちょうどいいタイミングで飛んできたというわけです。そのビジョンとは、ビジュアルチューリングテストの突破です。
 

ディスプレイ研究の見果てぬ夢

 
チューリングテストとは、アラン・チューリングによって1950年に開発されたテストのことで、コンピューターの人間らしさを判定するものです。ビジュアルチューリングテストは、DSRが採用し、先駆的な学術研究者らとともに広めた名称で、チューリングテストのように、VRヘッドセットに表示されたものを現実世界と見分けられるかどうかを判定します。主観的なテストであり、現時点でそのテストを突破できるVR技術はありません。VRによって「そこにいる」感覚を強く味わわせ、本当にあたかも仮想空間内にいるかのように感じさせることはすでに可能ですが、目の前に見えているものが現実か仮想か迷うレベルにはまだ到達していないのです。
 
ザッカーバーグからの質問を受け取ったLanmanは、2020年12月に、その後社内で広く共有されることになるメモを書きました。「ビジュアルチューリングテストを突破するために」と題されたメモの中で、Lanmanは、目標を達成するための詳細なロードマップを示しました。その目標をうまく達成できれば、VRのまったく新しい可能性が開け、物理的なオフィス空間での仕事と同等あるいはそれ以上に生産的なリモートワークが可能にある仮想ワークスペースや、ほかの人と本当に一緒にいるように感じられる仮想的な社交、さらには仮想的な旅行に至るまで、いま現実世界で行っているありとあらゆることができるようになるかもしれません。VRによるリモートワークが実現した暁には、もっと多くの人が、物理的に出勤することなく好きな場所に住めるようになるでしょう。そうなれば、個人と企業の双方にとって新しい可能性が生まれ、個人は地理的な居住地に縛られることなく幅広い仕事に就けるようになり、企業は世界中の膨大な人材を活かせるようになります。こうした革命的な効果は、生産性だけに留まりません。VRはARと組み合わせることで、パーソナルコンピューターと同等か、ともするとそれを凌ぐほど世界を変える力を秘めているのです。現実と区別が付かない視覚体験は、そこで非常に大きな役割を果たします。
 
今回の「Inside the Lab」投稿では、ディスプレイ技術スタックの構築に向けたDSRの歩みを詳しく紹介します。DSRが目指す技術は、Codec Avatarsや本物らしい触覚スペーシャルオーディオなどとともに、視覚体験のあらゆる面でビジュアルチューリングテストの課題をクリアすることで、将来のメタバースでの現実感の実現に寄与するものです。ここでは、DSRが開発中のコア技術のほか、DSRでの進歩を支えるプロトタイピングアプローチや、DSRの研究の大部分を加速させた前例のない知覚調査の結果についてお伝えします。最後に、DSRのプロトタイプ数機について詳しく見ていき、Mirror Lakeを紹介します。Mirror Lakeとは、さまざまな研究領域でのDSRの成果を、軽量で快適なフォームファクターを持つ次世代ヘッドセットに結集したプロトタイプデザインです。
 
これは、科学の探究の物語です。研究のアイデアという種が包括的なプログラムへと成長していく道のりを見ていきましょう。このプログラムは、私たちの働き方、遊び方、コミュニケーションの仕方をいつの日か変える可能性を十分に秘めているのです。物語のスタートは、まずチームが抱えている課題から。

課題

 
視覚的リアリティを目指すDSRが直面している課題は、端的にまとめるとこうなります。「ビジュアルチューリングテストの突破に必要な技術は、特にコンシューマーヘッドセットにおいてはまだ存在しない」。QuestやQuest 2が作り出す3Dの視覚体験には説得力がありますが、まだ現実世界での体験に対抗することはできません。現時点で明白な制約となっているのは解像度ですが、課題はさらに深いところにまで及びます。VRでは、今日の平面的なディスプレイにはそもそも存在しない新しい問題、例えば輻輳調節矛盾、色収差、視差、瞳遊泳といった問題がいくつも生じます。つまり、VRでの完全にリアルな視覚体験の実現に近付くには、多くの問題を克服し、膨大な研究を行い、利用者調査を何度も実施しなければなりません。実現を目指すために必要なイノベーションは、いくつかのカテゴリに大別できます。
 
まずは解像度の問題です。問題は、VRヘッドセットは最も横幅の広いモニターと比べてもはるかに視野が広く、使える画素を2Dディスプレイよりもずっと広い面積に並べなければならないため、画素数が同じでも解像度が低くなってしまうことです。例えば、視力1.0の人間の視野全体を埋めるには横方向に13,000画素が必要で、これは既存のコンシューマーディスプレイを圧倒的に上回ります。(人間の目は視野全体を高い解像度で知覚することはできないため、現状はそこまで悪いわけではありませんが、問題が大きいことに変わりはありません。)はるかに多くの画素が必要になるだけでなく、画素の質も上げなければなりません。現在のVRヘッドセットは、ノートパソコン、テレビ、スマートフォンと比べて輝度とコントラストが大幅に低くなっています。そのため、2Dディスプレイで当たり前になっているレベルの精細で正確な表現をすることはできません。
 
加えて、現在のVRディスプレイで使われているレンズでは、VR画像が歪み、現実感が薄れることがしばしばあります。ソフトウェア側で歪みを完全に補正してやれば問題ないのですが、目が向いている方向が変わるたびに歪みは変わるので、補正は難題です。さらに、現実感とは関係ありませんが、この歪みとヘッドセットの重さによって一時的な不快感や疲労が生じることがあるため、ヘッドセットを長時間着けているのは簡単ではありません。もう1つ付け加えると、これは解像度に関係するとも言えますが、非常に重要なのでこれ1つで独立したカテゴリになっている、「どの距離でも適切にピントが合うか」の問題があります。この最後の問題は現在の開発の核となるテーマなので、少し後で詳しく触れます。
 
以上の課題を完全にクリアしてビジュアルチューリングテストを突破するために、ザッカーバーグとLanmanは新しい技術スタックの開発が必要と考えています。その代表的なものは以下のとおりです。

 

  • 「可変焦点」テクノロジー。固定焦点ではなく正しい焦点深度を提供することで、手を伸ばした距離にある物を、長時間使用でもより鮮明に、より快適に見られるようにする
  • 人間の視力1.0に近付き、最終的にはそれを上回る解像度
  • 光学系を通して見ることによって生じる収差(オブジェクトの縁で生じるカラーフリンジ、像の歪みなど)に対処するための歪み補正
  • VRで体験できる色、輝度、コントラストの幅を広げるハイダイナミックレンジ(HDR)技術 
以上すべての機能の開発が必要なのですが(そして難易度も高い)、開発するだけでは十分ではありません。最終的にはすべての機能をコンシューマー向けのもっと快適なヘッドセットに収める必要があり、それはつまり、ディスプレイの複数の領域で最先端のさらに先を実現することに加え、既存のものよりも何歩も進んだ完全なディスプレイシステムを作ることを意味します。これによって課題の難易度はさらに上がりますが、DSRはまさにこの課題に挑んでいるのです。そしてザッカーバーグは、次世代VRの実現にはこの課題の克服が不可欠と考えています。
 
Lanmanは課題の複雑さについて、次のように語っています。「これらの技術をすべて組み込んだヘッドセットを設計して構築するのは、難しく、時間のかかる作業です。というのも、ヘッドセットディスプレイではすべての技術システムが相互に接続されることになるからです。1つのスペース、重量、消費電力、費用予算をすべての技術で分け合い、コンパクトで着用可能なフォームファクターに収める必要があるのです」。しかも、すべての技術を厳しい予算の中に詰め込むだけではありません。スタックのすべての要素間に互換性がある必要があります。例えば、アイトラッキング技術と採用したディスプレイレンズのタイプの組み合わせが悪いと適切に機能しません。
 
DSRは、いくつものプロトタイプを作ることによってこの課題に正面から取り組んでいます。これまでに、個別の技術や、VRディスプレイ設計の広大な可能性を描いてそれをさらに押し広げる完全なシステムを試作し、それらのプロトタイプをもとに、ビジュアルチューリングテスト突破までの距離を測るための使用調査を実施してきました。レドモンドのRL Researchには、こうした取り組みの成果が実際に展示されています。壁一面に並べられたプロトタイプの数々は、次世代VRディスプレイの実現に向けて広範な技術領域を探索した結果であり、視覚的リアリティを目指すDSRの生きた歴史です。
過去7年間で、Lanmanのチームは20を超える完全に機能するAR / VR研究用ヘッドセットを構築し、それぞれが斬新なデモとユーザー研究のロックを解除することを目的としています。
ここからは、すべての始まりから今日に至るまでの歴史を見ていきます。テクノロジーの重要な4つの軸を順に紹介し、ここ数年、折に触れて言及してきた長期の可変焦点プログラムの最新情報もお伝えします。また、DSRディスプレイシステムの最新のアーキテクチャーも2つ紹介します。その1つであるHolocake 2は、私たちが知る限りQuest 2クラスのVRヘッドセットの中で最もコンパクトな光学系であり、同クラスのヘッドセットとして初めてホログラフィック光学系を搭載しています。もう1つのMirror Lakeは、将来世代のVR視覚体験に向けて提案するアーキテクチャーです。
 
それでは時計の針を2015年に戻して、すべての始まりから見ていきましょう。
 

可変焦点と、手が果たす予期せぬ役割

 
2015年、Lanmanのもとで新たに結成されたチームが、ビジュアルチューリングテストの突破で重要になる可能性を秘めたディスプレイ技術の調査を開始しました。同じころ、Meta (当時のFacebook)はOculus Riftの発売を準備しており、それからほどなくして斬新なインタラクション手法であるTouchコントローラーがリリースされ、VRに手が存在する感覚が持ち込まれました。
 
Lanmanは、当時まだ研究チームで開発中だった、Touchを超えるジェスチャーコントロール技術をいつの日か世に送り出せると自信を持っていました。(実際、Lanmanの考えたとおり、2020年にQuestで手を使えるようになりました。)ここからLanmanは、ある重要な点に行き着きます。
バリフォーカルは、見ているものに基づいてディスプレイの焦点を調整することを含む技術です。このレンズを通しての映像では、特に近くのオブジェクトに焦点を合わせたときに、それがもたらす違いを見ることができます。
それは、手を最大限効果的に使うには、手にピントが合わなければならないということです。たしかに、私たちがまさに現実世界でやっていることなので「そんなどうということもない、わかりきったことを」と思うかもしれません。しかし、これはVRに常識が通用しない1つの例なのです。現実世界では、人間は目の中にある水晶体の形状を絶えず変えて、さまざまな距離にあるものにピントを合わせることで、その距離から届く光を正しく結像させています。ところが、現在のVRヘッドセットで使われている光学系では焦点が固定されていて、焦点距離は一般的に1.5~2メートルです。つまり、私たちは意識していませんが、VRでは風景の中にある何を見ても光との距離は実質的に常に一定なのです。これは、人間の視覚系が初めて体験する現象です。このようにVRでは、仮想3Dオブジェクトのシミュレートされた距離と、焦点距離(前述のとおり、現在のヘッドセットではおよそ1.5~2メートルで固定)との不一致によって、輻輳調節矛盾(VAC)が生じることがあります。VACは、VR分野ではよく知られた現象で、一時的な疲労や目のかすみを引き起こす可能性があるほか、VRで長時間過ごしたときに経験する不快感の原因の1つとも言われています。ザッカーバーグは昨年、可変焦点の利点について説明する際、次のように話しました。「目はピントを合わせようとしているのにそれができない。これは、[ディスプレイの]投影距離が一定であることが理由です」。
 
VACに対処する手段の1つは、ヘッドセットの使用者が見ているオブジェクトの距離に合わせてVR内の焦点深度を動的に調節して、人間の目が適切な距離にピントを合わせられるようにすることです。それを実現できるかもしれないテクノロジーの1つが、使用者の注視点の変化に合わせてレンズを動かす「可変焦点」です。この理論をテストするために、DSRは、2016年に以下のような体験実証用の大型のプロトタイプを製作しました。年単位の研究開発によって何が実現できるかを探るために作られた、市場投入からはほど遠いこうしたプロトタイプを、私たちは「タイムマシン」と呼んでいます。タイムマシンは、DSRにとって、将来のVR視覚技術の設計の可能性を探るために欠かせないピースです。
2016年に作成されたDSRの最初の完全なバリフォーカルプロトタイプは、魅力的なエクスペリエンスに必要なすべてのコンポーネントを統合しました。可変フォーカス、堅牢なアイトラッキング、ディスプレイフォーカスの変更で更新されるリアルタイムの歪み補正、焦点面から離れるにつれて増加するレンダリングされたブラーです。 、現実の世界と同じように。 2016年のデモでは、プロトタイプのタッチコントローラーを使用して、ラボのメンバーが腕の長さ内のオブジェクトの視力の利点を直接評価できるようにしました。

前例のない使用調査とHalf Domeの進化

 
2017年、ザッカーバーグは、さまざまなプロトタイプを実際に見て、今後Metaが目指すべき技術の方向を決めるため、RLを訪れました。その日ザッカーバーグが最初に試したVRデモは、可変焦点の実現を試みた初期の巨大なデバイスでした。彼はすぐ、たしかに近くのオブジェクトの鮮明さが向上していると同意しました。それをはじめとする初期のプロトタイプによって、可変焦点の基本原理はうまく行く可能性があり、主観的な視覚体験もより鮮明になることがわかりました。ただ、希望が持てそうな証拠は出てきてはいたものの、裏付けに乏しく、DSRのこの可変焦点技術で果たしてVACの問題を克服し視覚能力と快適さを向上できるかどうか、確たる証拠はありませんでした。
 
そこで、DSRチームのビジョンサイエンティストであるMarina Zannoliのもとで、答えを見つけるための可変焦点の使用調査に向けて動き出しました。Zannoliは初めに、エンジニアに途方もない難題を課しました。大型のプロトタイプを着用することで生じる全般的な不快感によって調査に影響が出ないようにするには、Oculus Riftの重量とフォームファクターにもっと近いヘッドセットが新たに必要というのです。エンジニアチームは、その時点で2,450gだったプロトタイプの重量を4分の1に削減しなければならず、それと同時に、可変焦点システムから生じるノイズと振動がなくなるようにデバイスに改良を加える必要がありました。
 
9か月後、チームはHalf Dome Zeroという680gの研究用プロトタイプを作り上げました。当時Rift向けにリリースされていたすべてのVRゲームと完全に互換性があるだけでなく、可変焦点によってそれらのゲーム内で適切な焦点深度を実現する機能が追加されたヘッドセットです。470gのRiftと比べるとやや重かったものの、Zannoliは、ここまで軽くなっていれば、使用者の好みと可変焦点の本当の価値について有意義な知見を得るには十分だろうと判断しました。
 
次にZannoliは、可変焦点で狙いどおりの価値を実現できているかをテストする方法を決める必要がありました。例えば、近くのオブジェクトの鮮明さは向上するのか、使用者は3Dのシーンをより速く知覚できるようになるのか、視覚的な快適さは向上するのか、そして何よりも、使用者に好まれるのかといった点などです。
 
Zannoliが取ったアプローチは、視力検査表などの限定的な刺激を使う標準的な視覚科学の手法とはかけ離れたものでした。Zannoliは、情報量が豊富なVR空間で調査を行うことに決め、テクニカルアーティストのチームと協力してビデオゲーム技術を基盤にした専用のデモアプリケーションを開発したのです。そして参加者には、時間の大半を近くのオブジェクトを見ることに費やすよう促すことにしました。これは、既知の制約がある固定焦点VRではVR開発者が現在推奨していない行為です。
2017年のHalfDomeZeroユーザー調査では、ユーザーは3つのエクスペリエンスにまたがるVRに30分を費やしました。近くのオブジェクトとの対話を含むFirst Contactの修正バージョン、参加者が小さなオブジェクトを検索する必要があるDreamdeck修正シーン。シンボルとランダムドットステレオグラムを見て、参加者がシーンの3Dパターンをどれだけ早く理解できるかを評価するタスク(注:パターンはVRでのみ表示されます)。
こうして調査に適したヘッドセットと入念に設計されたプロトコルの準備ができたところで、Zannoliは63人の参加者を招き、2日間にわたって可変焦点システムと固定焦点VRを試用して評価してもらいました。片方の日には可変焦点が完全に有効になったHalf Dome Zeroを、もう片方の日には現在のVRヘッドセットの標準である固定焦点モードで動作するHalf Dome Zeroを使用しました。参加者には、一連のアンケートに回答してさまざまな好みについて主観的に評価するようお願いしました。
 
調査の結果は、チームが当初予想していたよりもポジティブなものでした。Zannoliは次のように総括します。「結果を見てわかったのは、可変焦点を使っているときのほうが使用者はあらゆる面で快適に感じるということです。疲労、吐き気、目のかすみが軽減され、小さいオブジェクトをよく判別できるようになり、文字を読む負担も減り、視覚環境に対する反応もよりすばやくなっていました」。何よりも明るい材料だったのは、参加者の大部分が固定焦点よりも可変焦点を好んだことです。Half Dome Zeroがアイトラッキングも歪み補正ソフトウェアも不完全な初期のプロトタイプだったことを考えると、非常に意外な結果です。
こうして2017年夏、DSRはようやく、可変焦点によってパフォーマンスと快適さの面でVRに数々の利点をもたらせるという確たる証拠を手に入れたのです。同時期に行われたINRIAとUCバークレーによる研究スタンフォード大学による研究も、この結論を支持しました。残りのさまざまなエンジニアリング課題(アイトラッキング、コンピューターグラフィックス、光学設計、制御系、重量)の解決が最重要課題であると確信したDSRは、それからの5年間、可変焦点技術の限界を押し広げるプロトタイプを次々に開発しました。
2017年の調査では、ハーフドームゼロが使用されました。ハーフドーム1で、チームは視野を140度に拡大しました。 Half Dome 2では、人間工学と快適性に重点を置き、200グラムを削減しました。また、Half Dome 3では、電子バリフォーカルが導入され、ヘッドセットのサイズと重量がさらに削減されました。

可変焦点のその先へ: 網膜解像度、歪みのないディスプレイ、HDR

 
「Half Domeシリーズはチームにとって転機になりました」とLanmanは語ります。「可変焦点技術をさらに前進させることができ、ほかのディスプレイ研究プログラムのひな形にもなりました」。Half Dome以降、DSRはすべての研究活動で同じプロセスをたどるようになりました。まず技術要件と仮説を固め、次に体験実証用の大型のタイムマシンを開発し、それを改良して概念実証用のプロトタイプを作り、最後に使用調査を実施して、次のプロトタイプに活かす重要なデータを集めるという流れです。
 
「この型をビジュアルチューリングテストのほかの領域に徹底して当てはめています」とLanmanは付け加えます。「特に重要なのは、解像度、光学歪み、そしてダイナミックレンジですね」。
 
ここからはこの3つの領域についてもう少し深く掘り下げ、DSRの研究でそれぞれが現在どの段階にあるのかを見ていきましょう。
 

Butterscotch: 「網膜解像度」を理解する

 
網膜解像度」は、長らく、製品の画面が最高水準かどうかを測る尺度になっています。普遍的に認められた定義はありませんが、一般的には60ppd(角度当たりのピクセル数)と考えられていて、これは視力検査表の1.0の行を描写するのに十分な数です。ノートパソコンやテレビ、スマートフォンでは、しばらく前からこの基準を上回るものが大半を占めていますが、これらよりもはるかに広い範囲に画素を並べて没入型の視野を実現するVRは、後れを取っています。例えば、Quest 2のディスプレイは20ppdです。
アイチャートがVRで提示された場合、RiftもQuest 2も、20/20の視力を表す最も低い線を解決できませんでした。対照的に、DSRのバタースコッチプロトタイプは、従来の網膜解像度の要件を満たすように設計されており、各タイプのヘッドセットのレンズを通して撮影されたこれらの写真からわかるように、視力検査表で最高の特徴を描くことができます。
言うまでもなく、この解像度では細かい文字などのディテールの表現が制限されます。また、知覚的なリアリティも影響を受けます。例えば、日本の研究者らの発表によると、現実感は解像度の増加とともに一貫して高まり続け、「網膜解像度」とされる数値のはるか上、120ppdあたりまでその傾向が続くとされています。視覚的リアリティはビジュアルチューリングテストの核です。そのためDSRでは、VRにおける網膜解像度の重要性を探り、また実用的なヘッドセットでその解像度に到達する方法を模索すべく、何年にもわたって高解像度のVRプロトタイプをいくつも製作し続けています。
 
こうしたプロトタイプ製作の価値が図らずも強化された出来事がありました。ザッカーバーグとBosworthが昨年RL Researchを訪れたときのことです。空港から移動中の車内で、ザッカーバーグから網膜解像度の進捗について聞かれたAbrashは、自分の目で確かめられますよ、と答えました。それから数時間後、ザッカーバーグはDSRの網膜解像度プロトタイプの最新かつ最先端のデバイス、Butterscotchを装着することになります。
DSRチームは、Metaのリーダーに定期的にデモを行い、将来のAR/VRビジュアルテクノロジーを早期に垣間見ることができます。左:マーク・ザッカーバーグは、2017年にワシントン州レドモンドの研究チームを訪問した際に、初期のARバリフォーカルプロトタイプを使用して初めてバリフォーカルを体験しました。右:昨年のRL Researchへの訪問で、ザッカーバーグはDSRからの最新の網膜解像度VRプロトタイプを体験しました。
Butterscotchは、できるだけ早く、できるだけ直に答えを得るためのプロトタイプ製作の好例です。標準的なVRの視野で網膜解像度に近いものを実現できるパネルは、現時点では存在しません。そこでDSRは3KのLCDパネルを使い、視野をQuest 2の約半分に狭めることで解像度を55ppdにまで押し上げました。これはQuest 2の2.5倍に当たります。その高解像度を完全に実現するには、そのうえで新しいタイプのハイブリッドレンズを開発する必要がありました。
 
完成したデバイスはとても販売できる代物ではありませんでしたが(視野が狭められ、重量もサイズも許容範囲をはるかに超えていました)、ザッカーバーグは網膜解像度に近いものを体験し、その効果の大きさを自分の目で確かめることができました。これこそ、DSRがタイムマシンを作る目的です。それだけに留まらず、Butterscotchのデモを通じてその網膜解像度技術がVRの未来に欠かせないことを認識したザッカーバーグは、DSRの解像度ロードマップを会社レベルで見直すことを指示しました。
 
VRの解像度を現実に近付けるにはまだ長い道のりがありますが、Butterscotchは大きな一歩です。また、DSRのほかの技術を高解像度ディスプレイシステムに統合するための基礎でもあります。例えば、DSRは現在、Half Dome Zeroの3倍の解像度を持つ可変焦点版Butterscotchの開発を進めています。固定焦点では焦点面から離れたところの視界がぼやけ、解像度が上がるほどその問題が大きくなるため、可変焦点版Butterscotchでは、人間の視力限界付近で可変焦点がもたらす視覚能力面での真の価値を見極められるようになります。
 

VRヘッドセットの光学歪みをなくす

 
VR視覚体験の解像度は重要ですが、それはパズルの1ピースにすぎません。画質も同じくらい重要です。しかし、さまざまな技術的理由から、VRレンズでは光学収差を完全になくすことはできません。ただ、一部の収差についてはソフトウェア側で画像を歪めることで補正できます。これは現時点で存在するほぼすべてのVRヘッドセットにおいてきわめて決定的な要素で、優れた視覚体験は補正をうまくできるかどうかにかかっています。とはいえ、現在のVRヘッドセットの歪み補正ソフトは完璧ではありません。仮想画像の歪みは使用者の視線方向によって動的に変化するにもかかわらず、静的にしか補正できないのです。以下に示すように、この瞳遊泳と呼ばれる現象によって、目が動くたびにすべてが揺れ、VRのリアリティが落ちたように感じることがあります。この問題は、ディスプレイの焦点距離の変化に合わせて画像がわずかに拡大縮小する可変焦点ではさらに大きくなります。
バリフォーカルがシームレスに機能するためには、VRで一般的な問題である光学歪みに、現在のヘッドセットで行われていることを超えてさらに対処する必要があります。今日のヘッドセットの補正は静的ですが、虚像の歪みは動的であり、どこを見ているかによって変化します。瞳孔水泳として知られるこの現象は、目が動くとすべてが少し動くため、VRが現実味を欠くように見える可能性があります。
DSRは、可変焦点の歪み補正を正確に行うことがいかに重要かを早い段階で気づかされました。きっかけは、2017年のHalf Dome Zeroの使用調査で可変焦点の歪み補正が誤ってオフになっていたことでした。そのミスは修正しましたが、その過程で、レンズの歪み補正が正しく適用されていないと可変焦点が大きな利点にならないことを知りました。この出来事は歪み補正を適切に行うことの重要性を浮き彫りにしましたが、問題を掘り下げていくと、歪み補正のためのツールが存在しないことがまもなく明らかになりました。
 
しかし問題は、歪み調査の準備に時間がかかりすぎることでした。特性のヘッドセットのレンズを作るだけでも週単位や月単位の時間を要し、きちんと機能してテストに使えるヘッドセットディスプレイを構築するには、そこからさらに長い期間をかける必要がありました。そこで、レンズという実機を作るのではなく光学設計というソフトウェア側を試作して歪み調査を行う必要があることに気づき、その問題の解決に乗り出しました。
DSRのVRレンズ歪みシミュレーターは、3DTVを使用してVRヘッドセットをエミュレートします。これにより、チームは新しい光学設計と歪み補正アルゴリズムを再現性のある信頼性の高い方法で迅速に研究できると同時に、完全なヘッドセットプロトタイプを使用して設計を繰り返すという時間のかかるプロセスを排除できます。
そして、見事解決しました。3Dテレビの技術をもとに、歪みを精密に制御できるVRレンズディストーションシミュレーターを開発したのです。これにより、どのようなレンズ設計の歪み補正アルゴリズムも即座に調べられるようになりました。DSRはこのラピッドプロトタイピングソリューションを、8月に開催されるSIGGRAPHの年次カンファレンスで紹介します。
 
この独自のラピッドプロトタイピングにより、DSRは初めて、アイトラッキングを利用した歪み補正について調べる使用調査を実施できるようになりました。現在のヘッドセットに搭載されている歪み補正ソフトウェアとは異なり、動的な歪み補正では、アイトラッキングを用いることで目の動きに合わせて補正結果を更新します。この技術により、現在の静的補正では不可能な、常に安定した映像を提供できるようになる可能性があります。
 
ラピッドプロトタイピングによって、VRレンズのあらゆる歪みや補正に関する研究が大幅に加速することは確実で、将来のVRヘッドセットでの歪み軽減に向けた道が開けます。
 

Starburst: ハイダイナミックレンジヘッドセットを試作する

 
解像度、歪み補正、可変焦点は、どれも高度な視覚的リアリティを実現するための重要な柱ですが、現実感や奥行き感の向上と常に結び付けて語られる最たるものは、ハイダイナミックレンジ(HDR)です。HDRは、広い輝度、コントラスト、色を表現できる技術を指し、近年になってこれに対応したテレビが出てきています。
 
「nit (ニト)」とは、物体が発する光の量を測る単位のことで、屋内環境では一般的に10,000 nitを優に超えます(以下を参照)。少し前までは、標準的なテレビの輝度はせいぜい数百nit止まりでした。しかし、2013年にDolby Labsの研究者が最大20,000 nitの特性ディスプレイを用いて行った使用調査の結果、最大輝度の最適な値は10,000 nit前後であることがわかりました。この先駆的な調査を受けて、テレビ業界はここ5~6年でHDR対応ディスプレイの開発と市場投入を進め、大きな成功を収めています。
一方、VRはまだそこまで進化していません。Quest 2の最大輝度はおよそ100 nitで、VRヘッドセットの電力、熱、フォームファクターの制約の中でこれを大幅に上げるのは簡単ではありません。昨年のインタビューでのザッカーバーグの説明を引用すると、「ディスプレイに関して、それをもっとずっと鮮明にするための最大の難関は、おそらくこの[HDRの]問題です。テレビはHDRの点で少し進歩しました。そうはいっても、画面の鮮明さを、現実世界を肉眼で見たときの鮮明さと比べると、その間には1桁かそれ以上の開きがあります」。最新のVRヘッドセットで使われているLCDパネルとレンズでは、テレビ画面よりもコントラストが下がり、現実感もさらに薄れるため、この状態で輝度を上げると問題が悪化し、暗色(特に黒)がぼやけてしまいます。最後に色域の問題です。現在のディスプレイは、人間の目が知覚できる色域の一部しか表現できません。
 
DSRでは現在、研究者がHDR対応VRヘッドセットのプロトタイプを開発中です。DSRのリサーチサイエンティスト、Nathan Matsudaは次のように話します。「最新のプロトタイプであるStarburstは、大きく、重く、有線で、大型の双眼鏡のように顔の前まで持ち上げなければなりません。しかし実際に使ってみると、今まで誰も味わったことのない体験、屋内や夜間の環境での一般的な輝度をすべて再現したデモを体験できます」。
DSRのStarburstプロトタイプは、Quest 2ヘッドセットの内臓を再構成し、LCDパネルの後ろに非常に明るいランプを配置します。この「タイムマシン」は、これまでに製造された中で最も明るいHDRディスプレイの1つであり、ピーク輝度は20,000ニットに達します。これは、DSRが認識している最初の3D HDRヘッドセットであり、チームはHDRと3D奥行き知覚の相互作用を調査できます。
自分の目でHDRを直接体験できるデバイスはほかに存在しません。そこで、8月開催のSIGGRAPHではStarburstのデモを披露する予定です。現在は、通常のプロセスに沿って、使用調査で使えるHDR強化版のヘッドセットの開発を進めているところです。真のHDR対応VRヘッドセットを実現するにはまだ時間がかかりますが、DSRはすでにそこに向けて歩み始めており、随時、最新の情報をお伝えしていきます。
 

大幅な進歩が必要

 
何年ものデモや使用調査を経て、VRでのビジュアルチューリングテストの突破には網膜解像度、可変焦点、正確な歪み補正、そしてHDRが不可欠であるとの確信を得たDSRは、視覚的リアリティを支えるそれらの要素を個々に進歩させるプロトタイプを設計し、検証してきました。しかし、最後の山場はそれらすべてを1つのコンパクトなヘッドセットに実用的に統合することです。こうなると、課題の難しさは極限に達します。
 
問題は、VRヘッドセットを小さく、軽く、スタイリッシュにしなければならないにもかかわらず、DSRの技術を実装するのに必要な追加のハードウェアはそれに逆行する傾向にあることです。Lanmanはこう述べます。「高性能の可変焦点ヘッドセットの開発にほぼ7年を費やしてきましたが、納得の行く可変焦点システム(少なくとも、レンズまたは画面を物理的に平行移動させるシステム)は40~50gの重量増につながるという機械エンジニアの見解は、いつも同じでした」。これはおよそ単3電池2本分に当たり、たいした変化には思えないかもしれませんが、果たしてQuest 2より10%以上も重いヘッドセットを使用者は受け入れてくれるでしょうか。
 
ここで、DSRのリサーチサイエンティスト、Andrew Maimoneの出番です。Maimoneの研究テーマは、既存のVRのサイズ、重量、消費電力を可能な限り減らすことです。「初期のプロトタイプでは多くの学びがありましたが、大きくて不格好で、実験的なテスト装置でビジュアルチューリングテストを突破することは、最初の一歩にすぎません。ゆくゆくは、毎日使いたくなるような、すっきりとした軽量なフォームファクターにこれらの技術をまとめなければなりません。そうした理由から、DSRではアーキテクチャーのプロトタイプも製作し、販売できる形状のものにすべての技術要素をどう詰め込めるかを検討しています」。

Holocake: どこまで小さくできるか?

 
Maimoneは、アーキテクチャープロトタイプの1機の開発を率いました。これは昨年秋にザッカーバーグとBosworthがレドモンドで体験したきわめて小型のヘッドセットで、Holocake 2と呼ばれるものです。
Holocake 2は、完全に機能するPC接続のヘッドセットでホログラフィックパンケーキレンズの光学性能をテストするように設計されています。
ホログラフィック光学系とパンケーキ光学系を組み合わせる手法(2020年にHolocakeヘッドセットについて投稿したときに初めて紹介した手法)に基づくHolocake 2は、Meta史上最も薄型かつ軽量なVRヘッドセットです。初期のHolocakeは、サングラスに似た形状だったものの、重要な機構要素や電気要素がなく市販のコンシューマー向けVRヘッドセットよりも光学性能が大幅に劣っていました。Holocake 2はそれとは異なり、既存のあらゆるPC向けVRタイトルを実行できる、完全な機能を備えたPC有線接続型ヘッドセットです。
 
Holocake 2でどのようにフォームファクターの大幅な小型化を達成したのかを理解するために、まずVRディスプレイの造りを簡単に押さえておきましょう。今日のVRディスプレイは、光源、ディスプレイパネル(透過する光量を増減することで画像を作る)、そしてレンズ(ディスプレイが発する光を集めて目に届ける)で構成されています。レンズで光を十分に集めてから目に届けるには、通常、レンズとディスプレイを数センチ離す必要があります。
ホロケーキレンズは、2つの方法で厚みと重量を減らします。まず、偏光ベースの光学的屈曲により、新しいパンケーキレンズと同様に、光がレンズの内部で反射します。第二に、ホログラフィックフィルムは、パンケーキレンズとQuest 2のような従来の屈折設計の両方で使用されるかさばる屈折レンズに取って代わります。いずれの場合も、フラットパネルディスプレイからの光は目に向けて集束されます。フォームファクターのみが異なります。
ただ、上で示したように、レンズとディスプレイの距離をもっと縮めてヘッドセットを大幅に小型化する方法はあります。Holocake 2では、2つの技術を組み合わせてこれを達成しています。まず、レンズの代わりにホログラフィック光学系を採用しています。これは、レンズのように光を曲げることができる、薄い透明なガラス板状の光学系です。もう1つは、ディスプレイから目までの光路を劇的に短くするために、偏光を利用した光学的な折りたたみ(パンケーキレンズを、それよりも大幅に小型のフォームファクターを持つホログラフィック光学系で模したもの)を実現しています。
 
ほとんど魔法のような方法で小型化と軽量化を達成しているように聞こえますが、どこに課題があるのでしょうか。大きな課題の1つは光源に関するものです。Holocakeヘッドセットは、既存のVR製品で使われているLEDではなく専用のレーザーを必要とします。Maimoneは次のように説明します。「レーザーはもはや極端に突飛な技術というわけではありませんが、私たちが求める性能、サイズ、価格のコンシューマー向け製品ではあまり見かけないのも事実です。ですから、私たちの仕様を満たし、安全で、低価格で、効率的で、かつスリムなVRヘッドセットに収まる市販向きのレーザーを実現するには、多くのエンジニアリングが必要になります」。
 
現時点では、どのレーザー光源が適切なのか結論は出ていませんが、それが扱いやすいことがわかれば、サングラス風のVRディスプレイの実現に向けて明確な道筋が見えてくるでしょう。
 

Mirror Lake: すべてを1つにまとめる

 
DSRではさまざまな方向に研究を進めていますが、すべては1つの基本的な考え方から出発しています。Lanmanはこう説明します。「チーム名のSystemsが複数形なのには理由があります。それは、説得力のある実用的なアーキテクチャーを作り上げられなければ、世界で行っているどんなデモも使用調査も無に帰すことがわかっているからです。ビジュアルチューリングテストの突破につながる次世代の視覚体験を作るためにすべてを1つにまとめる解決策を探し続ける、それが、DSRの取り組みの根幹です。何でもかんでも搭載するというのではなく、使用者にとって本当に価値があるエレガントなかたちで実現することを目指しています」。
 
Holocake 2はその考え方を体現したプロトタイプで、これに続くものが今後もまだまだ作られて行きます。今回は、ディスプレイシステムをさらに一歩進化させたプロトタイプ、Mirror Lakeを紹介します。これはスキーのゴーグル風のコンセプト機で、Holocake 2アーキテクチャーの上に、DSRがこの7年間で育んできたほぼすべての技術が載っています。
ミラーレイクは、スキーゴーグルのようなフォームファクターを備えたコンセプトデザインであり、バリフォーカルやアイトラッキングなど、DSRが過去7年間にわたってインキュベートしてきた高度なビジュアルテクノロジーのほぼすべてを、コンパクトで軽量、電力効率の高いフォームに統合しています。要素。これは、完全な次世代ディスプレイシステムがどのように見えるかを示しています。
Mirror Lakeは、フラットな外面形状のHolocakeアーキテクチャーが開く可能性を具体的に示しています。例えば、Half Dome 3のスリムな電子可変焦点モジュールを追加すれば、ヘッドセットの厚みを大きく増すことなく輻輳調節矛盾を解決できます。さらに、かさばる度入りレンズを装着する必要もありません。ヘッドセットの前面に薄いレンズをもう1枚付けるか、あるいはHolocakeのメインレンズで使われているホログラムに使用者の度数を直接焼き込むだけで、個々の視力に合わせた補正が可能になります。また、テンプルに収まっている1組の前面カメラにより、機械学習に基づく周囲確認を実現します(これについてはDSRがSIGGRAPHで披露する予定です)。
 
ビジュアルチューリングテストの突破には、アイトラッキングが欠かせないことも新たにわかってきました。可変焦点と動的歪み補正で必要になるためです。これについて、Mirror Lakeアーキテクチャーでは新たな手法を採用しています。目からの光をホログラフィックフィルムで方向転換し、ヘッドセットのストラップに取り付けられた1組のカメラで捉える手法です。この新しい手法により、正確性が大幅に向上するマルチビューアイトラッキングも可能になります。
 
ここで重要なのは、ホログラフィーのおかげですべてが薄く、フラットになることです。可変焦点モジュールだけでなく、Holocakeのすべてのホログラフィックフィルムも、度数補正もアイトラッキングもフラットです。そして、薄くてフラットな技術であれば簡単にどんどん足していけます。最近発明されたリバースパススルーディスプレイで、この点に注目が集まりました。DSRは、光学スタックにフラットな3Dディスプレイをもう1枚足すだけでMirror Lakeの設計にこれを統合できそうだということに気づきました。
 
Mirror Lakeは有望ですが、あくまでコンセプト機です。このアーキテクチャーでうまく行くことを結論づける、完全に動作するヘッドセットはまだ作られていません。しかしこれが成功すれば、VR視覚体験の常識が覆ることになるでしょう。
 

ビジュアルチューリングテスト突破までの長い道のり

 
Mirror Lakeは革命を起こす可能性を秘めているものの、これはビジュアルチューリングテストの突破を目指す長い旅路の中の一歩にすぎません。テストの突破に必要な技術を開発するには(そしてその技術を、何百万、何千万の人のニーズに合うヘッドセットへと変える方法を見つけるには)、何年もの月日が必要になります。道中にはいくつもの落とし穴が潜んでいるでしょうし、学び、解明すべきことは山ほどあるでしょう。DSRはこの難題をよくわかったうえで、真の視覚的リアリティの実現というミッションに取り組んでいます。そしてこれまでの努力によって、DSRのメンバー自身もザッカーバーグも、その目標は最終的には手の届くところにあると確信しています。
 
ザッカーバーグは以前にこう語っています。「10年先を見据えたとき、当然(ヘッドセットの)フォームファクターはもっと小さくなっていてほしいと思いますよ。理想は、VR版Retinaディスプレイのような域に達していることです。(中略)液晶レンズあるいは機械可動式レンズのような、映像の投影距離を変えられるもの(を開発することも必要です)。(中略)VRの鮮明さがほんの少し現実世界に及ばないとしても、目に見える鮮明さ、色のコントラストや明るさ面での鮮明さを諦めたくはありません」。網膜解像度、可変焦点、HDRが重要だというこの理解は、DSRとともに何年にもわたってこれらの技術に投資し、その価値を自分の目で見て、個々の技術を前進させる現実的な道を切り開いてきたことで得られたものです。
 
最後は、Lanmanに締めくくってもらいましょう。「レーザーをVRで使うのは非現実的だ、少なくともHolocakeで必要な用途では使えない、と最終的に判明する可能性もあります。そうなった場合は、Mirror Lakeという構想のすべてが崩れます。新興の技術を土台に新しいディスプレイシステムを発明するというのは、そういう挑戦なのです。ただ、望んだ目的地に確実にたどり着けるようにするベストな方法は、複数のルートを用意しておくことです。Mirror LakeはDSRの研究の1つの方向にすぎません。いずれにせよ、どのルートを取るにしても、私たちのチームはビジュアルチューリングテストの突破という到達点に向けて、物理学的にそれを阻むものは何もないと確信しています。この7年以上の間に、私たちはその未来を垣間見てきました。真に視覚的リアリティのあるメタバースへと続く現実的な道を見つけるために、全力を傾けていくという姿勢に変わりはありません」。

Latest Stories

To help personalize content, tailor and measure ads, and provide a safer experience, we use cookies. By clicking or navigating the site, you agree to allow our collection of information on and off Facebook through cookies. Learn more, including about available controls: Cookies Policy