Skip to Content

시각적 튜링 테스트 통과하기: VR에서 시각적 사실감을 구현하기 위한 Meta의 여정 들여다보기

2020년 11월, Meta CEO 마크 저커버그(Mark Zuckerberg)는 CTO 앤드루 '보즈' 보즈워스(Andrew “Boz” Bosworth)와 Reality Labs 최고 과학자 마이클 아브라시(Michael Abrash)에게 이메일로 단도직입적인 질문을 했습니다. "우리가 현실과 거의 구분할 수 없을 정도의 VR 디스플레이를 만드는 데 방해가 되는 것은 무엇인가요? 이 목표를 달성하기 위해 해결해야 하는 문제는 무엇인가요?"

Recommended Reading

이 이메일은 2015년에 유망한 증강 현실(AR) 기업을 방문한 것부터 시작해서 수년간에 걸쳐 진행된 빈번한 이메일 대화, 일대일 토론, 기술 검토, 레드먼드 및 멘로 파크에서 이루어진 수많은 데모에 이르기까지 최첨단 가상 현실(VR) 디스플레이 시스템을 만들기 위해 저커버그와 아브라시가 나누어 온 대화의 일환이었습니다.
 
이러한 질문에 대한 답변은 비현실적인 추측이 되기 십상이지만 실상은 그렇지 않았습니다. 더글러스 랜먼(Douglas Lanman)이 이끄는 Reality Labs의 DSR(Display Systems Research) 팀이 지난 5년간 바로 이 질문에 답변하는 데 필요한 각종 기술에 관해 심도 있는 연구를 진행해 왔기 때문이죠. 실제로, DSR이 다가오는 10년을 위해 구상한 VR 디스플레이에 대한 비전을 구체화하고 계획하기에 이보다 더 시의적절하고 정확한 질문은 없을 정도였는데요. 그 비전은 바로 시각적 튜링 테스트를 통과한다는 것이었습니다.
 

Display Research의 성배 찾기 여정

 
튜링 테스트는 1950년에 앨런 튜링이 컴퓨터가 기계인지 사람인지를 판별하기 위해 만든 테스트입니다. DSR이 새로 만들어서 유수의 학계 단체들과 함께 대중화한 용어인 시각적 튜링 테스트는 VR 헤드셋으로 보여지는 세계를 실제 세계와 구분할 수 있는지를 판별하는 테스트를 말합니다. 시각적 튜링 테스트는 주관적인 테스트로, 현존하는 그 어떤 VR 기술도 통과하지 못합니다. 현재 VR은 함께 있다는 존재감을 자아내며 설득력 있는 방식으로 가상의 공간에 존재한다는 느낌을 주지만, 아직 사용자가 자신이 보고 있는 것이 실제인지 아니면 가상인지 헷갈려 할 만한 수준에는 이르지 못했습니다.
 
저커버그의 질문을 계기로 랜먼은 2020년 12월에 이후 사내에서 널리 퍼지게 될 내부 보고서인 '시각적 튜링 테스트 통과하기'를 작성했습니다. 보고서에서 랜먼은 이 목표를 달성하기 위한 상세 로드맵을 제시했습니다. 성공적으로 추진될 경우 원격 근무를 실제 사무실에서 이루어지는 근무만큼, 또는 그보다 더 생산적으로 만들어줄 가상 업무 공간부터 다른 사람들과 실제로 함께 있는 것처럼 느껴질 가상 소셜 교류와 가상 관광은 물론, 오늘날 사람들이 실제 세계에서 하는 대부분의 활동에까지 이르는 새로운 VR 기능들을 가능하게 할 목표였죠. VR로 구동되는 원격 근무는 더 많은 사람이 일자리를 따라 이주하는 대신 원하는 곳에 살 수 있도록 해줄 것입니다. 이에 따라 수많은 사람들이 더 이상 지리적인 위치로 제한되지 않는 다양한 일자리를 갖게 되고 수많은 비즈니스가 방대한 글로벌 인재 풀을 활용할 수 있게 될 것입니다. 이처럼 혁신적인 영향을 받게 될 대상은 비단 생산성에 그치지 않습니다. VR은 AR과 함께 개인용 컴퓨터만큼이나, 혹은 그보다 훨씬 더 많이 이 세상을 변화시킬 잠재력을 갖고 있으며, 실제와 구분되지 않는 시각적 경험은 이러한 잠재력을 추진하는 중요한 역할을 맡게 될 것입니다.
 
이번 'Inside the Lab' 게시물에서는 Codec Avatars 프로젝트, 실제와 같은 촉감, 입체 사운드 등과 함께 다양한 시각적 경험에서 시각적 튜링 테스트를 통과한다는 난제를 해결함으로써 메타버스의 미래를 실제와 동일하게 만드는 데 일조할 디스플레이 기술 스택을 구현하기 위한 DSR의 여정에 대해 깊이 있게 알아봅니다. DSR이 개발하고 있는 핵심 기술을 살펴보고, DSR의 진전을 뒷받침하는 프로토타이핑 접근 방식을 소개하고, DSR이 진행하는 연구의 촉매가 된 최초의 인지 연구의 결과를 공유합니다. 마지막으로, DSR의 몇 가지 프로토타입을 살펴본 다음 여러 연구 분야에 걸친 DSR의 연구 성과가 가볍고 편안한 폼 팩터를 갖는 차세대 헤드셋으로 구현된 프로토타입 디자인인 Mirror Lake를 공개합니다.
 
미래의 언젠가는 우리가 일하고, 여가를 즐기고, 소통하는 방식을 완전히 바꾸어놓을 본격적인 프로그램으로 성장할 연구 아이디어의 씨앗이자 과학적인 탐사의 이야기를 시작하겠습니다. 이 이야기는 도전 과제에서 시작합니다.

도전 과제

 
시각적 사실감을 추구하는 과정에서 DSR이 직면한 도전 과제는 바로 시각적 튜링 테스트, 특히 소비자용 헤드셋에서 시각적 튜링 테스트를 통과하는 데 필요한 기술이 아직 존재하지 않는다는 것입니다. Quest와 Quest 2는 제법 그럴듯한 시각적 3D 경험을 구현하긴 하지만, 아직은 실제 세계의 경험에 비할 수가 없습니다. 명백한 제약 조건은 해상도이지만, 해상도 외에도 수없이 많은 난제들이 산적해 있습니다. VR에서는 수렴-조절 불일치, 색 수차, 양안 시차, 동공 이동 왜곡 등 오늘날의 2D 디스플레이에는 존재하지 않는 여러 새로운 문제가 발생합니다. 따라서 완전히 사실적인 시각적 VR 경험에 다가가기 위해서는 여러 방해 요소를 극복하고, 엄청나게 많은 연구를 수행하고, 다수의 사용자 연구를 진행해야 합니다. 완전히 사실적인 시각적 경험과 오늘날의 시각적 경험 사이의 간극을 메우기 위해 필요한 혁신은 크게 몇 가지 카테고리로 나뉩니다.
 
가장 큰 문제는 해상도입니다. VR 헤드셋은 가장 큰 너비의 모니터보다도 훨씬 큰 시야각을 갖기 때문에 한정된 픽셀을 2D 디스플레이보다 훨씬 큰 영역에 적용해야 하므로 주어진 픽셀이 몇 개이든 간에 해상도가 현저히 떨어지게 됩니다. 예를 들어, 시력이 1.0인 사람의 전체 시야각을 표현하려면 가로 방향으로 약 13,000개의 픽셀이 필요한데, 이는 현존하는 어떤 소비자용 디스플레이보다도 큰 수치입니다. (사람의 눈은 시야각 전체에서 고해상도를 인지하는 능력이 없기 때문에 실제 인식은 이렇게까지 열화되지 않지만, 심각한 문제라는 사실에는 변함이 없습니다.) 현존하는 디스플레이보다 단지 훨씬 많은 수의 픽셀만 필요한 것이 아니라 픽셀의 품질도 지금보다 향상되어야 하죠. 오늘날의 VR 헤드셋은 노트북, TV, 휴대폰보다 밝기와 대비가 크게 낮습니다. 따라서 VR은 오늘날 사람들에게 익숙한 2D 디스플레이로 구현되는 세밀하고 정확한 수준의 표현에 도달하지 못합니다.
 
게다가 오늘날의 VR 디스플레이에 사용되는 렌즈는 가상 이미지를 왜곡하기 때문에 소프트웨어적으로 왜곡이 완전히 보정되지 않는 한 사실감이 저하되는데, 사람의 눈이 여러 방향을 보기 위해 움직임에 따라 왜곡이 달라지므로 소프트웨어적 보정 또한 쉬운 일이 아닙니다. 사실감 외적으로는 렌즈의 왜곡과 헤드셋의 무게가 일시적인 불편함과 피로를 유발할 수 있으므로 헤드셋을 장시간 착용하기 어렵다는 문제가 있습니다. 여기에 더해 해상도의 일환이라고 볼 수 있지만 매우 중요하기 때문에 그 자체로 하나의 카테고리를 구성하는 또 다른 핵심적인 문제가 있는데요. 바로 모든 거리에서 올바르게 초점을 맞추는 능력입니다. 이 문제는 이 이야기의 중심부에 자리 잡고 있으므로 뒷부분에서 마지막 요점으로 다루겠습니다.
 
저커버그와 랜먼은 이러한 간극을 메우기 위해 시각적 튜링 테스트를 통과하려면 다음과 같은 새로운 기술 스택을 구현해야 한다고 생각합니다.
 
  • 팔 하나 정도에 해당하는 거리 내에서 장시간 또렷하고 편안한 비전을 구현할 수 있도록 올바른 초점 심도를 제공하는 (단일 고정 초점이 아닌) '다초점' 기술
  • 궁극적으로 사람의 1.0 시력을 능가하는 해상도
  • 사물 주위의 색깔 간섭 무늬, 이미지 워핑 등 이미지 광학 기기에 의해 유발되는 광학 수차를 보정하는 왜곡 교정
  • VR에서 경험할 수 있는 색상, 밝기 및 대비의 범위를 늘려주는 하이 다이내믹 레인지(HDR)
 
이러한 기능을 개발하는 것은 매우 까다롭고 반드시 필요한 일이지만, 이것만으로는 충분하지 않습니다. 이 모든 기능이 소비자용으로 적합한 편안한 착용감의 헤드셋에 적용되어야 하죠. 그러기 위해서는 DSR이 복수의 디스플레이 차원에서 현재의 기술을 발전시켜야 할 뿐 아니라 현존하는 기술을 뛰어넘는 디스플레이 시스템을 만들어야 하는데, 이로 인해 문제가 한층 더 복잡해집니다. 하지만 이 도전 과제는 DSR이 기꺼이 받아들이고 있는 동시에 저커버그가 차세대 VR에 도달하기 위해서는 반드시 해결해야 한다고 믿는 문제입니다.
 
랜먼은 이 과제의 복잡성을 다음과 같이 설명합니다. "헤드셋 디스플레이에서는 모든 기술적인 시스템이 상호 연결되어 있기 때문에 이 모든 기술이 적용된 헤드셋을 디자인하고 만드는 것은 매우 까다로우면서도 시간이 오래 걸리는 작업입니다. 각각의 기술이 작은 크기와 가벼운 무게, 한정된 전력과 비용 예산을 두고 경쟁할 뿐 아니라 뛰어난 착용감의 소형 폼 팩터에 빠짐없이 들어가야 하기 때문이죠." 빠듯한 예산 안에서 모든 기술을 빠짐없이 적용하는 것만으로 문제가 끝나는 것이 아닙니다. 기술 스택을 구성하는 요소 하나하나가 다른 모든 요소와 호환되어야 하죠. 예를 들어, 특정 시선 트래킹 기술이 올바르게 작동하기 위해서는 특정 유형의 디스플레이 렌즈와 페어링되어야 합니다.
 
DSR는 개별 기술에서부터 완전한 시스템에까지 이르는 광범위한 프로토타이핑 활동으로 방대한 VR 디스플레이 디자인 분야를 개척하고 한계를 넓히는 한편, 튜링 테스트 통과라는 목표의 진척 상황을 평가하기 위해 각각의 프로토타입을 대상으로 사용자 연구를 진행함으로써 이 문제를 정면으로 공략했습니다. 레드먼드 RL Research에서 그 가시적인 성과를 볼 수 있는데요. 바로 벽 전체를 가득 채운 프로토타입들이 차세대 VR 디스플레이를 구현하기 위한 방대한 기술 스펙트럼을 보여주며 시각적 사실감을 추구하는 DSR의 여정을 방증하고 있습니다.
지난 7년 동안 Lanman의 팀은 24개 이상의 완전한 기능을 갖춘 AR/VR 연구용 헤드셋을 제작했으며, 각 헤드셋은 새로운 데모 및 사용자 연구를 잠금 해제하는 데 적합합니다.
지금부터는 그 여정의 시초부터 지금에까지 이르는 모든 과정을 하나씩 살펴보겠습니다. 지난 수년간 Meta가 계속해서 언급해왔으며 오랜 기간 진행되어온 다초점 프로그램의 최신 소식을 포함하여 네 가지 기술 축을 차례로 살펴본 다음 가장 최근에 개발된 두 가지 DSR 디스플레이 시스템 아키텍처를 소개하겠습니다. 바로 Quest 2급 VR 헤드셋 중에서 가장 콤팩트한 광학 기술이 적용되었으며 홀로그래픽 광학을 갖춘 최초의 헤드셋인 Holocake 2와 시각적 VR 경험의 다음 세대를 위해 Meta가 제안하는 아키텍처인 Mirror Lake입니다.
 
이제 이 모든 것이 시작된 2015년으로 가보겠습니다.
 

다초점, 그리고 손이 수행하는 뜻밖의 역할

 
2015년, 새롭게 출범한 랜먼의 팀은 시각적 튜링 테스트 통과라는 목표를 달성하는 데 도움이 될 만한 디스플레이 기술을 조사하는 초기 연구를 진행하고 있었습니다. 이와 동시에 당시 Facebook이었던 Meta는 Oculus Rift의 출시를 준비하고 있었습니다. Oculus Rift의 출시에 이어 VR 내에서 손을 사용할 수 있도록 해주는 새로운 인터랙션 방법인 Touch 컨트롤러도 곧바로 선을 보였죠.
 
랜먼은 Reality Labs가 조만간 Touch 컨트롤러를 넘어 당시 연구팀이 개발 중이던 핸드 트래킹 기술을 선보일 것이라고 확신하고 있었습니다. (실제로 그렇게 되었습니다. 2020년에 Quest에 Hands가 탑재되었으니까요.) 이 확신을 바탕으로 랜먼은 중요한 인사이트를 포착했습니다.
가변 초점은 보고 있는 대상에 따라 디스플레이의 초점을 조정하는 기술입니다. 이 렌즈를 통해 촬영한 영상에서는 특히 가까운 물체에 초점을 맞출 때 차이를 확인할 수 있습니다.
바로 손을 효과적으로 사용하기 위해서는 손에 초점을 맞출 수 있어야 한다는 것이었죠. 현실에서는 너무나 당연하고 자연스러운 일이라 특별하다고 생각되지 않을 수 있지만, VR에서는 물리의 법칙이 달라지기 때문에 실상은 그렇지 않습니다. 현실에서 사람들은 자신의 눈과 자신이 보고 있는 사물 사이의 거리에 맞게 끊임없이 안구 렌즈의 모양을 바꾸어서 해당 지점에서 오는 빛을 올바르게 이미징합니다. 반면에 오늘날의 헤드셋에 적용된 광학은 보통 1.5~2미터 정도의 거리에 초점이 고정되어 있습니다. 즉, VR에서는 우리가 인식하지 못하지만 어떤 장면을 보고 있든 빛이 항상 같은 거리에서 오는데, 이것은 사람의 시각 체계가 경험하는 새로운 현상입니다. 이처럼 VR에서는 가상의 3D 개체와 (오늘날의 헤드셋에서 1.5~2미터에 고정되어 있는) 초점 거리 사이의 시뮬레이션된 거리가 일치하지 않기 때문에 수렴-조절 불일치가 유발될 수 있습니다. 수렴-초점 불일치는 VR 분야의 널리 알려진 현상으로, 일시적인 피로와 흐릿한 시야를 유발할 수 있으며 VR을 장시간 이용할 때 경험할 수 있는 불편함의 한 가지 원인이 될 수 있습니다. 저커버그는 작년에 다초점의 이점에 대해 설명하면서 이렇게 말했습니다. "디스플레이가 단일한 고정된 거리에서 투영되기 때문에 눈이 초점을 맞추려고 해도 그렇게 할 수가 없습니다."
 
수렴-초점 불일치를 해결하기 위한 한 가지 방법은 보고 있는 개체의 실제 거리와 일치하도록 VR의 초점 심도를 동적으로 조정하여 눈이 올바른 거리에 초점을 맞추도록 하는 것인데, 이를 구현하는 한 가지 가능성인 '다초점'은 사용자가 보고 있는 개체가 바뀜에 따라 렌즈를 이동하는 것입니다. DSR은 이 이론을 검증하기 위해 2016년에 아래와 같은 대규모 경험 증명 프로토타입을 만들었습니다. Meta에서는 이와 같이 소비자용으로 출시하기에는 아직 갈 길이 멀지만 다년간의 연구와 개발을 거치면 무엇이 가능하게 될지 알아볼 용도로 만든 프로토타입을 '타임 머신'이라고 부릅니다. 타임 머신은 미래의 시각적 VR 기술이 펼쳐질 디자인 분야를 탐색하는 DSR의 접근 방식에서 중요한 부분을 차지합니다.
2016년에 제작된 DSR의 첫 번째 완전한 가변 초점 프로토타입은 매력적인 경험을 위해 필요한 모든 구성요소를 통합했습니다. 가변 초점, 강력한 시선 추적, 디스플레이 초점의 변경으로 업데이트되는 실시간 왜곡 보정, 초점면에서 멀어지는 흐림 효과 렌더링 , 현실 세계에서와 같이. 2016년 데모에서는 프로토타입 Touch 컨트롤러를 사용하여 실험실 구성원이 팔 길이 내의 물체에 대한 시력 이점을 직접 평가할 수 있었습니다.

최초의 사용자 연구와 Half Dome의 발전

 
저커버그는 2017년에 다양한 프로토타입을 살펴보고 Meta의 기술이 나아갈 방향에 관한 몇 가지 세부 사항을 결정하기 위해 RL Research를 방문했습니다. 그날 저커버그가 경험한 첫 번째 VR 데모는 Reality Labs가 시도한 첫 번째 다초점 프로토타입이었습니다. 데모를 마친 저커버그는 다초점이 근처에 있는 개체의 선명도를 높인다는 데 동의했죠. 이를 비롯한 몇 가지 초기 프로토타입을 통해 다초점의 기반이 되는 원칙이 유의미하며, 주관적으로 보다 선명한 시각적 경험을 선사한다는 사실을 알 수 있었습니다. 그러나 다초점의 효과는 주관적이었기 때문에 DSR이 구현한 다초점이 수렴-초점 불일치를 해결하며 선명함과 편안함을 개선한다는 명확한 증거가 없었습니다.
 
다초점에 관한 사용자 연구를 통해 그 해답을 찾기 위해 당시 DSR 팀의 비전 과학자였던 마리나 자놀리(Marina Zannoli)가 투입되었습니다. 자놀리는 가장 먼저 까다로운 엔지니어링 문제를 제시했습니다. 크고 불편한 프로토타입을 착용함으로써 발생하는 불편함으로 인해 연구 결과가 오염되지 않도록 Oculus Rift의 형태와 무게에 가까운 새로운 헤드셋을 만드는 일이었죠. 이를 위해서는 2,450g에 달하는 기존 헤드셋에 비해 부피를 4분의 1로 줄여야 했고, 동시에 다초점 시스템이 발생시키는 소음과 진동을 없애야 했습니다.
 
그로부터 9개월 뒤, 당시에 Rift용으로 출시되어 있던 모든 VR 게임과 완전히 호환될 뿐 아니라 모든 VR 게임에서 다초점을 통해 올바른 초점 심도를 제공하는 무게 680g의 연구용 프로토타입 헤드셋 Half Dome Zero가 탄생했습니다. 비록 무게 470g의 Rift보다는 무거웠지만, 자놀리는 Half Dome Zero가 사용자 선호도에 대한 의미 있는 인사이트를 제공하고 다초점의 이점을 구현할 수 있을 만큼 가볍다고 판단했습니다.
 
다음으로 자놀리는 다초점이 근처에 있는 개체의 선명도를 개선하는지, 사용자가 3D 장면을 보다 빠르게 인식하는 데 도움이 되는지, 시각적 편안함을 높여주는지, 그리고 가장 중요하게는 사용자가 다초점을 선호하는지와 같은 다초점의 의도된 이점을 테스트할 방법을 정해야 했습니다.
 
이때 자놀리는 시력 검사표와 같은 제한적인 자극을 사용하는 일반적인 비전 과학 접근 방식을 벗어나 VR 경험을 기반으로 연구를 진행하기로 했습니다. 자놀리는 테크니컬 아티스트들로 구성된 팀과 협력하여 테스트 참가자가 대부분의 시간을 근처에 있는 개체를 관찰하면서 보내도록 독려하는(현재는 고정 초점 VR의 알려진 제약 사항 때문에 VR 개발자들이 피하도록 권고되는 방식입니다) 비디오 게임 기술 기반의 맞춤형 데모 앱을 개발했습니다.
2017년에 수행된 Half Dome Zero 사용자 연구는 VR에서 30분을 보내는 것과 관련된 세 가지 경험에 걸쳐 진행되었습니다. 기호 및 무작위 점 스테레오그램을 보고 참가자가 장면의 3D 패턴을 얼마나 빨리 이해할 수 있는지 평가하는 작업이 포함되었습니다(참고: 패턴은 VR에서만 볼 수 있음).
테스트에 적합한 헤드셋과 치밀하게 고안된 프로토콜을 갖추게 된 자놀리는 63명의 참가자를 모집하여 고정 초점 VR을 기준으로 다초점 시스템을 평가하는 2일간의 테스트를 진행했습니다. 테스트 첫째 날은 Half Dome Zero에서 다초점이 완전히 활성화된 상태로 진행되었고, 둘째 날은 기존의 VR 헤드셋에서와 같이 헤드셋이 고정 초점 모드로 작동하는 상태로 진행되었습니다. 참가자들은 질문지를 작성하며 다양한 기본 설정을 주관적으로 평가했습니다.
 
결과는 연구팀의 기대보다 더 고무적이었습니다. 자놀리는 테스트 결과를 이렇게 요약합니다. "결과를 통해 다초점을 사용하면 사용자가 모든 측면에서 더 편안함을 느낀다는 사실을 알 수 있었습니다. 피로, 메스꺼움, 흐릿한 시야를 경험하는 정도가 줄어들었고, 작은 개체를 보다 잘 식별할 수 있었으며, 텍스트를 쉽게 읽을 수 있었고, 주변의 시각적 환경에 더 빨리 반응했습니다." 그중에서도 가장 고무적인 것은 참가자 대부분이 고정 초점 VR보다 다초점을 선호한다는 사실이었습니다. Half Dome Zero는 시선 트래킹 및 왜곡 교정 소프트웨어가 완벽하지 않은 초기 프로토타입이었으므로 특히나 놀라운 결과였죠.
따라서 2017년 여름에는 다초점이 성능과 편안함 측면에서 VR에 여러 이점을 제공한다는 명확한 증거를 갖게 되었고, Inria 및 UC BerkeleyStanford에서 동시에 진행된 연구도 이 결론을 뒷받침했습니다. 연구팀은 이제 시선 트래킹, 컴퓨터 그래픽, 광학 디자인, 제어 시스템, 무게와 같은 나머지 엔지니어링 문제를 해결하는 것이 최우선 과제라는 확신을 갖게 되었고, 그로부터 5년에 걸쳐 DSR은 다초점 기술의 한계를 확장하는 일련의 프로토타입을 선보였습니다.
Half Dome Zero는 2017년 연구에서 사용되었습니다. Half Dome 1으로 팀은 시야를 140도로 확장했습니다. Half Dome 2는 인체 공학적이고 편안하도록 제작되었으며 무게는 200g 더 가볍습니다. 그리고 Half Dome 3에서는 전자 가변 초점을 도입하여 헤드셋의 크기와 무게를 더욱 줄였습니다.

다초점을 넘어: 레티나 해상도, 무왜곡 디스플레이, HDR

 
랜먼은 이렇게 말합니다. "Half Dome 시리즈는 연구팀의 전환점이었어요. 다초점 기술을 발전시킬 계기가 되었고, 다른 디스플레이 연구 프로그램의 템플릿으로 기능했거든요." Half Dome으로 가시적인 성과를 본 DSR은 이후 모든 연구를 Half Dome과 동일한 방식으로 진행했습니다. 기술적인 요구 사항과 가설을 정립하고, 대규모 경험 증명 타임 머신을 만들고, 이어서 정교한 개념 증명 프로토타입을 만든 다음 마지막으로 사용자 연구를 실시하여 다음번 프로토타입의 기초가 될 핵심 데이터를 생성했죠.
 
랜먼은 이렇게 덧붙입니다. "이 청사진을 시각적 튜링 테스트의 다른 차원에, 그중에서도 특히 해상도, 광학 왜곡, 다이내믹 레인지에 엄격하게 적용했습니다."
 
이번에는 해상도, 광학 왜곡, 다이내믹 레인지라는 세 가지 차원에서 DSR이 현재 어느 단계에 와 있는지 알아보겠습니다.
 

Butterscotch: '레티나 해상도' 이해하기

 
'레티나 해상도'는 오랜 기간 화면이 있는 제품의 황금 표준으로 기능했습니다. 망막 해상도의 널리 통용되는 정의는 없지만, 보통 시력 검사표에서 시력 1.0 선을 나타나는 데 충분한 60ppd(각도당 픽셀)로 간주됩니다. 대부분의 노트북, TV, 휴대폰은 벌써 오래전에 이 기준을 넘어섰지만, VR의 경우 방대한 시야각으로 인해 한정된 픽셀이 훨씬 큰 시각적 범위에 분산되어야 하므로 아직 레티나 해상도에 접근하지 못했습니다. 예를 들어, Quest 2의 디스플레이는 약 20ppd를 지원합니다.
시력 차트가 VR로 표시되면 Rift와 Quest 2 모두 20/20 시력을 나타내는 가장 낮은 선을 해결할 수 없습니다. 대조적으로, DSR의 Butterscotch 프로토타입은 전통적인 망막 해상도 요구 사항을 충족하도록 설계되었으며 각 헤드셋 유형의 렌즈를 통해 촬영한 이 사진에서 볼 수 있듯이 시력 차트에서 가장 미세한 기능을 묘사할 수 있습니다.
따라서 아주 작은 텍스트와 그 밖의 디테일이 정밀하게 재현되지 않으며, 이로 인해 체감되는 사실감이 제한됩니다. 일본의 연구원들은 이미지의 해상도가 '레티나' 해상도라 여겨지는 지점을 지나 약 120ppd까지 높아짐에 따라 사실감도 서서히 증가한다는 사실을 입증했습니다. 시각적 튜링 테스트의 중심에는 시각적 사실감이 자리 잡고 있기에 DSR은 여러 해 동안 VR의 맥락에서 레티나 해상도의 중요성을 탐구하고 레티나 해상도에 도달한 상용 헤드셋을 개발할 방법을 알아보기 위해 디자인된 일련의 고해상도 VR 프로토타입을 만들었습니다.
 
프로토타입의 가치는 저커버그와 보즈워스가 작년에 RL Research를 방문한 것을 계기로 예기치 않게 한층 강화되었습니다. 저커버그는 공항에서 RL Research로 이동하는 길에 아브라시에게 레티나 해상도의 진척 상황을 물었습니다. 아브라시는 두어 시간 후에 DSR의 가장 발전한 최신 레티나 해상도 프로토타입인 Butterscotch를 착용해 보면 직접 알아볼 수 있을 것이라고 답했습니다.
DSR 팀은 정기적으로 Meta의 리더들에게 데모를 제공하여 미래의 AR/VR 시각 기술을 미리 엿볼 수 있도록 합니다. 왼쪽: Mark Zuckerberg는 2017년 워싱턴 레드몬드의 연구팀을 방문하는 동안 초기 AR 가변 초점 프로토타입을 사용하여 가변 초점을 처음 경험했습니다(인간 공학에 최적화되지 않았습니다!). 오른쪽: 작년에 RL Research를 방문했을 때 Zuckerberg는 DSR의 최신 망막 해상도 VR 프로토타입을 경험했습니다.
Butterscotch는 가능한 한 빠르게 그리고 직접적으로 답을 알아내기 위해 프로토타입이 사용된 좋은 예입니다. 표준 VR 시야각을 위한 레티나 해상도를 지원하는 현존하는 패널은 없기 때문에 연구팀은 3k LCD 패널과 Quest 2의 절반가량에 해당하는 제한적인 시야각을 사용하여 Quest 2의 2.5배에 달하는 55ppd로 해상도를 높였습니다. 그런 다음 이 높은 해상도를 완전히 구현하기 위해 새로운 종류의 하이브리드 렌즈를 개발했습니다.
 
결과물은 너무 크고 무겁고 시야각도 작아서 시판 가능한 기술 근처에도 못 미쳤지만, 저커버그는 레티나에 가까운 해상도를 경험하며 레티나 해상도가 얼마나 놀라운 효과를 주는지 직접 알아볼 수 있었습니다. 이것이 바로 DSR의 타임 머신의 존재 가치였죠. Butterscotch 데모를 통해 VR의 미래에 레티나 해상도가 얼마나 중요한지 깨달은 저커버그는 해상도 로드맵에 대한 회사 차원의 검토를 주도했습니다.
 
사실감에 다가가는 VR 해상도를 달성하려면 아직 갈 길이 멀지만, Butterscotch는 그 여정을 대폭 진전시킨 중요한 단계입니다. 이와 동시에 Butterscotch는 DSR의 다른 기술들을 고해상도 디스플레이 시스템에 통합하기 위한 기저로 기능합니다. 한 가지 예로 DSR은 Half Dome Zero 프로토타입의 3배가 넘는 해상도를 제공할 다초점 버전의 Butterscotch를 개발하고 있습니다. 고정 초점에서는 초점 평면 밖에서 흐릿함이 발생합니다. 해상도가 높아질수록 이게 더 중요해지는데요. 다초점 버전의 Butterscotch가 구현되면 사람 시야의 가장자리 인근에서 다초점의 전체적인 시각적 선명도 이점을 평가할 수 있게 될 것입니다.
 

VR 헤드셋의 광학 왜곡 없애기

 
시각적 VR 경험의 해상도는 매우 중요하지만 전체 그림을 구성하는 퍼즐 한 조각에 불과합니다. 해상도와 마찬가지로 중요한 것은 이미지 품질인데, 갖가지 기술적인 이유로 인해 그 어떤 VR 렌즈도 광학 수차로부터 완전히 자유로울 수 없습니다. 소프트웨어적으로 이미지를 워핑함으로써 어느 정도의 수차를 교정할 수 있습니다. 이 방법은 현존하는 모든 VR 헤드셋의 중요한 요소이며, 이를 올바르게 구현해야 탁월한 시각적 경험을 창출할 수 있습니다. 그러나 현존하는 VR 헤드셋의 왜곡 교정 소프트웨어는 완벽하지 않습니다. 교정은 정적인데 가상 이미지의 왜곡은 사용자가 바라보는 지점에 따라 동적으로 변화하기 때문입니다. 아래에 나와 있는 이 현상을 '동공 이동 왜곡'이라고 합니다. 사용자의 눈이 움직이면 모든 것이 함께 조금씩 움직이기 때문에 이로 인해 VR의 사실감이 저하됩니다. 다초점에서는 이 현상이 심화됩니다. 디스플레이의 초점 거리가 바뀜에 따라 이미지가 확대되거나 축소되기 때문입니다.
가변 초점이 원활하게 작동하려면 VR의 일반적인 문제인 광학 왜곡이 오늘날 헤드셋에서 수행되는 것보다 더 많이 해결되어야 합니다. 오늘날 헤드셋의 보정은 정적이지만 가상 이미지의 왜곡은 보는 위치에 따라 변화하는 동적입니다. 눈동자 수영으로 알려진 이 현상은 눈이 움직일 때 모든 것이 조금씩 움직이기 때문에 VR이 덜 현실적이게 보일 수 있습니다.
연구팀은 2017년에 진행한 Half Dome Zero 사용자 연구에서 실수로 다초점의 왜곡 교정이 해제되는 바람에 정확한 다초점 왜곡 교정의 중요성을 조기에 알아챌 수 있었습니다. 이 실수를 정정하는 과정에서 렌즈 왜곡 교정을 올바르게 적용해야만 다초점의 이점을 얻을 수 있다는 사실을 알게 되었습니다. 왜곡 교정을 제대로 적용하는 것이 중요하다는 사실은 알게 되었으나, 이 주제에 대해 연구를 진행함에 따라 올바른 왜곡 교정에 필요한 도구가 부재하다는 사실도 알 수 있었습니다.
 
왜곡 연구를 준비하는 데는 시간이 매우 오래 걸립니다. 맞춤형 헤드셋에 들어가는 렌즈를 만드는 데만 몇 주에서 몇 개월이 걸리며, 그 이후에도 테스트에 사용할 수 있을 만큼 어느 정도 작동하는 헤드셋 디스플레이를 만드는 데 많은 시간이 소요됩니다. 렌즈 제조 하드웨어가 아닌 광학 디자인 소프트웨어의 속도에 맞추어 왜곡 연구를 진행해야 한다는 사실을 깨달은 DSR은 이 문제를 해결하는 데 착수했습니다.
DSR의 VR 렌즈 왜곡 시뮬레이터는 3D TV를 사용하여 VR 헤드셋을 에뮬레이트합니다. 이를 통해 팀은 반복 가능하고 신뢰할 수 있는 방식으로 새로운 광학 설계 및 왜곡 보정 알고리즘을 신속하게 연구하는 동시에 전체 헤드셋 프로토타입을 사용하여 설계를 반복하는 시간 소모적인 프로세스를 제거할 수 있습니다.
그리고 실제로 문제를 해결하는 데 성공했습니다. 연구팀은 각종 렌즈 디자인에 맞는 왜곡 교정 알고리즘을 곧바로 고안할 수 있도록 3D TV 기술을 활용하여 정밀하게 제어된 왜곡을 유발할 수 있는 VR 렌즈 왜곡 시뮬레이터를 만들었습니다. DSR의 신속 프로토타이핑 솔루션은 8월에 개최되는 연례 SIGGRAPH 컨퍼런스에서 공개됩니다.
 
연구팀은 신속 프로토타이핑 솔루션을 활용하여 사상 처음으로 시선 트래킹 왜곡 교정을 살펴보는 사용자 연구를 진행할 수 있었습니다. 동적 왜곡 교정은 현존하는 헤드셋에 적용된 교정 소프트웨어와 달리 렌더링된 교정을 시선 트래킹을 사용하여 업데이트함으로써 안구의 움직임을 고려합니다. 따라서 오늘날의 정적 교정 소프트웨어로는 할 수 없는 상시 정적인 이미지를 생성할 수 있습니다.
 
신속 프로토타이핑은 VR 렌즈 왜곡과 모든 종류의 교정에 관한 연구 속도를 크게 높여 미래의 VR 헤드셋에서 왜곡을 줄일 방법을 도출할 수 있는 가능성을 갖고 있습니다.
 

Starburst: 하이 다이내믹 레인지 헤드셋 미리 보기

 
해상도, 왜곡 교정, 다초점은 모두 시각적 사실감 발전을 위한 핵심이지만, 사실감 및 깊이감 향상과 가장 높은 관련성을 갖는 기술은 바로 하이 다이내믹 레인지(HDR)입니다. 넓은 범위의 밝기, 대비, 색상에 대한 지원을 의미하는 HDR은 최근 들어 TV 분야에서 각광을 받고 있습니다.
 
'니트(nit)'는 개체가 발산하는 빛의 양을 나타내는 단위로, 실내 환경에서 흔히 볼 수 있는 값은 아래와 같이 10,000니트를 훌쩍 넘어섭니다. 최근까지도 TV의 밝기는 몇 백 니트에 불과했습니다. 그러나 2013년에 Dolby Labs의 연구원들이 최대 밝기 20,000니트에 달하는 맞춤 제작 디스플레이로 사용자 연구를 진행한 결과, 최대 밝기의 적정 수준은 약 10,000니트라는 사실을 발견했습니다. 이 선구적인 연구를 계기로 TV 업계가 2015년부터 2020년까지 HDR 디스플레이를 개발하여 선보인 결과, 큰 성공을 거두었습니다.
VR 분야에서는 아직 이와 같은 도약이 이루어지지 않았습니다. Quest 2의 최대 밝기는 100니트입니다. VR 헤드셋의 전력, 온도와 폼 팩터 내에서 이 수치를 넘어서기란 쉽지 않은 일입니다. 저커버그는 작년에 진행된 한 인터뷰에서 다음과 같이 설명했습니다. "디스플레이의 선명도를 높은 수준으로 끌어올리는 데 있어 가장 큰 난관은 바로 HDR일 것입니다. TV는 최근 들어 HDR에서 괄목할 만한 발전을 이룩했습니다. 그러나 현실에서 사람의 눈이 보는 것과 화면의 선명도는 10배 이상에 달하는 차이가 납니다." 최신 VR 헤드셋에 사용되는 LCD 패널과 렌즈 또한 TV 화면보다 대비가 낮기 때문에 사실감이 저하됩니다. 밝기를 높이면 어두운 색상, 그중에서도 특히 검은색이 색 바랜 효과를 갖게 되어 문제가 증폭됩니다. 마지막으로, 오늘날의 디스플레이는 사람의 눈이 인지할 수 있는 전체 색 영역의 일부만 표현할 수 있습니다.
 
DSR 연구원들은 현재 HDR VR 헤드셋 프로토타입을 개발하고 있습니다. DSR 연구 과학자 네이선 마츠다(Nathan Matsuda)는 이렇게 말합니다. "최신 프로토타입인 Starburst는 크고 무겁고 유선으로 연결됩니다. 엄청나게 큰 망원경을 사용하는 것처럼 얼굴에 대고 사용해야 하죠. 하지만 이 번거로움을 감수하면 그 누구도 경험한 적 없는 새로운 것을 경험하게 됩니다. 주로 실내나 야간 환경에서 볼 수 있는 모든 범위의 밝기가 재현되거든요."
DSR의 Starburst 프로토타입은 Quest 2 헤드셋의 내장을 재구성하여 LCD 패널 뒤에 매우 밝은 램프를 배치합니다. 이 "타임 머신"은 20,000니트의 최대 밝기에 도달하는 가장 밝은 HDR 디스플레이 중 하나이며, DSR이 알고 있는 최초의 3D HDR 헤드셋이므로 팀이 HDR과 3D 깊이 인식의 상호 작용을 조사할 수 있습니다.
HDR은 두 눈으로 직접 경험하지 않고서는 달리 설명할 방법이 없습니다. 8월에 SIGGRAPH에서 Starburst 데모도 진행될 예정이니 기대해 주세요. DSR은 기존의 템플릿에 따라 사용자 연구에 활용할 향상된 HDR 헤드셋을 만들고 있습니다. 진정한 HDR VR 디스플레이를 구현하는 여정은 길고 지루하겠지만, 이 여정에 오른 DSR은 계속해서 새로 발견하고 알게 되는 내용을 공유해 드리겠습니다.
 

도약 실현하기

 
다년간의 데모와 사용자 연구가 축적된 지금, DSR은 레티나 해상도, 다초점, 정확한 왜곡 교정과 HDR이 VR에서 시각적 튜링 테스트를 통과하기 위한 핵심 요인이라는 확신을 바탕으로 시각적 현실감을 구성하는 각각의 측면을 개별적으로 발전시킨 프로토타입을 만들고 검증했습니다. 하지만 궁극적인 목표는 하나의 소형 헤드셋에서 이 네 가지 차원을 모두 결합하는 것입니다. 그러기 위해서는 문제가 기하급수적으로 복잡해지죠.
 
VR 헤드셋은 콤팩트하고, 가볍고, 스타일리시해야 하는데, DSR의 기술들을 구현하는 데 필요한 추가적인 하드웨어는 콤팩트함, 가벼움, 스타일리시함을 저하하기 때문입니다. 랜먼은 이렇게 말합니다. "거의 7년에 가까운 기간 동안 고성능 다초점 헤드셋을 개발하는 과정에서 기계공학 엔지니어들은 그럴듯한 다초점 시스템, 즉 적어도 물리적으로 구현할 수 있는 렌즈나 화면을 갖춘 다초점 시스템을 만들려면 어김없이 약 40g~50g이 늘어난다는 사실을 알아냈습니다." AA 배터리 2개에 해당하는 40~50g은 그다지 크게 느껴지지 않을 수 있지만, 이만큼의 무게를 더한다는 것은 사용자들에게 Quest 2보다 적어도 10%는 무거운 헤드셋을 받아들이라고 요구해야 함을 의미합니다.
 
바로 이 지점에서 DSR 연구 과학자 앤드루 메이몬(Andrew Maimone)의 연구가 빛을 발합니다. 메이몬의 연구는 기존 VR의 크기, 무게, 전력을 할 수 있는 한 많이 줄이는 데 집중합니다. 메이몬은 이렇게 설명합니다. "초기 프로토타입으로부터 많은 것을 배울 수 있었지만 크고, 무겁고, 실험적인 프로토타입으로 시각적 튜링 테스트를 통과하는 것은 궁극적으로 누구나 매일같이 사용하고 싶어 할 매끈하고 가벼운 폼 팩터로 이러한 기술을 구현하기 위해 거치는 첫걸음에 불과합니다. 따라서 저희는 이 모든 요소를 시판 가능한 형태로 녹여낼 방법을 알아보기 위해 아키텍처 프로토타입을 만드는 데 주력합니다."
 

Holocake: 작게, 더 작게

 
메이몬은 지난 가을에 저커버그와 보즈워스가 레드먼드에서 체험했던 극소형 아키텍처 프로토타입 헤드셋인 Holocake 2의 개발을 이끌었습니다.
Holocake 2는 완전한 기능의 PC 연결 헤드셋에서 홀로그램 팬케이크 렌즈의 광학 성능을 테스트하도록 설계되었습니다.
2020년에 공개한 Holocake 헤드셋에 관한 게시물에서 처음으로 공개했던 접근 방식인 홀로그래픽과 단렌즈 광학 기술을 결합한 Holocake 2는 이제껏 Meta가 만든 가장 얇고 가벼운 VR 헤드셋입니다. 생김새는 선글라스 같은데 핵심적인 기계 및 전기 구성요소가 빠져 있고 오늘날의 소비자용 VR 헤드셋보다 광학 성능이 크게 떨어지는 오리지널 Holocake와 달리 Holocake 2는 현존하는 모든 PC VR 타이틀을 실행할 수 있는, PC에 유선으로 연결되고 제대로 작동하는 헤드셋입니다.
 
Holocake 2가 극소형 폼 팩터를 구현한 방식을 이해하려면 VR 디스플레이가 어떻게 구성되는지 알아야 합니다. 오늘날의 VR 디스플레이는 광원, 광원의 밝기를 줄이거나 키워서 이미지를 형성하는 디스플레이 패널, 그리고 디스플레이의 빛을 사람의 눈에 집중시키는 렌즈로 구성됩니다. 일반적으로, 렌즈는 빛을 눈으로 향하게 만들 만큼 충분한 집중력을 갖도록 디스플레이에서 몇 인치 정도 떨어져 있어야 합니다.
홀로케이크 렌즈는 두 가지 방법으로 두께와 무게를 줄입니다. 첫째, 편광 기반 광학 폴딩은 새로운 팬케이크 렌즈와 유사하게 렌즈 내부에서 빛을 반사시킵니다. 둘째, 홀로그램 필름은 Quest 2와 같이 팬케이크 렌즈와 기존 굴절 디자인 모두에 사용되는 더 부피가 큰 굴절 렌즈를 대체합니다. 각각의 경우 평면 패널 디스플레이에서 나오는 빛은 눈으로 집중됩니다. 폼 팩터만 다릅니다.
그런데 위 그림에서 볼 수 있듯이 렌즈를 디스플레이에 훨씬 더 가까이 배치하여 헤드셋의 크기를 크게 줄일 수 있는 몇 가지 방법이 있습니다. Holocake 2는 이를 구현하기 위해 두 가지 기술을 동시에 적용합니다. 첫째, 렌즈처럼 빛을 굴절시키지만 생긴 것은 얇고 투명한 유리 조각 같은 홀로그래픽 광학 기기로 렌즈를 대체합니다. 둘째, 단렌즈처럼 생겼으나 홀로그래픽 광학 기기의 훨씬 작은 폼 팩터를 갖는 편광 기반 광학 폴딩을 구현하여 빛이 디스플레이에서 눈까지 이동하는 거리를 크게 줄입니다.
 
설명만 들어서는 이 방식으로 크기와 무게를 줄이려면 마술이라도 부려야 할 것 같은데요. 이걸 가능하게 하는 비결은 무엇일까요? 바로 Holocake 헤드셋에는 기존 VR 제품에 사용되는 LED 대신 특수 레이저가 광원으로 사용된다는 점입니다. 메이몬은 이렇게 설명합니다. "오늘날에는 레이저가 그렇게 희귀한 기술은 아니지만, VR 헤드셋의 성능과 크기와 가격대로 소비자용 제품에 사용되는 경우는 매우 드뭅니다. 따라서 안전하고 저렴하고 효율적이면서도 슬림한 VR 헤드셋에 들어가는 소비자 제품 수준의 레이저를 구현하려면 공학적으로 능숙한 수완과 조작이 필요하죠."
 
최적의 레이저 광원은 아직 정해지지 않았지만, 대규모 양산이 가능한 레이저를 구현한다면 선글라스처럼 생긴 VR 디스플레이를 제작할 길이 열리게 될 것입니다.
 

Mirror Lake: 모든 기술의 집합체

 
DSR의 수많은 연구 방향은 하나의 핵심적인 원칙에서 뻗어 나옵니다. 랜먼은 이렇게 설명합니다. "우리 조직의 이름이 Display Systems Research인 것은 수많은 데모와 사용자 연구를 진행하는 과정에서 꽤나 그럴듯하고 실전에 적용할 수 있는 아키텍처를 개발하지 못한다면 데모와 사용자 연구를 제아무리 많이 진행한다 해도 무용할 것이라는 사실을 알고 있기 때문입니다. 모든 기술을 하나로 결합하여 시각적 튜링 테스트를 통과하기 위한 여정 위에 있는 차세대 시각적 경험을 만든다는 퍼즐의 해답을 끊임없이 찾아가는 것이야말로 DSR의 궁극적인 목표입니다. '닥치는 대로 주먹구구식으로'가 아니라 진정한 사용자 가치를 제공하는 우아한 방식으로 말이죠."
 
Holocake 2는 바로 이 원칙의 산물이며, 앞으로 Holocake 2와 맥을 같이하는 더 많은 결과가 탄생할 것입니다. Meta는 오늘 Holocake 2의 다음 단계를 보여주는 디스플레이 시스템인 Mirror Lake를 공개합니다. Mirror Lake는 기본 Holocake 2 아키텍처에 지난 7년간 연구팀이 개발해온 거의 모든 기술을 적용한 스키 고글 형태의 시제품입니다.
Mirror Lake는 가변 초점 및 시선 추적을 포함하여 DSR이 지난 7년 동안 배양해 온 거의 모든 고급 시각 기술을 작고 가벼우며 전력 효율적인 형태로 통합하는 스키 고글과 같은 폼 팩터의 컨셉 디자인입니다. 요인. 완전한 차세대 디스플레이 시스템이 어떤 모습일지 보여줍니다.
Mirror Lake는 평평한 외부 표면을 갖는 Holocake 아키텍처가 어떠한 가능성을 품고 있는지 보여줍니다. 예를 들어, 여기에 Half Dome 3의 슬림한 전자식 다초점 모듈을 추가하면 헤드셋의 두께를 크게 늘리지 않으면서도 수렴-조절 불일치를 해결할 수 있습니다. 헤드셋 전면부에 얇은 렌즈를 하나 더 추가하거나 기본 Holocake 렌즈에 사용되는 홀로그램에 곧바로 착용자의 도수를 적용하는 것만으로 크고 번거로운 처방 렌즈 부속 장치를 더하지 않고도 각 사용자에게 맞게 시력을 교정할 수 있습니다. 고글의 양쪽 다리에 삽입된 전면 카메라 쌍은 머신 러닝으로 구동되는 패스스루를 지원합니다. 이 기능도 SIGGRAPH에서 공개되니 기대해 주세요.
 
다초점과 동적 왜곡 교정에 필요한 시선 트래킹은 시각적 튜링 테스트를 통과하기 위한 핵심적인 요소로 부상했는데요. Mirror Lake 아키텍처는 홀로그래픽 필름을 사용하여 눈에서 나오는 빛을 헤드셋 스트랩에 장착된 한 쌍의 카메라로 리디렉션하는 선구적인 접근 방식을 선보입니다. 이 새로운 접근 방식은 정확성을 크게 높여주는 멀티뷰 시선 트래킹을 지원하죠.
 
여기서 주목해야 하는 점은 홀로그래피 기술 덕분에 모든 요소가 얇고 평평하다는 것입니다. 다초점 모듈은 물론 Holocake, 처방 교정, 시선 트래킹에 사용되는 모든 홀로그래픽 필름이 평평합니다. 평평한 표면에는 쉽게 얇고 평평한 부품을 더 많이 추가할 수 있죠. 연구팀은 최근 광학 스택 내부에 또 하나의 평평한 3D 디스플레이를 추가하여 Mirror Lake에 역방향 패스스루 디스플레이를 통합하는 방법도 개발했습니다.
 
Mirror Lake 컨셉은 무척 고무적이지만 지금으로서는 아키텍처의 유효성을 확실히 증명할 수 있는 완전히 작동하는 헤드셋이 없는 컨셉에 불과합니다. 하지만 유효성이 입증되기만 한다면 VR 시각적 경험의 판도가 바뀔 것입니다.
 

시각적 튜링 테스트를 통과하기 위한 기나긴 여정

 
Mirror Lake는 놀라운 혁신의 원동력이 될 가능성을 품고 있지만, 시각적 튜링 테스트를 통과하기 위한 기나긴 여정에서는 또 하나의 걸음을 내디딘 것에 불과합니다. 시각적 튜링 테스트를 통과하는 데 필요한 기술을 개발하고 이 기술을 수많은 사람들의 니즈를 충족하는 헤드셋으로 구현할 방법을 알아내려면 여러 해에 걸쳐 많은 실수를 반복하고 엄청난 양의 연구와 노력을 이어가는 여정을 계속해야 할 것입니다. DSR은 앞으로의 난관이 무엇인지 잘 알고 있으며, 진정한 시각적 사실감을 구현한다는 목표를 향해 매진하고 있습니다. 현재까지 이들의 노력은 DSR과 저커버그가 이 목표가 현실적으로 달성 가능한 것이라는 사실에 확신을 갖도록 기여했습니다.
 
저커버그가 말했던 바와 같이 "앞으로 10년 내에는 헤드셋의 폼 팩터가 작아져야 할 것입니다. 가장 이상적인 형태는 레티나 디스플레이의 VR 버전을 구현하는 것일 테지요. 이와 동시에 액상 렌즈를 개발하거나, 기계식으로 움직이는 렌즈, 또는 서로 다른 거리에서 사물을 투영할 수 있는 무언가를 개발하는 것도 필요할 것입니다. 또한 VR에서 보게 되는 것들이 지금처럼 현실보다 흐릿하게 표현되지 않으려면 색의 대비와 밝기라는 측면에서 눈에 보이는 사물의 선명도도 크게 높여야 할 것입니다." 레티나 해상도, 다초점 및 HDR의 중요성을 강조하는 프레임워크는 Meta가 DSR과 함께 다년간에 걸쳐 이러한 기술에 투자하고, 누구보다 먼저 기술의 이점을 발견하고, 각 기술을 실전에 적용할 방법을 개발하는 과정에서 정립되었습니다.
 
랜먼의 말로 오늘의 이야기를 마무리하겠습니다. "우리는 레이저가 VR에서, 적어도 Holocake에 요구되는 형태에서는 궁극적으로 실용적이지 않다는 사실을 알게 될 수도 있습니다. 만약 그렇게 된다면 Mirror Lake라는 사상누각이 무너져 내릴 것입니다. 새로운 기술에 의존하는 새로운 디스플레이 시스템을 발명하는 일은 이렇게나 어렵습니다. 하지만 어떤 일이 있어도 결국에는 원하는 목표에 도달할 수 있으려면 목표 지점까지 가는 길을 여러 개 만들어두어야 합니다. 이러한 맥락에서 Mirror Lake는 DSR의 수많은 연구 방향 중 하나에 불과합니다. 그중에서 우리가 어느 길을 택하든, 연구팀은 우리의 목적지가 시각적 튜링 테스트를 통과하는 것이라는 점에는 어떠한 이견도 없으며, 물리 법칙의 그 어떤 이변도 우리가 목적지에 도달하는 것을 막지 못할 것입니다. 우리는 지난 7년 동안 누구보다 먼저 미래를 엿보았습니다. 그리고 앞으로도 계속해서 시각적으로 사실적인 메타버스를 구현하기 위한 가능한 길을 찾는 데 매진할 것입니다."

Latest Stories

To help personalize content, tailor and measure ads, and provide a safer experience, we use cookies. By clicking or navigating the site, you agree to allow our collection of information on and off Facebook through cookies. Learn more, including about available controls: Cookies Policy