Skip to Content

Passing the visual Turing test: het verhaal van onze zoektocht naar visueel realisme in VR

In november 2020 stuurde Mark Zuckerberg, CEO van Meta, een e-mail naar Andrew "Boz" Bosworth, CTO, en Michael Abrash, Chief Scientist bij Reality Labs, met een heel eenvoudige vraag: "Waarom hebben we nog geen VR-scherm ontwikkeld waarop de weergave bijna niet van de werkelijkheid te onderscheiden is, en wat moeten we doen om zo'n scherm te ontwikkelen?"

Recommended Reading

Het was de recentste e-mail in een reeks uitgebreide gesprekken over het ontwikkelen van geavanceerde schermen voor virtual reality (VR) die Zuckerberg en Abrash in de afgelopen jaren hadden gehad. Deze reeks bestond uit een reis in 2015 naar een veelbelovend bedrijf in augmented reality (AR), frequente e-mailgesprekken, één-op-één-gesprekken en technologiebesprekingen tot diverse demonstraties die de afgelopen jaren in Redmond en Menlo Park hebben plaatsgevonden.
 
Het antwoord had pure speculatie kunnen zijn, maar was alles behalve dat. Het Display Systems Research (DSR) team van Reality Labs, onder leiding van Douglas Lanman, had namelijk alle technologieën die nodig waren om de specifieke vraag van Zuckerberg te kunnen beantwoorden, de afgelopen 5 jaar al uitgebreid onderzocht. In feite was het exact de juiste vraag op het juiste moment om de visie van DSR op VR-schermen voor de komende 10 jaar te kristalliseren en uit te werken: slagen voor de visuele Turing-test.
 

De Heilige Graal in het onderzoek naar beeldschermen

 
De Turing-test werd in 1950 ontworpen door Alan Turing om te kunnen beoordelen of een computer zich kan voordoen als een mens. De visuele Turing-test, een term die door DSR is bedacht en populair is geworden onder toonaangevende wetenschappelijke teams, evalueert op soortgelijke wijze of er onderscheid kan worden gemaakt tussen wat wordt weergegeven via een VR-headset en de echte wereld. Het is een subjectieve test en nog geen enkele VR-technologie kan er op dit moment voor slagen. Hoewel VR al wel zorgt voor een sterk gevoel van aanwezigheid, van het zeer overtuigend aanwezig zijn in virtuele plaatsen, is het nog niet op een niveau waarop iemand zich zou afvragen of wat ze zien echt is of virtueel.
 
De vraag van Zuckerberg spoorde Lanman in december 2020 aan om het inmiddels intern wijdverspreide memo "Passing the visual Turing test" (Slagen voor de visuele turingtest) te schrijven. In het memo beschrijft hij een uitgebreid stappenplan om dat doel te bereiken. Dit doel kan, als het wordt bereikt, een volledig nieuwe wereld aan VR-mogelijkheden bieden, van virtuele werkruimtes waarmee thuiswerken even productief als (of zelfs productiever dan) het werken in een echte kantoorruimte wordt, tot virtuele sociale interactie die voelt alsof je echt samen bent met andere mensen, tot virtueel toerisme en eigenlijk alles wat we vandaag de dag doen in de echte wereld. Thuiswerken met VR kan ervoor zorgen dat veel meer mensen kunnen wonen waar ze willen, in plaats van te moeten verhuizen naar een locatie waar veel banen zijn. Op deze manier ontstaan nieuwe kansen voor zowel individuen, die zo toegang krijgen tot een breed aanbod aan banen en niet langer worden beperkt door hun geografische locatie, als voor bedrijven, die op die manier toegang krijgen tot een wereldwijde talentpool. Maar de baanbrekende effecten kunnen verder gaan dan alleen productiviteit. In combinatie met AR kan VR de wereld veranderen, net zoals of zelfs meer dan pc's dat hebben gedaan. Niet van echt te onderscheiden visuele ervaringen zullen daarbij een belangrijke rol spelen.
 
In het “Inside the Lab”-bericht van vandaag gaan we dieper in op de zoektocht van DSR om de stapel voor beeldschermtechnologie te ontwikkelen die, in combinatie met Codec Avatars, een geloofwaardig gevoel van aanraking, ruimtelijke audio enzovoort, het toekomstige metaversum helemaal echt kan laten voelen door de uitdaging van de visuele turingtest aan te gaan voor de volledige reeks van visuele ervaringen. We bespreken de kerntechnologieën die DSR ontwikkelt en welke aanpak voor het maken van prototypen ten grondslag ligt aan de vooruitgang van DSR, en we delen de resultaten van een uniek perceptueel onderzoek dat als katalysator diende voor het grootste deel van het onderzoek door het team. Ten laatste zullen we details delen over diverse prototypen van DSR en introduceren we Mirror Lake, een prototypeontwerp waarin het werk van DSR op verschillende onderzoeksgebieden wordt geïntegreerd in een headset van de volgende generatie met een comfortabele, lichtgewicht vormfactor.
 
Dit is een verhaal over een wetenschappelijke zoektocht, over hoe een idee voor een onderzoek uitgroeide tot een uitgebreid programma dat in de toekomst de manier waarop we werken, spelen en communiceren wel eens zou kunnen veranderen. En het verhaal begint bij de uitdaging.

De uitdaging

 
De uitdaging waar DSR in zijn zoektocht naar visueel realisme voor staat, is eenvoudig samen te vatten: de technologie die nodig is om te slagen voor de visuele turingtest, met name in de headset voor de consument, bestaat nog niet. Hoewel Quest en Quest 2 meeslepende 3D-ervaringen maken, kunnen ze nog niet concurreren met onze ervaringen in de echte wereld. De voor de hand liggende beperking is op dit moment resolutie, maar de uitdagingen gaan nog veel verder. VR introduceert een reeks volledig nieuwe problemen die simpelweg niet bestaan voor de huidige 2D-schermen, zoals vergentie-accomodatieconflict, chromatische afwijking, oculaire parallax en pupil swim. Als gevolg daarvan moeten we vele obstakels overwinnen, veel onderzoek doen en veel gebruikersonderzoeken uitvoeren voordat we in de buurt kunnen komen van een realistische visuele VR-ervaring. De innovaties die nodig zijn om de kloof te dichten, vallen in verschillende belangrijke categorieën.
 
Het eerste probleem is resolutie. Het probleem is dat VR-headsets een veel breder gezichtsveld hebben dan zelfs de breedste monitor. Het aantal beschikbare pixels moet dus worden toegepast op een veel groter gebied dan bij een 2D-scherm en dat resulteert in een lagere resolutie voor een gegeven aantal pixels. Voor het perfecte gezichtsvermogen voor het hele menselijke gezichtsveld zouden bijvoorbeeld horizontaal ongeveer 13.000 pixels nodig zijn, veel meer dan bestaande consumentenschermen bevatten. (In werkelijkheid is het niet zo erg, omdat het oog geen hoge resoluties kan waarnemen in het volledige gezichtsveld, maar de omvang van de uitdaging is nog steeds van toepassing.) Er zijn niet alleen meer pixels nodig, maar ook de kwaliteit van die pixels moet worden verbeterd. De huidige VR-headsets hebben een aanzienlijk lagere helderheid en lager contrast dan laptops, televisies en mobiele telefoons. Daarom is het voor VR nog niet mogelijk om het detailniveau en de accurate weergave te evenaren die we gewend zijn van onze 2D-schermen.
 
Daarnaast vervormen de lenzen die momenteel in VR-schermen worden gebruikt vaak het virtuele beeld, waardoor deze minder realistisch wordt, tenzij de vervorming volledig wordt gecorrigeerd in de software. Dat is lastig, aangezien de vervorming verandert op het moment dat het oog in verschillende richtingen beweegt. Bovendien is er nog een probleem dat geen betrekking heeft op realisme: het kan lastig zijn om headsets gedurende een langere periode te gebruiken vanwege die vervorming. Deze en het gewicht van de headset kunnen tijdelijke ongemakken en vermoeidheid veroorzaken. Ten laatste is er nog een belangrijk onderdeel dat onder resolutie zou kunnen vallen, maar dat van zo'n cruciaal belang is dat het een eigen categorie heeft gekregen: de mogelijkheid om goed te kunnen scherpstellen op elke afstand. We gaan later dieper in op dat laatste punt, omdat het centraal staat in dit verhaal.
 
Om de bovenstaande kloven volledig te kunnen dichten, zijn Zuckerberg en Lanman van mening dat om te slagen voor de visuele turingtest een nieuwe techstapel moet worden gebouwd met daarin de volgende onderdelen:
 
  • 'Varifocale' technologie die de juiste focusdiepte kan bieden (ten opzichte van een enkele, gefixeerde focus), zodat het zicht op armlengte voor langere tijd duidelijker en comfortabeler wordt
  • Resolutie die het perfecte menselijke gezichtsvermogen benadert en uiteindelijk overschrijdt
  • Correctie van vervorming om optische afwijkingen te verhelpen, zoals verkleurde randen rond objecten en beeldvervorming die kan worden veroorzaakt door zichtoptiek
  • En technologie met hoog dynamisch bereik (HDR) waarmee het kleurbereik, de helderheid en het contrast worden uitgebreid die je in VR kunt ervaren
 
Het is nodig (en erg moeilijk) om al deze mogelijkheden te ontwikkelen, maar dat is nog niet genoeg. Het uiteindelijke doel is om alles te laten passen in een comfortabelere headset die geschikt is voor consumentengebruik. Dit betekent dat DSR niet alleen de allernieuwste meervoudige schermassen moet verbeteren, maar ook volledige schermsystemen moet ontwikkelen die meer opties hebben dan de huidige schermen bieden. Dat brengt de uitdaging naar een heel ander niveau. Maar het is een uitdaging die DSR aangaat en een uitdaging waarvan Zuckerberg denkt dat deze essentieel is om op te lossen en ons naar de volgende generatie VR te brengen.
 
Lanman verwijst naar de complexiteit van de taak: "Het ontwerpen en ontwikkelen van headsets waarin die combinatie van technologieën is opgenomen, is moeilijk en kost veel tijd, omdat bij headsetschermen alle technische systemen met elkaar zijn verbonden. Alle onderdelen concurreren om diezelfde afmeting, hetzelfde gewicht, hetzelfde vermogen en hetzelfde budget, terwijl alles ook nog in een compacte, draagbare vormfactor moet worden gegoten." Het is niet alleen een kwestie van alle technologie samenpersen in een krap budget; elk element van de stapel moet ook compatibel zijn met de andere. Bepaalde technologieën voor ogen volgen moeten bijvoorbeeld worden gecombineerd met specifieke schermlenzen om correct te kunnen functioneren.
 
DSR is deze uitdaging ferm tegemoet getreden met een uitgebreide reeks pogingen tot prototypen, van afzonderlijke technologieën tot volledige systemen, waarmee de grenzen van de enorme ontwikkelruimte voor VR-schermen worden vastgelegd en overschreden. Dit werd gevolgd door gebruikersonderzoeken die zijn uitgevoerd met die prototypen om de voortgang te bepalen, met als uiteindelijk doel het slagen voor de visuele turingtest. Het tastbare resultaat hiervan is te bekijken bij RL Research in Redmond: een hele wand met prototypen die allemaal dieper ingaan op een breed spectrum aan technologieën voor de volgende generatie VR-schermen, oftewel een levende geschiedenis van de zoektocht van DSR naar visueel realisme.
In de afgelopen zeven jaar heeft het team van Lanman meer dan twee dozijn volledig functionele AR/VR-onderzoeksheadsets gebouwd, elk gericht op het ontsluiten van nieuwe demo's en gebruikersonderzoeken.
In de rest van dit bericht gaan we dieper in op die geschiedenis, vanaf het begin tot aan nu. We bekijken de 4 primaire technologieassen, waaronder een update over het langlopende varifocale programma waarover we het in de afgelopen jaren al vaker hebben gehad. Ook bespreken we 2 recente systeemarchitecturen voor DSR-schermen: Holocake 2, die voor zover wij weten de meest compacte optiek biedt van alle VR-headsets in de Quest 2-klasse en de eerste is met holografische optiek, en Mirror Lake, een voorgestelde architectuur voor toekomstige generaties van de visuele VR-ervaring.
 
Laten we teruggaan naar 2015, het jaar waarin het allemaal begon.
 

Varifocale optiek en de onverwachte rol van handen

 
In 2015 was het nieuw samengestelde team van Lanman een jaar bezig om beeldschermtechnologieën te onderzoeken die relevant zouden kunnen zijn voor het slagen voor de visuele turingtest. Op hetzelfde moment was Meta (toen nog Facebook) bezig met de introductie van de Oculus Rift. Deze werd al snel gevolgd door een nieuwe interactiemethode: Touch-controllers, waarmee een nieuw gevoel voor de aanwezigheid van handen in VR werd geïntroduceerd.
 
Lanman wist zeker dat RL op een dag verder zou gaan dan Touch om de technologie voor hand volgen die destijds in ontwikkeling was in het onderzoeksteam te introduceren. (Hij had gelijk: in 2020 hebben we Handen toegevoegd aan Quest.) Die gedachte bracht Lanman tot een belangrijk inzicht.
Varifocal is een technologie waarbij de focus van het scherm wordt aangepast op basis van waar u naar kijkt. In dit beeldmateriaal dat door de lens gaat, kun je het verschil zien, vooral wanneer je scherpstelt op objecten in de buurt.
Dat inzicht was dat je je handen scherp moet kunnen zien om ze effectief te gebruiken. Dat lijkt voor overduidelijk en normaal, omdat dat ook is wat we in de echte wereld doen, maar dit is een van die gevallen waarbij de regels in VR veranderen. In de echte wereld passen we constant de vorm van de lenzen in onze ogen aan om te kunnen scherpstellen op de afstand van het object dat we bekijken, waarbij we het licht dat van die afstand komt correct kunnen inschatten. Daarentegen heeft de optiek voor de functies in de huidige VR-headsets een gefixeerde scherpstelling, meestal op 1,5 tot 2 meter. Hoewel we ons er niet van bewust zijn, betekent dit dat in VR het licht in principe altijd vanaf dezelfde afstand komt, ongeacht waar we in de scène naar kijken. Dat is een nieuw fenomeen voor onze visuele systemen. De slecht afgestemde aanwijzingen die je in VR ontvangt tussen de gesimuleerde afstand van een virtueel 3D-object en de afstand voor scherpstellen (die zoals eerder vermeld ongeveer 1,5 tot 2 meter is in de huidige VR-headsets) kan een vergentie-accomodatieconflict (VAC) veroorzaken. VAC is een bekend fenomeen in VR en kan leiden tot tijdelijke vermoeidheid en wazig zicht. Het is een van de bronnen van ongemak die je kunt ervaren als je je gedurende langere perioden in VR bevindt. "Je ogen proberen scherp te stellen, maar dat lukt niet," vertelde Zuckerberg toen hij vorig jaar de voordelen van varifocale systemen uitlegde. "Omdat het scherm op slechts één afstand projecteert."
 
Een mogelijkheid om VAC aan te pakken is door de focusdiepte in VR dynamisch aan te passen om overeen te komen met de afstand tot het object dat wordt bekeken, zodat je ogen op de juiste afstand kunnen scherpstellen. Een manier om dat te kunnen doen, bekend als varifocaal, is door de lenzen mee te bewegen met waar de kijker naar kijkt. Om die theorie te testen, maakte DSR in 2016 een groot ervaringsprototype, dat hieronder wordt weergegeven. Dit soort prototypen zijn nog lang niet klaar voor consumentengebruik en zijn gebouwd om te testen wat er na jaren van onderzoek en ontwikkeling mogelijk is. We noemen ze 'tijdmachines'. Tijdmachines vormen een integraal onderdeel van de aanpak van DSR om de ontwikkelruimte van toekomstige visuele VR-technieken te onderzoeken.
DSR's eerste complete varifocale prototype, gemaakt in 2016, integreerde alle benodigde componenten voor een meeslepende ervaring - variabele focus, robuuste eye-tracking, realtime vervormingscorrectie die werd bijgewerkt met veranderingen in de focus van het scherm, en onscherpte die verder van het brandpuntsvlak afnam , zoals in de echte wereld. De 2016-demo gebruikte een prototype Touch-controller waarmee laboratoriumleden direct de voordelen van gezichtsscherpte voor objecten binnen armlengte konden beoordelen.

Een uniek gebruikersonderzoek en de evolutie van Half Dome

 
Toen Zuckerberg in 2017 een bezoek bracht aan RL Research, bekeek hij de diverse prototypen en nam een paar besluiten over welke technologische richtingen het bedrijf vanaf hier in zou moeten slaan. De eerste VR-demo die hij die dag uitprobeerde, was een van onze eerste pogingen voor een varifocaal systeem, een enorm systeem waarover hij al snel kon beamen dat het de scherpte van nabij gelegen objecten verbeterde. Samen met de andere vroege prototypen liet deze zien dat het principe van een onderliggend varifocaal systeem zou kunnen werken en dat het subjectief scherpere visuele ervaringen bood. Maar hoewel het beschikbare bewijs veelbelovend was, was het ook anekdotisch. Het team beschikte niet over definitief bewijs dat het varifocale systeem in de DSR-versie het probleem met VAC kon oplossen en de scherpte en het comfort kon verbeteren.
 
Marina Zannoli, op dat moment Vision Scientist in het team van DSR, ging vanaf dat moment aan de slag om het antwoord te vinden door een gebruikersonderzoek op te zetten voor het varifocale systeem. Ze begon met het uitzetten van een ontmoedigende technische taak: het team moest een nieuwe headset maken die veel dichter bij het gewicht en de vormfactor van een Oculus Rift lag om ervoor te zorgen dat het onderzoek niet zou worden overschaduwd door het algemene ongemak dat wordt veroorzaakt door het dragen van een groot prototype. Hierdoor moest het gewicht met een factor van 4 worden verminderd in vergelijking met de bestaande headset van 2450 gram van het team, terwijl het apparaat tegelijkertijd zo moest worden verfijnd dat het geluid en de vibratie die door het varifocale systeem werden veroorzaakt niet meer aanwezig waren.
 
9 maanden later leverde het team de Half Dome Zero: een prototype onderzoeksheadset van 680 gram die volledig compatibel was met alle VR-games die op dat moment beschikbaar waren voor Rift, maar met de toegevoegde mogelijkheid om de juiste focusdiepte te bieden in die games door middel van het varifocale systeem. Hoewel deze nieuwe headset zwaarder was dan de Rift van 470 gram, was Zannoli van mening dat ze licht genoeg was om zinvolle inzichten te bieden in gebruikerservaringen en de ware voordelen van varifocale systemen.
 
Vervolgens moest Zannoli bepalen hoe de beoogde voordelen van het varifocale systeem konden worden getest, waaronder of de scherpte van objecten dichtbij werd verbeterd, of mensen 3D-scènes sneller waarnemen, of het visuele comfort wordt verbeterd en, het allerbelangrijkst, of mensen er echt de voorkeur aan gaven.
 
Zannoli koos ervoor het probleem anders aan te pakken dan de wetenschappelijke standaardaanpak op het gebied van visuele waarneming, met beperkte stimulansen, zoals oogtestkaarten. Ze koos ervoor het onderzoek te baseren op rijke VR-ervaringen en werkte samen met een team van technisch kunstenaars om een aangepaste demoapplicatie te ontwikkelen op basis van videogametechnologie, die deelnemers aanmoedigde zoveel mogelijk tijd te besteden aan het observeren van nabije objecten, iets dat VR-ontwikkelaars op dit moment juist wordt afgeraden vanwege de bekende beperkingen van VR met gefixeerde scherpstelling.
Het gebruikersonderzoek van Half Dome Zero, uitgevoerd in 2017, omvatte het doorbrengen van 30 minuten in VR, verdeeld over drie ervaringen: een aangepaste versie van First Contact waarbij interactie was met objecten in de buurt, een aangepaste scène uit Dreamdeck waarin deelnemers moesten zoeken naar een kleine symbool, en een taak waarbij naar willekeurige stipstereogrammen werd gekeken en beoordeeld hoe snel deelnemers 3D-patronen in de scène konden begrijpen (let op: de patronen zijn alleen zichtbaar in VR).
Gewapend met een geschikte headset en een zorgvuldig ontwikkeld protocol, nodigde Zannoli 63 deelnemers uit die tijdens een testperiode van 2 dagen het varifocale systeem van het team beoordeelden ten opzichte van VR met gefixeerde scherpstelling. Op de ene dag was het varifocale systeem volledig ingeschakeld op de Half Dome Zero. Op de andere dag werkte de headset in de modus met gefixeerde scherpstelling die standaard is voor de huidige VR-headsets. Aan deelnemers werd gevraagd om subjectief diverse voorkeuren te beoordelen door een aantal vragenlijsten in te vullen.
 
De onderzoeksresultaten waren positiever dan het team in eerste instantie had verwacht. Zannoli vat het als volgt samen: "Uit de resultaten bleek dat mensen zich bij het gebruik van het varifocale systeem in alle opzichten comfortabeler voelden. Ze waren minder vermoeid, minder misselijk en hadden minder last van wazig zicht. Ook waren ze beter in staat kleine objecten te identificeren, konden ze tekst makkelijker lezen en reageerden ze sneller op hun visuele omgeving." Het meest veelbelovend was dat het merendeel van de deelnemers de voorkeur gaf aan het varifocale systeem ten opzichte van VR met gefixeerde scherpstelling. Dit was een verrassend resultaat, aangezien de Half Dome Zero een van de eerste prototypen was waarin oog volgen en de software voor vervormingscorrectie nog niet waren geperfectioneerd.
In de zomer van 2017 beschikte DSR eindelijk over het definitieve bewijs dat een varifocaal systeem een groot aantal voordelen voor VR bood op het gebied van prestaties en comfort. Gelijktijdige onderzoeken bij Inria and UC Berkeley en Stanford ondersteunden die conclusie. Het team wist nu zeker dat het oplossen van de enorme hoeveelheid resterende technische uitdagingen, zoals oog volgen, computergraphics, optisch ontwerp, controlesystemen en gewicht, topprioriteit had. Daarom ontwikkelde DSR in de 5 daaropvolgende jaren een reeks prototypen die de grenzen van varifocale technologie verlegde.
In het onderzoek van 2017 werd Half Dome Zero gebruikt. Half Dome 1 breidde het gezichtsveld uit tot 140 graden. Half Dome 2 gericht op ergonomie en comfort, snijden van 200 gram. Half Dome 3 introduceerde de elektronische varifocale, waardoor de grootte en het gewicht van de helm verder werden verminderd.

Verder dan varifocaal: retinale resolutie, beeldschermen zonder vervorming en HDR

 
"De Half Dome-serie was een keerpunt voor ons team," aldus Lanman. "Het heeft ons geholpen de allernieuwste varifocale technologie verder uit te werken en het bood ons ook een kader voor onze andere onderzoeksprogramma's voor beeldschermen." Na Half Dome stuurde DSR al het onderzoek in dezelfde richting: een proces dat begint met het vaststellen van technische vereisten en hypothesen, gevolgd door het ontwikkelen van grote ervaringstijdmachines, het maken van verfijnde ervaringsprototypen en uiteindelijk het uitvoeren van gebruikersonderzoeken waarmee belangrijke gegevens worden gegenereerd voor de ontwikkeling van het volgende prototype.
 
"We hebben deze blauwdruk rigoureus toegepast op de andere dimensies van de visuele turingtest," voegt Lanman toe. "Met name op het gebied van resolutie, optische vervorming en dynamisch bereik."
 
Laten we wat dieper ingaan op die 3 gebieden en bekijken in welke fase elk onderdeel zich bevindt in het DRS-onderzoekstraject.
 

Butterscotch: inzicht in 'retinale resolutie'

 
'Retinale resolutie' is lang de standaard geweest voor producten met een beeldscherm. Hoewel er geen universeel geaccepteerde definitie bestaat, wordt in het algemeen uitgegaan van ongeveer 60 pixels per graad (ppd), wat overeenkomt met de regel voor perfect zicht op een oogkaart. De meeste televisies, laptops en mobiele telefoons zijn dit punt al lang gepasseerd, maar VR blijft achter omdat het uitgebreide gezichtsveld de beschikbare pixels spreidt over een veel groter visueel oppervlak. De schermen van de Quest 2 geven bijvoorbeeld ongeveer 20 ppd weer.
Als een ooggrafiek in VR zou worden gepresenteerd, zouden noch Rift noch Quest 2 de laagste lijn kunnen oplossen, wat neerkomt op 20/20 gezichtsscherpte. Daarentegen is het Butterscotch-prototype van DSR ontworpen om te voldoen aan de traditionele vereisten voor retinale resolutie en kan het de beste eigenschappen in een ooggrafiek weergeven, zoals te zien is op deze foto's die door de lens van elk type headset zijn genomen.
Hiermee wordt natuurlijk de mogelijkheid beperkt om kleine tekst en andere details weer te geven. Het kan ook zorgen voor een minder realistische weergave. Onderzoekers in Japan hebben bijvoorbeeld aangetoond dat het gevoel van realisme hoger wordt naarmate de beeldresolutie toeneemt, tot wel 120 ppd, wat veel verder gaat dan wat wordt aangemerkt als 'retinale' resolutie. Aangezien visueel realisme ten grondslag ligt aan de visuele turingtest, heeft DSR de afgelopen jaren een aantal VR-prototypen met hoge resolutie ontwikkeld om het belang van retinale resolutie te testen voor VR en om methoden te zoeken waarmee praktische headsets dat niveau kunnen bereiken.
 
De waarde van de ontwikkeling van die prototypen werd onverwacht versterkt toen Zuckerberg en Bosworth vorig jaar een bezoek brachten aan RL Research. Tijdens de rit vanaf het vliegveld vroeg Zuckerberg Abrash over de voortgang van het team op het gebied van retinale resolutie. Abrash gaf aan dat hij dat zelf kon gaan zien, omdat hij binnen enkele uren Butterscotch zou gaan uitproberen, het nieuwste en meest geavanceerde prototype met retinale resolutie van DSR.
DSR doet regelmatig demo's voor Meta Management, die inzicht geven in toekomstige visuele AR/VR-technologieën. Links: Mark Zuckerberg ervoer het varifocaal voor het eerst in 2017 bij RL Research, met behulp van een vroeg AR-varifocaal prototype (duidelijk niet geoptimaliseerd voor ergonomie). Rechts: in 2021, bij RL Research, ervoer hij DSR's nieuwste VR-prototype met retinale resolutie.
Butterscotch is een goed voorbeeld van hoe met het ontwikkelen van prototypen vragen snel en direct beantwoord kunnen worden. Er zijn momenteel geen schermen die ook maar iets ondersteunen dat in de buurt komt van retinale resolutie voor het standaardgezichtsveld in VR. Het team gebruikte daarom 3K LCD-schermen en beperkte het gezichtsveld tot ongeveer de helft van de Quest 2 om de resolutie te verhogen naar 55 ppd (2,5 keer zo hoog als bij Quest 2). Toen moesten ze een nieuw soort hybride lens ontwikkelen om zo'n hoge resolutie volledig weer te kunnen geven.
 
Het resultaat komt niet eens in de buurt van bruikbare technologie (het is veel te groot en zwaar en het gezichtsveld is te klein), maar Zuckerberg kon er bijna-retinale resolutie mee ervaren en zelf zien hoeveel verschil dat maakte. Dat is waarvoor de tijdmachines van DSR zijn ontwikkeld. Na de demo van Butterscotch en de erkenning dat de retinale resolutie daarin van vitaal belang was voor de toekomst van VR, vroeg Zuckerberg om een beoordeling op bedrijfsniveau van ons stappenplan voor resolutie.
 
We hebben nog een lange weg te gaan op het gebied van VR-resolutie voordat het in de buurt komt van realiteit, maar met Butterscotch is een belangrijke stap gezet. Het dient ook als basis voor het integreren van andere DSR-technologieën in beeldschermsystemen met hoge resolutie. DSR bouwt bijvoorbeeld een varifocale variant van Butterscotch die meer dan 3 keer de resolutie biedt van het Half Dome Zero-prototype. Bij gefixeerde scherpstelling vindt vervorming altijd vanuit de omgeving van het brandpunt plaats. Dat wordt belangrijker naarmate de resolutie hoger wordt. Dankzij de varifocale Butterscotch wordt het mogelijk om alle voordelen van visuele scherpte te evalueren van een varifocaal systeem dat de grens van menselijk zicht benaderd.
 

Optische vervormingen in VR-headsets elimineren

 
De resolutie van de visuele VR-ervaring is belangrijk, maar het is slechts één stukje van de puzzel. De kwaliteit van het beeld is net zo belangrijk en vanwege verschillende technische redenen is het onmogelijk om VR-lenzen volledig vrij van optische afwijkingen te maken. Sommige afwijkingen kunnen worden gecorrigeerd door het beeld te vervormen via de software. Dit is een cruciaal element van vrijwel alle huidige VR-headsets en een goede correctie is de crux voor geweldige visuele ervaringen. De vervormingscorrectiesoftware van de huidige VR-headsets werken echter niet perfect. De correctie is statisch, maar de vervorming van het virtuele beeld is dynamisch en verandert op basis van de richting waarin iemand kijkt. Zoals hieronder weergegeven, kan dit fenomeen, ook bekend als pupil swim, VR minder reëel maken, omdat alles een beetje beweegt als de ogen bewegen. Dit wordt nog belangrijker bij varifocale systemen, omdat het beeld een beetje groter of kleiner wordt als de brandpuntafstand van het beeldscherm verandert.
Om varifocaal naadloos te laten werken, moet optische vervorming, een veelvoorkomend probleem in VR, verder worden aangepakt dan wat tegenwoordig in headsets wordt gedaan. De correctie in de headsets van vandaag is statisch, maar de vervorming van het virtuele beeld is dynamisch en verandert afhankelijk van waar men kijkt. Dit fenomeen, bekend als pupilzwemmen, kan VR minder echt doen lijken omdat alles een beetje beweegt als het oog beweegt.
Het team had al heel vroeg door hoe belangrijk goede vervormingscorrectie voor varifocale systemen was dankzij een fout in het gebruikersonderzoek van de Half Dome Zero uit 2017 waarbij de vervormingscorrectie voor varifocale systemen per ongeluk was uitgeschakeld. Ze hebben die fout hersteld, maar kwamen er tegelijkertijd achter dat varifocale systemen alleen voordelen boden als de vervormingscorrectie van de lens correct werd toegepast. Het belang van goede vervormingscorrectie werd zo benadrukt, maar toen het team dieper in het onderwerp dook, werd al snel duidelijk dat de tools voor die correctie ontbraken.
 
Het probleem lag bij het feit dat het erg lang duurt om onderzoeken over vervormingscorrectie op te zetten. Alleen het produceren van lenzen voor in een aangepaste headset kan al weken of maanden duren en dat is nog maar het begin van het lange proces om een functioneel headsetscherm te ontwikkelen dat kan worden gebruikt voor tests. Bij DSR begrepen ze dat ze vervormingsonderzoeken moesten uitvoeren met de snelheid van het ontwikkelen van software voor optisch ontwerp in plaats van de snelheid waarmee de lenzen werden gemaakt en gingen aan de slag om dat probleem op te lossen.
De VR-lensvervormingssimulator van DSR emuleert VR-headsets met behulp van een 3D-tv. Hierdoor kan het team snel nieuwe optische ontwerpen en algoritmen voor vervormingscorrectie bestuderen op een herhaalbare, betrouwbare manier, terwijl het tijdrovende proces van het herhalen van ontwerpen met behulp van volledige headset-prototypes wordt geëlimineerd.
En ze losten het probleem ook op. Het team hergebruikte technologie van 3D-tv's om een simulator voor VR-lensvervorming te maken die gestuurde vervormingen kan opwekken, zodat ze direct algoritmen voor vervormingscorrectie konden bestuderen voor willekeurige lensontwerpen. DSR presenteert zijn snelle oplossing voor het ontwikkelen van prototypen tijdens de jaarlijkse SIGGRAPH-conferentie in augustus.
 
Dankzij deze unieke mogelijkheid voor het snel ontwikkelen van prototypen kon het team voor het eerst een gebruikersonderzoek uitvoeren om vervormingscorrectie met oog volgen te onderzoeken. In tegenstelling tot de correctiesoftware in de huidige headsets, maakt dynamische vervormingscorrectie gebruik van oog volgen om de weergegeven correctie bij te werken en de beweging van de ogen te compenseren. Hierdoor kunnen beelden worden geproduceerd die altijd stabiel zijn, iets waar de huidige statische correctie niet toe in staat is.
 
Met de snelle ontwikkeling van prototypen kan onderzoek naar vervorming van VR-lenzen en diverse soorten correctie worden versneld, wat de weg naar verminderde vervorming mogelijk maakt in toekomstige VR-headsets.
 

Starburst: voorbeelden van headsets met een hoog dynamisch bereik bekijken

 
Resolutie, vervormingscorrectie en varifocale systemen zijn allemaal belangrijke steunpilaren voor geavanceerde visuele realiteit, maar hoog dynamisch bereik (HDR) is de enige technologie die het vaakst wordt gekoppeld aan een verhoogd gevoel van realisme en diepte. HDR verwijst naar ondersteuning voor een breed bereik voor helderheid, contrast en kleur en is recent uitgekristalliseerd in de productie van televisies.
 
'Nits' zijn eenheden waarmee wordt beschreven hoeveel licht een object uitstraalt, waarbij typische waarden voor een binnenomgeving wel meer dan 10.000 nits bevatten, zoals hieronder wordt weergegeven. Tot voor kort had een standaardtelevisie een helderheid van slechts enkele honderden nits. In 2013 hebben onderzoekers van Dolby Labs echter een gebruikersonderzoek uitgevoerd met een speciaal ontwikkeld beeldscherm dat een piek van wel 20.000 nits bereikte. Ze kwamen erachter dat de perfecte piekhoogte voor helderheid op ongeveer 10.000 nits ligt. Dit baanbrekende onderzoek heeft de tv-industrie in de laatste 5 jaar geïnspireerd HDR-schermen te ontwikkelen en te introduceren. En met succes.
VR moet die sprong nog maken. Quest 2 beschikt over een piekhelderheid van ongeveer 100 nits. Een verdere uitbreiding daarvan is niet eenvoudig binnen het beperkingskader van vermogen, warmte en vormfactor van VR-headsets. Zoals Zuckerberg vorig jaar in een interview uitlegde: "De grootste uitdaging op het gebied van beeldschermen en ze levensecht maken is waarschijnlijk het HDR-probleem. Televisies zijn de laatste tijd verbeterd op het gebied van HDR. Maar de levensechtheid van schermen die we hebben in vergelijking met wat onze ogen in de echte wereld waarnemen, is nog een brug of wat te ver." De lcd-schermen en lenzen die in moderne VR-headsets worden gebruikt, resulteren in een lager contrast dan tv-schermen, waardoor het realistische effect nog meer wordt verminderd. Door de helderheid te verhogen wordt het probleem vaak juist groter omdat donkere kleuren, met name zwart, worden vervaagd. Ten laatste kunnen de huidige schermen slechts een subset van het volledige kleurenspectrum weergeven dat met het menselijk oog kan worden waargenomen.
 
Onderzoekers van DSR zijn bezig met het ontwikkelen van prototypen van HDR-VR-headsets. "Ons meest recente prototype, Starbust, is groot, zwaar en bedraad," vertelt Nathan Matsuda, wetenschappelijk onderzoeker bij DSR. "En mensen moeten het bij hun gezicht houden zoals een grote verrekijker. Maar als ze dat doen, hebben ze een unieke ervaring: een demo die een volledig bereik van helderheid kan reproduceren die doorgaans voorkomt in binnenomgevingen en nachtelijke omgevingen."
Het Starburst-prototype van DSR herconfigureert het lef van een Quest 2-headset en plaatst een zeer heldere lamp achter de LCD-panelen. Deze "tijdmachine" is een van de helderste HDR-schermen ooit gebouwd, met een piekhelderheid van 20.000 nits, en het is de eerste 3D HDR-headset waarvan DSR op de hoogte is, waardoor het team het samenspel van HDR en 3D-dieptewaarneming kan onderzoeken.
Er is geen vervanging voor het direct ervaren van HDR met je eigen ogen. Daarom zal DSR een demo geven van Starburst tijdens SIGGRAPH in augustus. Tot die tijd houdt DSR zich aan het gewoonlijke stappenplan door verbeterde headsets te ontwikkelen die als test kunnen dienen tijdens gebruikersonderzoeken. De weg naar werkelijke HDR-VR-schermen is nog lang, maar DSR is begonnen met de reis en zal onderweg updates blijven geven.
 

De routewijziging realiseren

 
Na jaren van demo's en gebruikersonderzoeken is DSR er zeker van dat retinale resolutie, varifocale systemen, accurate vervormingscorrectie en HDR van groot belang zijn voor het slagen voor de visuele turingtest in VR. Ze hebben prototypen ontwikkeld en gevalideerd die afzonderlijk elk van die aspecten van visueel realisme uitbreiden. Maar het ultieme doel is een combinatie van al deze elementen in één compacte headset. En dat maakt de uitdaging nog moeilijker.
 
Het probleem is dat VR-headsets compact, licht en stijlvol moeten zijn. De extra hardware die nodig is om de technologieën van DSR te kunnen implementeren, werken dat vaak tegen. Lanman: "Na bijna 7 jaar ontwikkelen van hoogpresterende varifocale headsets, kwamen onze werktuigbouwkundigen telkens tot de conclusie dat meeslepende varifocale systemen, als deze gebaseerd zijn op het fysiek omzetten van lenzen of schermen, ongeveer 40 tot 50 gram toevoegen." Dat lijkt niet veel, het is ongeveer het gewicht van 2 AA-batterijen, maar als we dit toevoegen vragen we mensen om een headset te accepteren die ten minste 10% zwaarder is dan Quest 2.
 
En daar komt Andrew Maimone, onderzoekswetenschapper van DSR, om de hoek kijken. Het onderzoek van Maimone richt zich op het zo veel mogelijk verminderen van de afmeting, het gewicht en het vermogen van bestaande VR. "Hoewel we veel leren van onze oudere prototypen, is het slagen voor de visuele turingtest met grote, onhandige, experimentele proefbanken slechts een eerste stap naar het uiteindelijke leveren van deze technologieën in een slanke, lichtgewicht vormfactor die je elke dag wilt gebruiken," aldus Maimone. "Daarom maken we ook bouwkundige prototypen om te ontdekken hoe we al deze elementen kunnen samenvoegen tot iets dat kan worden gebruikt."
 

Holocake: hoe klein kan je het maken?

 
Maimone stond aan het hoofd van de ontwikkeling van een van de bouwkundige prototypen die Zuckerberg en Bosworth afgelopen herfst in Redmond hebben uitgeprobeerd: een zeer compacte headset genaamd Holocake 2.
Holocake 2 is ontworpen om de optische prestaties van holografische pancake-lenzen te testen in een volledig functionele headset die is aangesloten op een pc.
Met een combinatie van holografische en pancake-lenzen, een aanpak die we eerst hebben besproken in ons bericht over de Holocake-headset uit 2020, is de Holocake 2 de dunste en lichtste VR-headset die we ooit hebben ontwikkeld. In tegenstelling tot de originele Holocake, die eruit zag als een zonnebril maar geen mechanische en elektrische onderdelen had en een veel slechtere optische prestatie dan de huidige consumentenheadsets, is Holocake 2 een volledig functionerende, bedrade headset waarop alle bestaande VR-titels voor de pc kunnen worden afgespeeld.
 
Om de ultracompacte vormfactor van de Holocake 2 te kunnen begrijpen, moeten we kort ingaan op hoe VR-schermen worden gemaakt. De huidige VR-schermen zijn afhankelijk van een lichtbron, een weergavevenster waarop beelden worden gevormd door het licht te dimmen of helderder te maken en een lens waarmee het licht wordt scherpgesteld van het scherm naar het oog. Normaal gesproken moet de lens een paar centimeter van het scherm worden gehouden om voldoende scherpstelling te verkrijgen om het licht naar het oog te leiden.
Holocake-lenzen verminderen de dikte en het gewicht met op polarisatie gebaseerde optische vouwing die licht in de lens reflecteert, vergelijkbaar met opkomende pancake-lenzen; en met holografische films die de omvangrijkere refractieve lenzen van conventionele pancake-lenzen en refractieve ontwerpen, zoals Quest 2, vervangen. Bij beide wordt het licht van een flatscreen op het oog gericht; alleen de vormfactor varieert.
Maar zoals hierboven uitgelegd, zijn er manieren om de lens veel dichterbij het scherm te plaatsen, waardoor de grootte van de headset aanzienlijk kan worden verkleind. Holocake 2 past 2 technologieën tegelijk toe om dit mogelijk te maken. Ten eerste wordt de lens vervangen door holografische optiek die licht afbuigt als een lens, maar die de vorm heeft van een dunne, transparante glazen schijf. Ten tweede wordt op polarisatie gebaseerde optisch vouwen gebruikt (waarmee een pancake-lens wordt nagebootst, maar met de veel kleinere vormfactor van holografische optiek) om de afstand van het licht van het scherm naar het oog drastisch in te korten.
 
Dit klinkt bijna als een magische methode voor het reduceren van de grootte en het gewicht. Dus wat is het addertje onder het gras? Het grootste addertje heeft te maken met de lichtbron. Voor Holocake-headsets zijn gespecialiseerde lasers nodig in plaats van de leds die in de huidige VR-producten worden gebruikt. "Vandaag de dag zijn lasers niet meer heel bijzonder," zegt Maimone, "maar voor de prestaties, afmeting en prijs die we nodig hebben, vind je ze niet vaak terug in consumentenproducten. We moeten daarom veel technisch onderzoek verrichten om tot een voor de consument bruikbare laser te komen die voldoet aan onze specificaties, die veilig, goedkoop en efficiënt is en die in een dunne VR-headset past."
 
Op dit moment zijn we het nog niet helemaal eens over geschikte laserbronnen, maar als dat handelbaar blijkt, is er een duidelijk stappenplan voor VR-schermen die op een zonnebril lijken.
 

Mirror Lake: alles komt samen

 
De diverse onderzoeksrichtingen van DSR zijn allemaal gebaseerd op één kernfilosofie. Lanman legt uit: "We hebben ons bedrijf Display Systems Research genoemd, omdat we wisten dat we met alle demo's en gebruikersonderzoeken ter wereld niets zouden bereiken, tenzij we gaandeweg een meeslepende, praktische architectuur zouden ontwikkelen. Dat zijn de kernwerkzaamheden van DSR: de voortdurende zoektocht naar het oplossen van de puzzel over hoe alles kan worden gecombineerd om een visuele ervaring van de volgende generatie te maken die op weg is om te slagen voor de visuele turingtest. Niet op een 'we zijn overal voor in' manier, maar op een elegante manier waar echte gebruikerswaarde uit voortkomt."
 
Holocake 2 is een product op basis van die filosofie en er volgt meer. Vandaag onthullen we een scherm waarmee we de volgende stap zetten: Mirror Lake. Het is een concept dat lijkt op een skibril dat begint met de basis Holocake 2-architectuur en waaraan vervolgens bijna alles wordt toegevoegd dat het team de afgelopen 7 jaar heeft geleerd.
Mirror Lake is een conceptontwerp met een skibrilachtige vormfactor die bijna alle geavanceerde visuele technologieën integreert die DSR de afgelopen zeven jaar heeft geïncubeerd, inclusief varifocaal en eye-tracking, in een compacte, lichtgewicht, energiezuinige vorm factor. Het laat zien hoe een compleet, next-gen displaysysteem eruit zou kunnen zien.
Mirror Lake laat de mogelijkheden zien die de Holocake-architectuur, met zijn platte externe oppervlakken, mogelijk maakt. De slanke elektronische varifocale modules van de Half Dome 3 kunnen bijvoorbeeld worden toegevoegd om het vergentie-accomodatieconflict op te lossen zonder dat de headset veel dikker wordt. En in plaats van een grote objectiefvoorzetstukken op sterkte is individuele zichtcorrectie slechts een kwestie van het toevoegen van een andere dunne lens aan de voorkant van de headset of zelfs het inbouwen van de lenssterkte van de drager in het hologram dat in de hoofdlens van Holocake wordt gebruikt. De armen bevatten ook een paar naar voren gerichte camera's waarmee Passthrough op basis van machinaal leren mogelijk is, een optie die DSR tijdens SIGGRAPH zal demonstreren.
 
Oog volgen is naar voren gekomen als kritiek element voor het slagen voor de visuele turingtest, omdat dit nodig is voor zowel varifocale als dynamische vervormingscorrectie. De Mirror Lake-architectuur gebruikt als eerste een nieuwe aanpak waarin holografische lagen het licht van de ogen direct naar een paar camera's leiden die in de band van de headset zijn bevestigd. Deze nieuwe aanpak maakt ook multiview oog volgen mogelijk, waardoor de accuraatheid aanzienlijk wordt verbeterd.
 
Het belangrijkste hierbij is dat dankzij holografie alles dun en plat is. De varifocale modules zijn plat, net zoals alle holografische lagen die voor Holocake, sterktecorrectie en oog volgen worden gebruikt. En je kunt dunne, platte technologieën blijven toevoegen. Dit werd aangetoond door de recente ontdekking van beeldschermen met omgekeerde Passthrough, toen het team er achter kwam dat die in Mirror Lake konden worden geïntegreerd door simpelweg nog een 3D-scherm aan de optische stapel toe te voegen.
 
Het Mirror Lake-concept is veelbelovend, maar het is op dit moment nog maar een concept zonder volledig functionerende headset, maar ontwikkeld om de architectuur onomstotelijk te bewijzen. Als het blijkt te werken, zal dat een revolutie teweeg brengen voor de visuele VR-ervaring.
 

De lange weg naar het slagen voor de visuele turingtest

 
Hoe hervormend Mirror Lake ook kan zijn, het is slechts een stap op de lange weg naar het slagen voor de visuele turingtest. Het ontwikkelen van de technologie die nodig is om voor die test te slagen (en het ontdekken hoe er headsets mee gemaakt kunnen worden die voldoen aan de behoefte van miljoenen mensen) is een langdurig traject met veel potentiële valkuilen en nog veel zaken om te leren en te ontdekken. DSR is zich zeer bewust van de uitdaging en heeft zich toegelegd op de missie om echt visueel realisme te bereiken. Dankzij hun pogingen tot nu toe zijn het team en Zuckerberg ervan overtuigd dat het doel uiteindelijk binnen bereik is.
 
Zoals Zuckerberg eerder heeft gezegd: "Als je het bekijkt over een periode van 10 jaar, wil je natuurlijk dat de vormfactor van de headset kleiner wordt. Idealiter komen we op een punt waarbij je het Retina Display equivalent voor VR benadert... Het is ook nodig om een soort vloeibare lens of mechanisch bewegende lens te maken, of iets dat het mogelijk maakt om dingen op verschillende afstanden te projecteren... Het is niet de bedoeling de levendigheid op te geven die met het oog zichtbaar is met betrekking tot contrast en helderheid van kleuren, zelfs als alles in VR iets doffer is." Dat kader voor het belang van retinale resolutie, varifocale systemen en HDR is ontwikkeld door jaren lang samen te werken met DSR om in deze technologieën te investeren en vervolgens een praktisch stappenplan te maken om ze te bereiken.
 
We geven het laatste woord aan Lanman: "Het kan uiteindelijk blijken dat lasers niet praktisch zijn voor VR, ten minste niet in de vorm die nodig is voor Holocake. In dat geval stort het kaartenhuis Mirror Lake volledig in. Dat is de uitdaging van het ontwikkelen van nieuwe beeldschermsystemen die vertrouwen op opkomende technologieën. Maar de beste manier om zeker te weten dat je aankomt bij je gewenste bestemming is om meerdere routes te hebben om er te komen. Mirror Lake is slechts één van de onderzoeksrichtingen van DSR. Welke weg we ook inslaan, ons team is ervan overtuigd dat het slagen voor de visuele turingtest onze bestemming is en dat geen enkel natuurkundig probleem ons ervan zal weerhouden om dat doel te bereiken. In de afgelopen 7 jaar hebben we een stukje van de toekomst gezien en we blijven zoeken naar een praktisch stappenplan naar een werkelijk visueel realistisch metaversum."

Latest Stories

To help personalize content, tailor and measure ads, and provide a safer experience, we use cookies. By clicking or navigating the site, you agree to allow our collection of information on and off Facebook through cookies. Learn more, including about available controls: Cookies Policy