Skip to Content

Den visuellen Turing-Test bestehen: Einblicke in unser Streben nach visuellem Realismus in der VR

Im November 2020 sendete Meta-CEO Mark Zuckerberg eine E-Mail an CTO Andrew „Boz“ Bosworth und Reality Labs Chief Scientist Michael Abrash, in der er ganz direkt fragte: „Was hält uns eigentlich davon ab, ein VR-Display zu entwickeln, dessen Darstellung von der Realität kaum zu unterscheiden ist – und welchen Herausforderungen müssen wir uns stellen, um es zu verwirklichen?“

Recommended Reading

Das war das jüngste in einer Reihe ausführlicher Gespräche über die Entwicklung fortschrittlicher Displaysysteme für die VR, die Zuckerberg und Abrash im Laufe der Jahre führten. Dazu zählten etwa auch eine Reise zu einem vielversprechenden Augmented-Reality-Unternehmen im Jahr 2015, zahlreiche E-Mails, persönliche Unterhaltungen und technologische Tests sowie verschiedenste Demos in Redmond und Menlo Park im Laufe der Jahre.
 
Die Antwort auf die Frage hätte auch reine Spekulation sein können – doch sie war alles andere als das. Denn das „Display Systems Research“-Team (DSR) von Reality Labs unter der Leitung von Douglas Lanman hatte in den vorangegangenen fünf Jahren intensiv an genau jenen Technologien geforscht, die für die Beantwortung von Zuckerbergs konkreter Frage erforderlich waren. Tatsächlich war es genau die richtige Frage zum richtigen Zeitpunkt, um zu definieren und zu skizzieren, was sich DSR für die VR-Displays des nächsten Jahrzehnts erhofft: das Bestehen des visuellen Turing-Tests.
 

Der Heilige Gral der Display-Forschung

 
Der Turing-Test wurde 1950 von Alan Turing entwickelt, um zu prüfen, ob ein Computer noch vom Menschen zu unterscheiden ist. Der visuelle Turing-Test – ein Begriff, den DSR übernommen und gemeinsam mit führenden akademischen Teams bekannt gemacht hat – bewertet auf ähnliche Weise, ob sich das, was in einem VR-Headset angezeigt wird, von der realen Welt unterscheiden lässt. Es ist ein subjektiver Test, den heute noch keine VR-Technologie bestehen kann. Die VR erzeugt heute bereits ein starkes Gefühl der Präsenz, ein wirklich überzeugendes Gefühl, an virtuellen Orten zu sein. Sie ist aber noch nicht so weit, dass Nutzer*innen sich fragen müssten, ob sie eine reale oder virtuelle Welt sehen.
 
Zuckerbergs Frage veranlasste Lanman im Dezember 2020, ein internes Memo mit dem Titel „Passing the Visual Turing Test“ zu verfassen, das weite Kreise zog. Darin legte er einen detaillierten Fahrplan zur Verwirklichung dieses Ziels vor – ein Ziel, das eine ganz neue Welt der VR-Funktionen eröffnet, wenn es erst erreicht wird. Zu diesen Funktionen zählen etwa virtuelle Arbeitsplätze, in denen die Arbeit aus dem Homeoffice mindestens genauso produktiv ist wie im echten Büro, virtuelle soziale Interaktionen, die sich so authentisch anfühlen, als wären alle im gleichen Raum, sowie virtueller Tourismus und nahezu alles, was wir heute in der realen Welt tun. Dank Remote-Zusammenarbeit auf Basis der VR könnten viel mehr Menschen dort leben, wo sie möchten, statt dorthin ziehen zu müssen, wo es Arbeitsplätze gibt. Dadurch würden neue Möglichkeiten entstehen. Das gilt sowohl für Personen, deren Zugang zu einer breiten Palette an Jobs nicht mehr durch ihren geografischen Standort begrenzt wäre, als auch für Unternehmen, die dann auf einen riesigen, globalen Pool potenzieller Talente zugreifen könnten. Aber die positiven Auswirkungen gingen weit über bloße Produktivität hinaus. VR hat zusammen mit AR das Potenzial, die Welt genauso oder sogar noch mehr zu verändern als seinerzeit die Einführung des PC. Ununterscheidbar realistische visuelle Erfahrungen werden dabei eine große Rolle spielen.
 
Im heutigen „Inside the Lab“-Beitrag tauchen wir tief in das Bestreben von DSR ein, einen Display-Technologie-Stack zu entwickeln, der – zusammen mit Codec-Avatar*innen, einer überzeugenden Haptik, räumlichem Audio und vielem mehr – dazu beitragen wird, dass sich das Metaversum der Zukunft wirklich real anfühlt und die Herausforderung des visuellen Turing-Tests über die gesamte Bandbreite visueller Erfahrungen hinweg meistert. Wir werden einen Blick auf die zentralen Technologien werfen, die DSR entwickelt, über den Ansatz des Teams beim Prototyping sprechen, der ein wichtiger Motor für den Fortschritt von DSR ist, und die Ergebnisse einer erstmalig durchgeführten Wahrnehmungsstudie vorstellen, die einem Großteil der Forschungsarbeit des Teams zugrunde liegt. Schließlich werden wir Details über mehrere DSR-Prototypen vorstellen und den „Mirror Lake“ enthüllen: einen Prototyp, der die Arbeit von DSR in mehreren Forschungsbereichen in einem leichten, komfortablen Headset der nächsten Generation integriert.
 
Dies ist die Geschichte einer wissenschaftlichen Forschungsreise – von der ersten Idee, die sich zu einem umfassenden Programm entwickelte, das eines Tages die Art und Weise, wie wir arbeiten, spielen und kommunizieren, verändern könnte. Und diese Geschichte beginnt mit einer Herausforderung.

Die Herausforderung

 
Die Herausforderung, vor der DSR bei seinem Streben nach visuellem Realismus steht, lässt sich leicht zusammenfassen: Die erforderliche Technologie, um den visuellen Turing-Test zu bestehen (insbesondere in einem Headset für Verbraucher*innen), gibt es noch nicht. Quest und Quest 2 schaffen zwar überzeugende visuelle 3D-Erlebnisse, können aber noch nicht mit unseren Erfahrungen in der realen Welt mithalten. Die offensichtlichste derzeitige Einschränkung ist die Auflösung. Aber es gibt noch zahlreiche weitere Herausforderungen. VR bringt eine Reihe neuer Probleme mit sich, die es bei den heutigen 2D-Displays einfach nicht gibt, darunter Vergenz-Anpassungskonflikte, chromatische Aberration, Augenparallaxe und Pupillenschwimmen. Daher müssen noch viele Hindernisse überwunden, viele Nutzungsstudien durchgeführt und muss noch viel Forschung betrieben werden, bevor wir uns einem völlig realistischen VR-Erlebnis annähern können. Die Innovationen, die erforderlich sind, um diese Lücke zu schließen, lassen sich in mehrere Hauptkategorien einteilen.
 
Zunächst einmal ist die Auflösung ein Problem. Das Problem ist, dass VR-Headsets ein viel breiteres Sichtfeld haben als selbst der breiteste Monitor, sodass die verfügbaren Pixel auf einen viel größeren Bereich als bei einem 2D-Display verteilt werden müssen. Das Ergebnis ist bei der gleichen Anzahl von Pixeln eine geringere Auflösung. Um beispielsweise das gesamte Sichtfeld eines Menschen mit einer normalen 20/20-Sehstärke abzubilden, wären horizontal etwa 13.000 Pixel erforderlich – weit mehr als jedes derzeit für Verbraucher*innen verfügbare Display. (In der Praxis ist das nicht ganz so schlimm, da das Auge nicht in der Lage ist, eine hohe Auflösung über das gesamte Sichtfeld hinweg wahrzunehmen, aber die Herausforderung bleibt bestehen.) Hinzu kommt, dass nicht nur viel mehr Pixel benötigt werden – auch die Qualität dieser Pixel muss zunehmen. Die heutigen VR-Headsets haben eine wesentlich geringere Helligkeit und einen geringeren Kontrast als Laptops, Fernsehgeräte und Smartphones. Daher erreicht die VR noch nicht das Niveau der Detailgenauigkeit und der akkuraten Darstellung, an das wir uns bei unseren 2D-Displays gewöhnt haben.
 
Darüber hinaus verzerren die in den aktuellen VR-Displays verwendeten Linsen das virtuelle Bild häufig, was sich auf dessen Realismus auswirkt – es sei denn, die Verzerrung wird vollständig von der Software korrigiert. Dies stellt jedoch eine Herausforderung dar, da die Verzerrung variiert, wenn das Auge sich bewegt, um in verschiedene Richtungen zu blicken. Auch über das Realismus-Problem hinaus ist es mitunter schwer, Headsets über einen längeren Zeitraum hinweg zu verwenden, denn die Verzerrung und das Gewicht können bei Nutzer*innen vorübergehend zu Unwohlsein und Erschöpfung führen. Es gibt zudem noch ein weiteres wichtiges Detail bei der Frage der Auflösung, das jedoch so entscheidend ist, dass es eine eigene Kategorie verdient: die Fähigkeit, auf jede Entfernung richtig zu fokussieren. Wir werden diesen letzten Punkt gleich erläutern und noch etwas näher darauf eingehen, denn er ist das Herzstück dieses Artikels.
 
Um die oben genannten Lücken vollständig zu schließen und den visuellen Turing-Test zu bestehen, ist nach Ansicht von Zuckerberg und Lanman der Aufbau eines neuen Technologie-Stacks erforderlich, der Folgendes umfasst:
 
  • Eine „Varifocal“-Technologie, die stets für die richtige Schärfentiefe sorgt (im Gegensatz zu einem festen Fokuspunkt) und dadurch eine klarere und komfortablere Sicht in Armlänge über längere Zeiträume hinweg ermöglicht.
  • Eine Auflösung, die der menschlichen Sehschärfe von 20/20 nahe kommt und diese sogar übertrifft.
  • Eine Verzerrungskorrektur zur Beseitigung optischer Abweichungen, wie z. B. Farbsäume um Objekte und Bildverzerrungen (sog. „Warping“), die durch die Betrachtungsoptik verursacht werden können.
  • High Dynamic Range (HDR) – eine Technologie, die das Farbspektrum, die Helligkeit und die Kontraste in der VR erhöht.
 
All diese Merkmale zu entwickeln ist notwendig (und schwierig), genügt aber noch nicht. All das muss letztlich in ein komfortableres Headset für Verbraucher*innen passen. Das bedeutet, dass DSR nicht nur den Stand der Technik auf mehreren Display-Achsen innovieren, sondern auch komplette Displaysysteme entwickeln muss, die weit über das hinausgehen, was heute existiert – eine riesige Herausforderung. Aber es ist eine Herausforderung, der sich DSR stellt – und eine Herausforderung, die Zuckerberg als unerlässlich für die nächste Generation von VR betrachtet.
 
Lanman weist auf die Komplexität dieser Aufgabe hin: „Die Gestaltung und Entwicklung von Headsets mit diesen technologischen Komponenten ist eine schwierige und zeitaufwändige Aufgabe, da bei Headset-Displays alle technischen Systeme miteinander verbunden sind. Alles konkurriert um die gleiche Größe, das gleiche Gewicht, den gleichen Stromverbrauch und das gleiche Budget. Außerdem muss alles in ein kompaktes, tragbares Format passen.“ Es geht nicht nur darum, innovative Technologie und ein begrenztes Budget unter einen Hut zu bringen – jedes Element des Stacks muss auch mit allen anderen Komponenten kompatibel sein. Zum Beispiel müssen bestimmte Eye-Tracking-Technologien mit bestimmten Arten von Displaylinsen kombiniert werden, damit sie richtig funktionieren.
 
DSR hat diese Herausforderung mit einer umfangreichen Reihe von Prototypen in Angriff genommen. Sie reichen von Einzeltechnologien bis hin zu kompletten Systemen und loten die Grenzen des VR-Display-Designs neu aus. Es folgten mehrere Nutzungsstudien mit diesen Prototypen, um die gemachten Fortschritte in Richtung des visuellen Turing-Tests zu bewerten. Das greifbare Ergebnis ist bei RL Research in Redmond zu sehen: eine ganze Wand mit Prototypen, die gemeinsam ein breites Spektrum an Technologien für VR-Displays der nächsten Generation abbilden – eine Geschichte der Bemühungen von DSR um visuellen Realismus, Prototyp um Prototyp.
In den letzten sieben Jahren hat Lanmans Team über zwei Dutzend voll funktionsfähige AR/VR-Forschungsheadsets gebaut, die jeweils darauf ausgerichtet sind, neuartige Demos und Benutzerstudien freizuschalten.
Im weiteren Verlauf des Beitrags werden wir diese Geschichte von den Anfängen bis zum heutigen Tag erkunden. Wir sehen uns die vier primären Technologieachsen der Reihe nach an, einschließlich eines Updates des langjährigen Varifocal-Programms, über das wir im Laufe der Zeit schon mehrfach berichtet haben. Außerdem werden wir zwei aktuelle DSR-Display-Systemarchitekturen vorstellen: Holocake 2 – das unseres Wissens nach die kompakteste Optik aller VR-Headsets der Quest 2-Klasse hat und das erste Headset dieser Art mit holografischer Optik ist – und Mirror Lake, eine mögliche Architektur für künftige Generationen visueller VR-Erlebnisse.
 
Blicken wir dazu zurück ins Jahr 2015, in dem alles begann.
 

Varifocal und die überraschende Rolle der Hände

 
Im Jahr 2015 befand sich Lanmans neu gegründetes Team im ersten Jahr der Erforschung von Display-Technologien, die für das Bestehen des visuellen Turing-Tests relevant sein könnten. Zur gleichen Zeit war Meta (damals noch Facebook) dabei, die Oculus Rift auf den Markt zu bringen, auf die bald eine neue Interaktionsmethode folgen sollte: Touch Controller, die das Gefühl vermitteln sollten, die Hände in der VR nutzen zu können.
 
Lanman war zuversichtlich, dass RL eines Tages weit mehr als die Touch Controller anbieten und die Hand-Tracking-Technologie, die das Forschungsteam damals entwickelte, in anderen Produkten implementieren würde. (Er hatte recht: 2020 fügten wir der Quest Hände hinzu.) Dieser Gedanke führte Lanman zu einer wichtigen Erkenntnis.
Varifocal ist eine Technologie, bei der der Fokus des Displays basierend auf dem, was Sie betrachten, angepasst wird. In diesem Through-the-Lens-Filmmaterial können Sie den Unterschied erkennen – insbesondere bei der Fokussierung auf Objekte in der Nähe.
Diese Erkenntnis war, dass man sich, um seine Hände effektiv einzusetzen, auf sie konzentrieren können muss. Das mag offensichtlich und nicht ungewöhnlich erscheinen, da wir in der realen Welt genau das tun. Doch in der Geschichte der VR war es ein echter Durchbruch. In der realen Welt verändern wir ständig die Form unserer Augenlinsen, um Objekte in unterschiedlichen Entfernungen zu fokussieren und die entsprechende Helligkeit richtig abzubilden. Im Gegensatz dazu verfügen die aktuellen VR-Headsets über eine Optik mit einem festen Fokus, der in der Regel bei 1,5 bis 2 Metern liegt. Das bedeutet, dass (obwohl wir uns dessen nicht bewusst sind) das Licht in der VR effektiv immer aus der gleichen Entfernung kommt, unabhängig davon, wohin wir in der Szene schauen. Das ist ein neues Phänomen für unser optisches Wahrnehmungssystem. Das Missverhältnis zwischen der simulierten Entfernung eines virtuellen 3D-Objekts und der Fokussierungsdistanz, die in den heutigen Headsets auf etwa 1,5 bis 2 Meter festgelegt ist – kann zu einem Vergenz-Akkomodation-Konflikt (VAK) führen. VAK ist ein bekanntes Phänomen im Bereich der VR, das zu vorübergehender Ermüdung und verschwommener Sicht führen kann und eine der Ursachen für das Unwohlsein ist, das bei längeren Aufenthalten in der VR auftreten kann. „Unsere Augen versuchen, etwas scharfzustellen, doch können es nicht“, sagte Zuckerberg letztes Jahr, als er die Vorteile der Varifocal-Technik erläuterte, „da [das Display] alle Objekte in einem festen Abstand darstellt.“
 
Ein Weg zur Lösung des VAK-Problems besteht darin, die Schärfentiefe in der VR dynamisch an die Entfernung des jeweiligen Objekts anzupassen, sodass unsere Augen die richtige Entfernung fokussieren können. Ein möglicher Weg, dies zu erreichen, ist die sogenannte „Varifocal“-Technik, bei der die Linsen entsprechend verschoben werden, wenn der Betrachter seinen Blick auf ein anderes Objekt richtet. Um diese Theorie zu testen, hat DSR im Jahr 2016 einen etwas sperrigen Prototypen für den Erfahrungsnachweis entwickelt, der unten abgebildet ist. Wir bezeichnen solche Prototypen – die noch lange nicht reif für Verbraucher*innen sind, sondern gebaut wurden, um zu erproben, was mit jahrelanger Forschung und Entwicklung möglich sein könnte – als „Zeitmaschinen“. Zeitmaschinen sind ein integraler Bestandteil des DSR-Ansatzes beim experimentellen Erkunden des Designs künftiger visueller VR-Technologien.
Der erste vollständige Varifocal-Prototyp von DSR, der 2016 erstellt wurde, integrierte alle notwendigen Komponenten für ein überzeugendes Erlebnis – variabler Fokus, robustes Eye-Tracking, Echtzeit-Verzerrungskorrektur, die mit Änderungen des Anzeigefokus aktualisiert wird, und gerenderte Unschärfe, die von der Fokusebene weg zunimmt , wie es in der realen Welt der Fall ist. Die Demo von 2016 verwendete einen Prototyp eines Touch-Controllers, um es Labormitarbeitern zu ermöglichen, die Vorteile der Sehschärfe für Objekte innerhalb einer Armlänge direkt zu bewerten.

Eine einmalige Nutzungsstudie und die Entwicklung des Half Dome

 
Als Zuckerberg 2017 RL Research besuchte, sah er sich eine breite Palette von Prototypen an und traf einige Entscheidungen darüber, welche technologische Richtung das Unternehmen in Zukunft einschlagen sollte. Die erste VR-Demo, die er an diesem Tag ausprobierte, war einer unserer ersten Varifocal-Versuche – ein Ungetüm, das die Bildschärfe von nahen Objekten deutlich verbessert, wie er schnell bestätigte. Dieser und andere frühe Prototypen zeigten, dass das ihnen zugrunde liegende varifokale Prinzip funktioniert und subjektiv ein schärferes Seherlebnis bietet. Die sich abzeichnenden Beweise waren zwar vielversprechend, aber nicht aussagekräftig. Dem Team fehlte der endgültige Beweis, dass die DSR-Version des Varifocal-Headsets das VAK-Problem überwinden und die Bildschärfe und den Tragekomfort verbessern könnte.
 
Marina Zannoli, damals Vision Scientist im DSR-Team, führte als Verantwortliche eine Varifocal-Nutzungsstudie durch, um eine Lösung zu finden. Sie begann mit einer gewaltigen technischen Herausforderung: Das Team musste ein neues Headset entwickeln, das dem Gewicht und dem Design der Oculus Rift deutlich näher kam, damit die Studie nicht durch das durch einen sperrigen Prototyp bedingte Unwohlsein beim Tragen überschattet würde. Dies erforderte eine Gewichtsreduzierung um das Vierfache im Vergleich zum bisherigen 2,45 Kilogramm schweren Headset des Teams. Gleichzeitig musste das Gerät so optimiert werden, dass es frei von Geräuschen und Vibrationen war, die durch das varifokale System erzeugt wurden.
 
Neun Monate später präsentierte das Team „Half Dome Zero“ – einen 680 Gramm leichten Forschungsprototyp, der mit allen zu diesem Zeitpunkt für Rift erhältlichen VR-Spielen vollständig kompatibel war, aber zusätzlich in der Lage war, in diesen Spielen eine korrekte Tiefenschärfe über Varifocal zu bieten. Obwohl es etwas schwerer war als die Rift mit 470 Gramm, war Zannoli überzeugt, dass dieses neue Headset leicht genug sei, um aussagekräftige Einblicke in die Vorlieben der Nutzer*innen und die wahren Vorteile von Varifocal zu liefern.
 
Als Nächstes musste Zannoli entscheiden, wie die angestrebten Vorteile von Varifocal getestet werden sollten. Dazu gehörte u. a. die Frage, wie sich die Bildschärfe von nahen Objekten verbessern lässt, ob 3D-Szenen schneller wahrgenommen werden können, ob sich dadurch der Sehkomfort erhöht und nicht zuletzt, ob die Menschen die neue Technik tatsächlich bevorzugen.
 
Hier entschied sich Zannoli für eine Herangehensweise an das Problem, die sich deutlich vom Standardansatz der Sehforschung unterscheidet, bei dem nur wenige Stimuli, wie z. B. Sehtafeln, zum Einsatz kommen. Sie entschied sich dafür, die Studie auf reichhaltige VR-Erlebnisse zu konzentrieren und entwickelte mit einem Team von Techniker*innen eine maßgeschneiderte Demo-App, die auf einer Videospieltechnologie basiert und die Teilnehmer*innen dazu anregt, einen Großteil ihrer Zeit mit der Betrachtung von nahen Objekten zu verbringen – etwas, das VR-Entwickler*innen aufgrund der bekannten Schwierigkeiten der VR mit festem Fokus derzeit vermeiden sollten.
Die im Jahr 2017 durchgeführte Half Dome Zero-Benutzerstudie beinhaltete, 30 Minuten in VR zu verbringen, verteilt auf drei Erfahrungen: eine modifizierte Version von First Contact, die die Interaktion mit Objekten in der Nähe beinhaltete, eine modifizierte Szene von Dreamdeck, in der die Teilnehmer nach einem kleinen suchen mussten Symbol und eine Aufgabe, bei der zufällige Punktstereogramme betrachtet und bewertet wurden, wie schnell die Teilnehmer 3D-Muster in der Szene verstehen konnten (Hinweis: Die Muster sind nur in VR sichtbar).
Mit einem geeigneten Headset und einem sorgfältig ausgearbeiteten Protokoll ausgestattet, konnte Zannoli 63 Teilnehmer*innen für eine zweitägige Studie gewinnen, die das varifokale System des Teams im Vergleich zur VR mit nur einem Fixpunkt bewertete. Während die Personen Half Dome Zero an einem Tag mit varifokaler Funktionalität ausprobieren konnten, benutzten sie den Prototypen am Tag darauf mit fest eingestellter Fokustiefe, die bei aktuellen VR-Headsets Standard ist. Die Teilnehmer*innen wurden gebeten, durch Ausfüllen verschiedener Fragebögen eine Reihe von Präferenzen subjektiv zu bewerten.
 
Die Ergebnisse der Studie fielen positiver aus, als es sich das Team erhofft hatte. Zannoli fasst zusammen: „Als wir uns die Ergebnisse ansahen, stellten wir fest, dass die Menschen sich mit der Varifocal-Funktionalität in jeder Hinsicht wohler fühlten. Sie litten seltener unter Erschöpfung, Übelkeit oder verschwommenem Sehen, konnten kleine Objekte besser erkennen, Texte leichter lesen und reagierten zudem schneller auf ihre visuelle Umgebung.“ Besonders vielversprechend war, dass die Mehrheit der Teilnehmenden die Varifocal-VR der VR mit fester Fokustiefe vorzog – ein besonders überraschendes Ergebnis, da es sich bei Half Dome Zero um einen frühen Prototyp mit nicht optimaler Eye-Tracking- und Verzerrungskorrektur-Software handelte.
Im Sommer 2017 hatte das DSR-Team also endlich einen definitiven Beweis dafür, dass die varifokale Funktionalität eine Reihe von Vorteilen für Leistung und Komfort in der VR mit sich bringt. Zeitgleich durchgeführte Studien der Universitäten Inria und UC Berkeley sowie Stanford untermauern dieses Ergebnis. Das Team war sich nun sicher, dass die Lösung der zahlreichen verbleibenden technischen Herausforderungen – Eye-Tracking, Computergrafik, optisches Design, Steuersysteme und Gewicht – oberste Priorität hatte, und so erstellte DSR in den nächsten fünf Jahren eine Reihe von Prototypen, welche die Grenzen der Varifocal-Technologie ganz neu ausloteten.
Half Dome Zero kam in der Studie von 2017 zum Einsatz, mit Half Dome 1 erweiterte das Team das Sichtfeld auf 140 Grad. Half Dome 2 konzentrierte sich auf Ergonomie und Komfort und reduzierte 200 Gramm. Half Dome 3 führte das elektronische Varifocal ein, wodurch die Größe und das Gewicht des Helms weiter reduziert wurden.

Die nächsten Schritte: Retina-Auflösung, verzerrungsfreie Displays und HDR

 
„Die Half Dome-Serie war ein Wendepunkt für unser Team“, sagt Lanman. „Sie hat uns geholfen, die varifokale Technologie weiterzuentwickeln, und uns zugleich eine Vorlage für unsere anderen Display-Forschungsprogramme geliefert.“ Nach Half Dome begann DSR, alle Forschungsaktivitäten auf dieselbe Art durchzuführen. Der Prozess beginnt stets mit dem Festlegen technischer Anforderungen und Hypothesen. Es folgen der Bau umfangreicher Zeitmaschinen zur Erprobung von Erlebnissen, die Entwicklung ausgefeilterer Prototypen zur Erprobung des Konzepts und schließlich die Durchführung von Nutzungsstudien, die wichtige Daten für den nächsten Prototyp liefern.
 
„Wir haben dieses Schema rigoros auf alle Dimensionen des visuellen Turing-Tests angewandt“, fügt Lanman hinzu, „insbesondere auf die Auflösung, die optischen Verzerrungen und den Dynamikbereich.“
 
Wir werden uns diese drei Bereiche nun etwas genauer ansehen und erfahren, in welchem Stadium sich die einzelnen Bereiche der DSR-Forschung befinden.
 

Butterscotch: Die Retina-Auflösung richtig verstehen

 
Die „Retina-Auflösung“ ist seit langem der Goldstandard für alle Bildschirmprodukte. Es gibt zwar keine allgemein gültige Definition, doch gilt im Allgemeinen eine Auflösung von 60 Pixeln pro Grad (Pixel per Degree, ppd) als ausreichend, um die 20/20-Bildschärfe auf einer Sehtafel darzustellen. Während die meisten Laptops, Fernseher und Smartphones diese Schwelle längst überschritten haben, hinkt die VR hinterher, da das immersive Sichtfeld die verfügbaren Pixel auf einen viel größeren visuellen Bereich verteilt. Die Displays der Quest 2 liefern beispielsweise etwa 20 ppd.
Wenn eine Sehtafel in VR angezeigt würde, könnten weder Rift noch Quest 2 die unterste Linie auflösen, die eine Sehschärfe von 20/20 darstellt. Im Gegensatz dazu ist der Butterscotch-Prototyp von DSR so konstruiert, dass er die traditionellen Anforderungen an die Netzhautauflösung erfüllt und die feinsten Merkmale in einem Sehdiagramm darstellen kann, wie auf diesen Fotos zu sehen ist, die durch die Linse jedes Headset-Typs aufgenommen wurden.
Dies schränkt natürlich die Möglichkeit ein, kleinen Text und andere Details darzustellen, und kann auch beeinträchtigen, wie realistisch Nutzer*innen eine Szene erleben. So haben Forscher in Japan belegt, dass die Realitätswahrnehmung mit zunehmender Bildauflösung stetig zunimmt, bis hin zu etwa 120 ppd, was weit über das hinausgeht, was als „Retina“-Auflösung gilt. Da der visuelle Realismus im Mittelpunkt des visuellen Turing-Tests steht, hat DSR im Laufe der Jahre eine Reihe hochauflösender VR-Prototypen entwickelt, um die Bedeutung der Retina-Auflösung im Kontext von VR zu untersuchen und Wege zu finden, wie Headsets für Verbraucher*innen dieses Niveau erreichen können.
 
Der Wert dieser Prototypen wurde unerwartet bei einem Besuch von Zuckerberg und Bosworth bei RL Research im vergangenen Jahr deutlich. Auf der Fahrt vom Flughafen erkundigte sich Zuckerberg bei Abrash nach den Fortschritten des Teams bei der Retina-Auflösung. Abrash antwortete, er könne sich selbst ein Bild davon machen, da er in wenigen Stunden Butterscotch, den neuesten und fortschrittlichsten DSR-Prototypen mit Retina-Auflösung, aufsetzen würde.
DSR führt regelmäßig Demos für Meta Management durch und gibt einen Einblick in zukünftige visuelle AR/VR-Technologien. Links: Mark Zuckerberg hat die Gleitsichtbrille erstmals 2017 bei RL Research mit einem frühen AR-Gleitsichtbrillen-Prototyp (eindeutig nicht für Ergonomie optimiert) erlebt. Rechts: 2021 erlebte er bei RL Research den neuesten VR-Prototyp mit Netzhautauflösung von DSR.
Butterscotch ist ein großartiges Beispiel für die Entwicklung von Prototypen, um so schnell und direkt wie möglich konkrete Antworten auf Forschungsfragen zu erhalten. Derzeit gibt es keine Bildschirme, die auch nur annähernd die Retina-Auflösung für das Standard-VR-Sichtfeld unterstützen. Daher hat das Team 3K-LCD-Bildschirme verwendet und das Sichtfeld auf etwa die Hälfte des Sichtfelds der Quest 2 begrenzt, um die Auflösung auf 55 ppd zu erhöhen – 2,5 Mal so viel wie die Auflösung der Quest 2. Dann musste es eine neuartige hybride Linse entwickeln, um eine derart hohe Auflösung zu erreichen.
 
Das Ergebnis ist nicht einmal annähernd bereit für Nutzer*innen – es ist viel zu schwer und sperrig und hat ein zu kleines Sichtfeld. Aber es ermöglichte Zuckerberg, eine nahezu retinale Auflösung zu erleben und sich selbst davon zu überzeugen, wie groß der Unterschied ist. Und genau das ist der Zweck der Zeitmaschinen von DSR. Nach der Vorführung von Butterscotch und der Erkenntnis, dass die Technologie hinter der Retina-Auflösung für die Zukunft der VR von entscheidender Bedeutung ist, veranlasste Zuckerberg eine unternehmensweite Überprüfung unserer Roadmap für die Auflösung.
 
Es ist noch ein langer Weg bis zur realitätsnahen VR-Auflösung, aber Butterscotch ist ein bedeutender Schritt in die richtige Richtung. Der Prototyp dient auch als Basis für die Integration anderer DSR-Technologien in hochauflösende Displaysysteme. Beispielsweise arbeitet DSR an einer Varifocal-Variante von Butterscotch, die mehr als die dreifache Auflösung des Half Dome Zero-Prototyps bieten wird. Bei festem Fokus erscheint das Bild außerhalb der Fokusebene verschwommen – das spielt mit zunehmender Auflösung eine größere Rolle. Der varifokale Butterscotch-Prototyp wird es ermöglichen, alle Vorteile von Varifocal an der Grenze des menschlichen Sehvermögens zu bewerten.
 

Optische Verzerrungen in VR-Headsets beseitigen

 
Die Auflösung des visuellen VR-Erlebnisses ist wichtig, aber nur ein Teil des Problems. Ebenso wichtig ist die Bildqualität, und aus verschiedenen technischen Gründen ist keine VR-Linse völlig frei von optischen Aberrationen. Einige Aberrationen lassen sich durch Verzerren des Bilds in der Software korrigieren – diese wichtige Technik wird heute von annähernd jedem VR-Headset angewendet. Wird sie richtig genutzt, ist sie der Schlüssel zu großartigen visuellen Erlebnissen. Allerdings funktioniert die Verzerrungskorrektur-Software in aktuellen VR-Headsets nicht perfekt. Die Korrektur erfolgt statisch, doch die Verzerrung des virtuellen Bildes ist dynamisch und ändert sich je nachdem, wohin man schaut. Wie unten gezeigt, lässt dieses als „Pupillenschwimmen“ bekannte Phänomen die VR u. U. weniger real erscheinen, da sich alles ein wenig bewegt, wenn sich das Auge bewegt. Dies wird bei Varifocal noch deutlicher, da sich das Bild leicht vergrößert und verkleinert, wenn sich der Fokuspunkt des Displays ändert.
Damit Gleitsichtbrillen nahtlos funktionieren, muss die optische Verzerrung, ein häufiges Problem in VR, über das hinausgehen, was heute in Headsets erreicht wird. Die Korrektur in heutigen Headsets ist statisch, aber die virtuelle Bildverzerrung ist dynamisch und ändert sich je nachdem, wohin man schaut. Dieses als Pupillenschwimmen bekannte Phänomen kann dazu führen, dass sich VR weniger real anfühlt, da sich alles ein wenig bewegt, wenn sich das Auge bewegt.
Dem Team wurde schon früh klar, wie wichtig die genaue Korrektur der Varifocal-Verzerrung ist. Grund dafür war ein Fehler in der Half Dome Zero-Nutzungsstudie von 2017, bei der die Verzerrungskorrektur für Varifocal versehentlich deaktiviert wurde. Der Fehler wurde behoben, aber dadurch lernte das Team, dass Varifocal nur dann signifikante Vorteile bringt, wenn die Verzerrungskorrektur der Linse korrekt angewendet wird. Dies machte deutlich, wie wichtig die akkurate Verzerrungskorrektur ist. Doch als sich das Team näher mit dem Thema befasste, wurde schnell klar, dass ihm die dafür erforderlichen Tools fehlten.
 
Das Problem war, dass Studien rund um die Verzerrung sehr viel Zeit in Anspruch nehmen – allein die Herstellung der Linsen in einem eigens angefertigten Headset kann Wochen oder sogar Monate dauern. Und das ist nur der Anfang des langwierigen Prozesses, um ein funktionsfähiges Headset-Display für Tests zu entwickeln. DSR erkannte, dass man die Studien zur Verzerrung so schnell wie die Software für das optische Design anstatt wie die Hardware bei der Linsenherstellung durchführen müsse, und machte sich daran, dieses Problem zu lösen.
Der VR-Objektivverzerrungssimulator von DSR emuliert VR-Headsets mit einem 3D-Fernseher. Auf diese Weise kann das Team neue optische Designs und Verzerrungskorrekturalgorithmen schnell auf wiederholbare und zuverlässige Weise untersuchen und gleichzeitig den zeitaufwändigen Prozess der Iteration von Designs mit vollständigen Headset-Prototypen eliminieren.
Und das tat es auch. Das Team nutzte bestehende 3D-Fernsehtechnologien für die Entwicklung eines VR-Linsenverzerrungssimulators, welcher präzise kontrollierte Verzerrungen erzeugen kann, sodass die Algorithmen zur Korrektur der Verzerrungen für jedes Linsendesign sofort untersucht werden können. DSR wird diese Rapid-Prototyping-Lösung auf der jährlichen SIGGRAPH-Konferenz im August präsentieren.
 
Gewappnet mit dieser einzigartigen Rapid-Prototyping-Lösung konnte das Team erstmals eine Nutzungsstudie durchführen, die sich mit der Verzerrungskorrektur mithilfe von Eye-Tracking beschäftigte. Anders als die Korrektursoftware in heutigen Headsets nutzt die dynamische Verzerrungskorrektur das Eye-Tracking, um die gerenderte Korrektur unter Berücksichtigung der Augenbewegungen zu aktualisieren. So lassen sich potenziell stets stabile Bilder erzeugen, was mit der heutigen statischen Korrektur nicht möglich ist.
 
Rapid Prototyping verspricht, die Forschung im Bereich der VR-Linsenverzerrung und -korrektur jeder Art erheblich zu beschleunigen und den Weg zu geringeren Verzerrungen in zukünftigen VR-Headsets zu ebnen.
 

Starburst: Ein Vorgeschmack auf Headsets mit hohem Dynamikbereich

 
Auflösung, Verzerrungskorrektur und Varifocal sind die Grundpfeiler für die innovative visuelle Realität der Zukunft. Doch HDR (High Dynamic Range) ist die Technologie, die am konsequentesten mit mehr wahrgenommenem Realismus und einer größeren Tiefenwirkung in Verbindung gebracht wird. HDR bezieht sich auf die Unterstützung breiter Helligkeits-, Kontrast- und Farbbereiche und hat sich unlängst im Fernsehbereich durchgesetzt.
 
„Nits“ sind Einheiten, die beschreiben, wie viel Licht ein Objekt ausstrahlt, wobei die typischen Werte für einen Innenraumbereich, wie unten dargestellt, weit über 10.000 Nits liegen. Bis vor kurzem hatte ein typischer Fernseher eine Helligkeit von nur wenigen hundert Nits. Im Jahr 2013 führten Forscher von Dolby Labs jedoch eine Nutzungsstudie mit einem speziell angefertigten Display durch, das eine Spitzenhelligkeit von 20.000 Nits erreichte, und fanden heraus, dass der Idealwert für die Spitzenhelligkeit bei etwa 10.000 Nits liegt. Diese bahnbrechende Studie inspirierte die Branche zur Entwicklung und Einführung von HDR-Displays in den letzten fünf Jahren – mit großem Erfolg.
Die VR muss diese Hürde noch nehmen. Die Quest 2 hat eine Spitzenhelligkeit von etwa 100 Nits. Angesichts der Einschränkungen bei Stromverbrauch, Wärmeentwicklung und Formfaktor von VR-Headsets wird es nicht einfach sein, diesen Wert zu übertreffen. Wie Zuckerberg in einem Interview im letzten Jahr erklärte, „ist das [HDR]-Problem wahrscheinlich die größte Herausforderung für das Display und dessen Brillanz. Fernsehgeräte wurden in letzter Zeit in Bezug auf HDR etwas besser. Doch die Brillanz […] unserer Displays hinkt aktuell dem, was das Auge in der realen Welt sieht, noch weit hinterher. Die LCD-Panels und Linsen, die in modernen VR-Headsets verwendet werden, haben einen geringeren Kontrast als Fernsehbildschirme, was die Realitätsnähe weiter reduziert. Eine Erhöhung der Helligkeit verstärkt das Problem in der Regel zusätzlich, weil dadurch dunklere Farben, insbesondere Schwarz, verwaschen werden. Letztlich können die heute verfügbaren Displays nur eine Teilmenge der gesamten Farbskala darstellen, die das menschliche Auge wahrnehmen kann.
 
Die DSR-Forscher*innen entwickeln Prototypen für HDR-VR-Headsets. „Unser neuestes Gerät, Starburst, ist etwas sperrig, schwer und kabelgebunden“, sagt DSR-Forscher Nathan Matsuda, „und Nutzer*innen müssen es sich wie ein überdimensionales Fernglas vor das Gesicht halten. Doch wenn sie das tun, erleben sie etwas bisher einmaliges: eine Demo, die den gesamten Helligkeitsbereich wiedergibt, der typischerweise in Innenräumen oder bei Nacht vorkommt.“
Der Starburst-Prototyp von DSR rekonfiguriert das Innere eines Quest 2-Headsets und platziert eine sehr helle Lampe hinter den LCD-Panels. Diese „Zeitmaschine“ ist eines der hellsten HDR-Displays, das jemals gebaut wurde, und erreicht eine Spitzenhelligkeit von 20.000 Nits. Es ist das erste 3D-HDR-Headset, das DSR bekannt ist, und ermöglicht es dem Team, das Zusammenspiel von HDR und 3D-Tiefenwahrnehmung zu untersuchen.
HDR muss man einfach mit eigenen Augen erleben, deshalb wird DSR Starburst auf der SIGGRAPH im August vorführen. In der Zwischenzeit arbeitet DSR weiter nach seiner Vorlage und entwickelt optimierte HDR-Headsets, die zur Durchführung von Nutzungsstudien verwendet werden können. Bis zu „echten“ HDR-VR-Displays wird es noch länger dauern, aber DSR arbeitet gezielt darauf hin und wird stetig Updates bereitstellen.
 

Den Übergang vollziehen

 
Nach jahrelangen Demos und Nutzungsstudien ist DSR davon überzeugt, dass sich der visuelle Turing-Test durch Retina-Auflösung, Varifocal, akkurate Verzerrungskorrektur und HDR bestehen lässt. Das Team hat Prototypen gebaut und validiert, die jeden dieser Aspekte des visuellen Realismus separat verbessern. Der Clou ist jedoch, sie alle in einem einzigen, kompakten Headset zu vereinen. Das stellt eine ganz besondere Herausforderung dar.
 
Das Problem ist, dass VR-Headsets kompakt, leicht und formschön sein müssen, während die zusätzliche Hardware, die für die Implementierung der DSR-Technologien erforderlich ist, dem eher entgegen steht. Lanman bemerkt dazu: „Bei der Entwicklung von leistungsstarken Varifocal-Headsets in den vergangenen sieben Jahren haben unsere Maschineningenieure immer wieder festgestellt, dass alle überzeugenden varifokalen Systeme – zumindest jene, bei denen die varifokale Funktionalität auf den Linsen oder dem Display basiert – etwa 40 bis 50 Gramm mehr wiegen.“ Das mag nicht nach viel klingen – es entspricht in etwa dem Gewicht von zwei AA-Batterien – aber es würde bedeuten, dass die Menschen ein Headset akzeptieren müssen, das mindestens 10 % schwerer ist als die Quest 2.
 
Hier kommt der DSR-Forscher Andrew Maimone ins Spiel. Im Mittelpunkt seiner Arbeit steht die weitgehende Reduzierung von Größe, Gewicht und Stromverbrauch der bestehenden VR-Systeme. „Zwar lernen wir von diesen frühen Prototypen eine Menge, doch ist das Bestehen des visuellen Turing-Tests mit einem solch großen, klobigen und experimentellen Testbed nur der erste Schritt in Richtung unseres Ziels. Wir wollen all diese Technologien in einem einzigen eleganten und leichten Gerät bereitstellen, das Nutzer*innen jeden Tag verwenden möchten“, sagt Maimone. „Deshalb bauen wir auch Designprototypen, um herauszufinden, wie wir all diese Elemente so komprimieren können, dass sie sich für Nutzer*innen eignen.“
 

Holocake: Wie viel Reduktion ist möglich?

 
Maimone leitete die Entwicklung eines der Designprototypen, die Zuckerberg und Bosworth im letzten Herbst in Redmond besichtigten: ein extrem kompaktes Headset namens Holocake 2.
Holocake 2 wurde entwickelt, um die optische Leistung von holografischen Pancake-Linsen in einem voll funktionsfähigen, PC-gebundenen Headset zu testen.
Durch die Kombination von holografischer Optik und Pancake-Linsen – ein Ansatz, den wir erstmals in unserem Beitrag über das Holocake-Headset im Jahr 2020 erörtert haben – ist Holocake 2 das flachste und leichteste VR-Headset, das wir je gebaut haben. Anders als das ursprüngliche Holocake-Headset, das wie eine Sonnenbrille aussah, dem aber wichtige mechanische und elektrische Komponenten fehlten und dessen optische Leistung deutlich geringer war als die heutiger VR-Headsets für Verbraucher*innen, ist das Holocake 2 ein voll funktionsfähiges, mit dem PC verbundenes Headset, auf dem alle verfügbaren PC-VR-Titel laufen.
 
Um zu verstehen, wie Holocake 2 zu seinem ultrakompakten Formfaktor kommt, müssen wir uns die allgemeine Bauweise von VR-Displays etwas genauer ansehen. Heutige VR-Displays bestehen aus einer Lichtquelle, einem Display-Panel, das durch Dimmen oder Aufhellen des Lichts Bilder erzeugt, und einer Linse, die das Licht vom Display ins Auge fokussiert. In der Regel muss die Linse einige Zentimeter vom Display entfernt sein, damit die Fokussierkraft ausreicht, um das Licht ins Auge zu lenken.
Holocake-Linsen reduzieren Dicke und Gewicht mit polarisationsbasierter optischer Faltung, die das Licht in der Linse reflektiert, ähnlich wie bei Emerging Pancake-Linsen; und mit holografischen Filmen, die die sperrigeren refraktiven Linsen herkömmlicher Pancake-Linsen und refraktiver Designs wie Quest 2 ersetzen. Bei beiden wird das Licht von einem Flachbildschirm auf das Auge fokussiert; nur der Formfaktor variiert.
Wie oben dargestellt, gibt es jedoch Möglichkeiten, die Linse viel näher am Display zu platzieren und damit die Größe des Headsets erheblich zu verringern. Holocake 2 wendet zwei Technologien an, um dies zu erreichen. Zum einen ersetzt es die Linse durch eine holografische Optik, die das Licht wie eine Linse bricht, aber die Form einer dünnen, transparenten Glasplatte hat. Zum anderen kommt eine auf Polarisation basierende optische Faltung zum Einsatz, die eine Pancake-Linse emuliert, jedoch wesentlich kompakter als eine holografische Optik ist. Dadurch wird der Weg des Lichts vom Display zum Auge drastisch verkürzt.
 
Das klingt nach einem genialen Weg, um Größe und Gewicht zu reduzieren – wo ist der Haken? Das Hauptproblem ist die Lichtquelle – Holocake-Headsets verwenden spezielle Laser und nicht die LEDs, die aktuell in VR-Produkten zum Einsatz kommen. „Zwar sind Laser heute nichts Exotisches mehr“, so Maimone, „aber angesichts der hierzu erforderlichen Leistung, der Größe und des Preises sind sie nicht in vielen Produkten für Verbraucher*innen zu finden. Wir müssen also noch viel Entwicklungsarbeit leisten, um einen marktreifen Laser zu entwickeln, der unsere Anforderungen erfüllt, sicher, kostengünstig und effizient ist und in ein kompaktes VR-Headset passt.“
 
Bis heute ist die Frage nach geeigneten Laserquellen noch ungeklärt, aber wenn sich diese Methode als praktikabel erweist, würde dies den Weg zu VR-Displays im Sonnenbrillenformat ebnen.
 

Mirror Lake: Alles in einem Headset zusammenführen

 
Die verschiedenen Forschungsrichtungen des DSR beruhen alle auf einer grundlegenden Philosophie. Lanman formuliert sie so: „Wir haben uns Display Systems Research genannt, weil wir wussten, dass alle Demos und Nutzungsstudien der Welt nichts bringen, wenn wir nicht außerdem auch überzeugende, anwendbare Designs entwickeln. Das ist die Hauptaufgabe von DSR: die ständige Suche nach einer Lösung für das Rätsel, wie man alle Komponenten zu einem visuellen Erlebnis der nächsten Generation zusammenführen kann, das wiederum den visuellen Turing-Test bestehen könnte. Nicht, indem man erzwungenermaßen auf Elemente verzichtet, sondern auf eine elegante Art und Weise, die einen echten Nutzwert erbringt.“
 
Holocake 2 ist ein Ergebnis dieser Philosophie und es werden noch viele weitere folgen. Heute stellen wir ein Display-System vor, das noch einen Schritt weiter geht – Mirror Lake. Dabei handelt es sich um ein Skibrillen-ähnliches Konzept, das auf der Grundarchitektur von Holocake 2 aufbaut und dieser fast alles hinzufügt, was das Team in den letzten sieben Jahren entwickelt hat.
Mirror Lake ist ein Konzeptdesign mit einem Skibrillen-ähnlichen Formfaktor, das fast alle fortschrittlichen visuellen Technologien, die DSR in den letzten sieben Jahren entwickelt hat, einschließlich Gleitsicht und Eye-Tracking, in einer kompakten, leichten und energieeffizienten Form integriert Faktor. Es zeigt, wie ein komplettes Anzeigesystem der nächsten Generation aussehen könnte.
Mirror Lake veranschaulicht die Möglichkeiten, die das Holocake-Design mit seinen flachen Außenflächen eröffnet. So lassen sich beispielsweise die schlanken elektronischen Varifocal-Module von Half Dome 3 hinzufügen, um Vergenzkonflikte zu lösen, ohne dadurch die Dicke des Headsets wesentlich zu erhöhen. Anstelle von sperrigen Linsenaufsätzen mit Korrekturgläsern muss lediglich eine weitere dünne Linse an der Vorderseite des Headsets angebracht werden, oder die Sehstärke des Trägers wird direkt in das Hologramm der Hauptlinse des Holocake eingebettet. In die Schläfen sind außerdem zwei nach vorne gerichtete Kameras integriert, die das auf maschinellem Lernen basierende Passthrough ermöglichen – ein Projekt, das DSR auf der SIGGRAPH vorstellen wird.
 
Das Eye-Tracking hat sich als entscheidendes Element zum Bestehen des visuellen Turing-Tests erwiesen, da es sowohl für die varifokale Funktionalität als auch für die Korrektur von dynamischen Verzerrungen erforderlich ist. Das Mirror Lake-Design steht für ganz einen neuen Ansatz, bei dem holografische Folien verwendet werden, um das Licht von den Augen auf ein Kamerapaar an den Schläfen des Headsets zu lenken. Dieses innovative Konzept ermöglicht auch das Eye-Tracking aus mehreren Blickwinkeln, was dessen Genauigkeit erheblich steigert.
 
Der Vorteil hierbei ist, dass dank der Holografie alles dünn und flach ist. Die Varifocal-Module sind flach, ebenso wie alle holografischen Folien, die für Holocake, Korrekturgläser und Eye-Tracking verwendet werden. Und es ist einfach, weitere schlanke, flache Technologien hinzuzufügen. Dies wurde durch die jüngste Erfindung von Reverse-Passthrough-Displays belegt, die das Team in das Mirror Lake-Design integrieren konnte, indem es einfach ein weiteres flaches 3D-Display in den optischen Stack setzte.
 
Das Mirror Lake-Konzept ist vielversprechend, aber im Moment ist es nur ein Konzept. Es wurde noch kein voll funktionsfähiges Headset gebaut, um die Architektur ausgiebig zu testen. Wenn es sich jedoch bewährt, wird es unser visuelles VR-Erlebnis grundlegend verändern.
 

Der lange Weg zum Bestehen des visuellen Turing-Tests

 
So transformativ Mirror Lake auch sein könnte, ist es doch nur ein weiterer Schritt auf dem langen Weg zum Bestehen des visuellen Turing-Tests. Die Entwicklung der Technologie, die erforderlich ist, um diesen Test zu bestehen – und die Klärung der Frage, wie sich mit ihr Headsets realisieren lassen, die den Bedürfnissen von Millionen von Menschen gerecht werden – wird sich über viele Jahre hinziehen. Entlang des Weges lauern dabei zahlreiche Fallstricke und es gibt noch viel zu lernen und zu erforschen. DSR ist sich dieser Herausforderung bewusst und hat sich der Aufgabe verschrieben, „echten“ visuellen Realismus zu erreichen – und die bisherigen Erfolge haben das Team und Zuckerberg überzeugt, dass dieses Ziel grundsätzlich erreichbar ist.
 
Wie Zuckerberg in der Vergangenheit erklärte: „Wenn man einen Zeitraum 10 Jahren betrachtet, ist es natürlich wünschenswert, dass [das Headset] kleiner wird. Im Idealfall kommen wir an einen Punkt, an dem es so etwas wie ein Retina-Display-Äquivalent für die VR gibt […] [Es ist auch notwendig,] entweder eine Art Flüssiglinse oder eine mechanische bewegliche Linse oder etwas anderes [zu entwickeln], das Dinge in verschiedenen Abständen abbilden kann […] Man möchte dabei auch keine Dynamik einbüßen, welche die Augen in Bezug auf den Kontrast und die Helligkeit der Farben in der realen Welt wahrnehmen können, selbst wenn alles in der VR ein wenig matter erscheint.“ Das Fundament für die Bedeutung von Retina-Auflösung, Varifocal und HDR ist die jahrelange Kooperation mit DSR, die uns dazu geführt hat, in diese Technologien zu investieren, ihre Vorteile aus erster Hand zu erleben und daraufhin praktische Zukunftsstrategien für jede dieser Technologien zu entwickeln.
 
Wir überlassen daher Lanman das letzte Wort: „Laser könnten sich letztendlich als unpraktisch für die VR erweisen, zumindest in der für Holocake erforderlichen Form. In diesem Fall würde das gesamte Konzept von Mirror Lake in sich zusammenfallen. Das ist die Herausforderung bei der Erfindung neuer Display-Systeme, die auf innovativen, jungen Technologien basieren. Aber der beste Weg, um sicherzugehen, dass man in einem solchen Fall das gewünschte Ziel erreicht, ist, von Anfang an mehrere Routen zu verfolgen – und Mirror Lake ist nur einer der Forschungsansätze von DSR. Ganz gleich, welchen Ansatz wir letztendlich verwenden: Unser Team ist sich sicher, dass wir den visuellen Turing-Test bestehen werden und dass uns nichts in der Welt der Physik davon abhält, dieses Ziel zu erreichen. In den letzten sieben Jahren konnten wir einen kleinen Blick in diese Zukunft werfen, und wir sind weiterhin fest entschlossen, einen praktischen Weg zu einem wahrhaft visuell realistischen Metaverse zu finden.“

Latest Stories

To help personalize content, tailor and measure ads, and provide a safer experience, we use cookies. By clicking or navigating the site, you agree to allow our collection of information on and off Facebook through cookies. Learn more, including about available controls: Cookies Policy