Skip to Content

Réussir le test visuel de Turing : l’histoire de notre quête du réalisme visuel dans la VR

En novembre 2020, le PDG de Meta, Mark Zuckerberg, a envoyé un e-mail au directeur technique, Andrew « Boz » Bosworth, et au responsable scientifique du Reality Labs, Michael Abrash, afin de leur poser la question suivante : « Qu’est-ce qui nous empêche d’avoir un affichage en VR que l’on confondrait presque avec la réalité, et que devons-nous faire pour y parvenir ? »

Recommended Reading

C’était l’e-mail le plus récent d’une série de conversations détaillées sur la création de systèmes d’affichage de réalité virtuelle (VR) avancés que Mark Zuckerberg et Micheal Abrash avaient eues au fil des années. Tout a commencé lors d’un déplacement en 2015 dans une entreprise prometteuse spécialisée dans la réalité augmentée (AR). Puis cela s’est intensifié par le biais de fréquents échanges d’e-mails, des discussions en tête-à-tête et des examens de technologies, ainsi que de nombreuses démos à Redmond et Menlo Park au fil des ans.
 
La réponse aurait pu n’être qu’une simple spéculation, mais c’était tout sauf le cas, car l’équipe Display Systems Research (DSR) de Reality Labs, dirigée par Douglas Lanman, avait effectué des recherches approfondies sur toutes les technologies nécessaires pour répondre à la question spécifique de Mark Zuckerberg au cours des cinq années précédentes. En fait, il a posé exactement la bonne question au bon moment pour cristalliser et élaborer les idées de l’équipe DSR concernant les écrans de VR de la prochaine décennie: réussir le test visuel de Turing.

Le Saint-Graal de la recherche sur les écrans

Le test de Turing a été conçu en 1950 par Alan Turing afin d’évaluer si un ordinateur pouvait passer pour un humain. Le test visuel de Turing est une expression que l’équipe DSR a adoptée et contribué à populariser, de même que les équipes universitaires les plus éminentes. Il évalue si ce qui est affiché dans un casque de VR peut être confondu avec la réalité. Il s’agit d’un test subjectif qu’aucune technologie de VR n’a encore réussi à ce jour. Même si la VR crée déjà un fort sentiment de présence, une sensation de se trouver dans des lieux virtuels de manière réellement convaincante, elle n’en est pas encore au point où l’on se demanderait si ce que l’on regarde est réel ou virtuel.
 
La question de Mark Zuckerberg a fortement incité Doug Lanman à rédiger une note interne qui a été largement diffusée, intitulée « Réussir le test visuel de Turing », en décembre 2020. Il y présente une feuille de route détaillée pour atteindre cet objectif. Ce dernier, s’il est atteint, ouvrira de nombreuses opportunités en VR, allant des espaces de travail virtuels qui rendent le travail à distance aussi productif, voire plus, que le travail dans un bureau réel, à l’interaction sociale virtuelle qui donne l’impression authentique d’être avec d’autres personnes, en passant par le tourisme virtuel, et jusqu’à peu près tout ce que nous faisons aujourd’hui dans le monde réel. Grâce à la VR, le télétravail permettra à beaucoup plus de personnes de vivre où elles le souhaitent, plutôt que de devoir déménager près des bassins d’emploi. Cela créerait de nouvelles opportunités à la fois pour les collaborateurs, dont l’accès à un large éventail d’emplois ne serait plus limité par la localisation géographique, et pour les entreprises, qui seraient en mesure d’exploiter une vaste réserve mondiale de talents. Les conséquences iraient au-delà de la productivité. La VR, ainsi que l’AR, ont le potentiel de changer le monde autant, voire plus, que l’informatique personnelle, et les expériences visuelles d’un réalisme indiscernable y joueront un rôle énorme.
 
Aujourd’hui, dans la publication « Inside the Lab », nous étudierons de façon approfondie la quête de l’équipe DSR pour élaborer la technologie d’affichage qui contribuera à rendre le futur métavers vraiment réel, en relevant le défi du test visuel de Turing pour toutes les expériences visuelles, aux côtés des Codec Avatars, d’une sensation de toucher vraisemblable, d’un audio spatial et bien plus encore. Nous examinerons les principales technologies développées par DSR, nous évoquerons l’approche de prototypage qui alimente les progrès de DSR, et nous partagerons les résultats d’une étude perceptive inédite qui a catalysé une grande partie des recherches de l’équipe. Enfin, nous partagerons des informations concernant plusieurs prototypes de DSR et nous vous dévoilerons Mirror Lake, un prototype qui intègre le travail de DSR dans plusieurs domaines de recherche au sein d’un casque de nouvelle génération léger et confortable.
 
C’est l’histoire d’une exploration scientifique, de la graine d’une idée de recherche qui se transforme en un programme complet ayant de bonnes chances de changer un jour notre façon de travailler, de jouer et de communiquer. Et nous allons débuter notre histoire par le défi à relever.

Le défi

 
Le défi auquel l’équipe DSR est confrontée dans sa quête de réalisme visuel est facile à résumer : la technologie requise pour réussir le test visuel de Turing, surtout dans un casque grand public, n’existe pas encore. Même si Quest et Quest 2 créent des expériences visuelles 3D convaincantes, ces casques ne peuvent pas rivaliser avec nos expériences dans le monde réel. La principale limite relève de la résolution, mais les défis vont bien au-delà. La VR pose tout un tas de nouveaux problèmes qui n’existent pas avec les écrans 2D, tels que le conflit vergence-accommodation, l’aberration chromatique, la parallaxe oculaire et la distorsion visuelle. Par conséquent, il y a de nombreux obstacles à surmonter, de nombreuses recherches à effectuer et beaucoup d’études sur les utilisateurs à mener avant de pouvoir s’approcher d’une expérience visuelle totalement réaliste en VR. Les innovations nécessaires doivent combler ces lacunes dans plusieurs catégories principales.
 
À commencer par la résolution. Le problème est le suivant : les casques de VR ont des champs de vision beaucoup plus étendus que l’écran le plus large. Les pixels disponibles doivent donc être appliqués sur une zone beaucoup plus grande que pour un affichage 2D, ce qui se traduit par une résolution inférieure pour un nombre donné de pixels. Par exemple, une vision de 20/20 sur l’ensemble du champ de vision humain nécessiterait environ 13 000 pixels horizontaux, soit bien plus que tout écran grand public existant. (La réalité n’est pas aussi mauvaise, car l’œil n’a pas la capacité de percevoir une haute résolution dans tout le champ de vision, mais l’ampleur du défi reste la même.) Non seulement il faut bien plus de pixels, mais il faut également qu’ils soient de meilleure qualité. Aujourd’hui, les casques de VR ont une luminosité et un contraste bien plus faibles que les ordinateurs portables, les téléviseurs et les téléphones mobiles. De ce fait, la VR ne peut pas atteindre le niveau de détail et de netteté auquel nous sommes habitués avec les affichages en 2D.
 
En outre, les lentilles utilisées dans les écrans de VR actuels déforment souvent l’image virtuelle, ce qui réduit le réalisme, à moins que la distorsion ne soit entièrement corrigée par le logiciel. Et cela est difficile car la distorsion varie lorsque l’œil se déplace pour regarder dans différentes directions. De plus, bien que cela ne touche pas au réalisme, les casques peuvent être difficiles à utiliser pendant des périodes prolongées, car cette distorsion, ainsi que le poids du casque, peuvent provoquer un inconfort et une fatigue temporaires. Et il y a un autre élément clé que l’on pourrait regrouper avec la résolution. Il est toutefois si crucial qu’il dispose de sa propre catégorie : la capacité à faire la mise au point correctement à n’importe quelle distance. Nous expliquerons et analyserons ce point juste après, car il se situe au cœur de notre sujet.
 
Afin de combler les lacunes mentionnées ci-dessus, Mark Zuckerberg et Doug Lanman pensent que pour réussir le test visuel de Turing, il faudra mettre en place une nouvelle technologique comprenant les éléments suivants :
 
  • La technologie de « focale variable », qui propose une profondeur de champ correcte (par opposition à un foyer fixe unique), permettant ainsi une vision plus claire et plus confortable à portée de bras pendant de longues périodes
  • La résolution approchant et dépassant à terme la vision humaine de 20/20
  • La correction de la distorsion pour remédier aux aberrations optiques, comme les franges de couleur autour des objets et la déformation de l’image, que peuvent engendrer les optiques de visualisation
  • Et la technologie HDR (gamme dynamique élevée) HDR (gamme dynamique élevée) qui améliore la gamme de couleurs, la luminosité et le contraste dont on peut faire l’expérience en VR 
Le développement de toutes ces fonctionnalités est nécessaire (et difficile à atteindre), mais pas suffisant. Tout cela doit finalement s’intégrer dans un casque plus confortable, adapté à l’usage des consommateurs. Cela signifie que l’équipe DSR doit non seulement améliorer l’affichage, mais aussi élaborer des systèmes d’affichage complets bien au-delà de ce qui existe aujourd’hui. Le défi est donc d’autant plus dur à relever. C’est un défi que DSR s’apprête à relever, un défi qu’il faut absolument surmonter selon Mark Zuckerberg afin de développer la nouvelle génération de VR.
 
Doug Lanman souligne la complexité de la tâche : « Concevoir et fabriquer des casques intégrant cet ensemble de technologies est un travail difficile et de longue haleine. En effet, dans le cas des affichages sur les casques, tous les systèmes techniques sont interconnectés. La taille, le poids, la puissance et le coût entrent en compétition, tout en devant tenir dans un casque compact et portable. » Et il ne s’agit pas seulement de faire entrer toutes les technologies dans un budget serré : chaque élément doit également être compatible avec tous les autres. Par exemple, certaines technologies de suivi de l’œil doivent être associées à certains types de lentilles d’affichage afin de fonctionner correctement.
 
DSR a étudié ce problème de front en réalisant différents prototypes, allant de technologies individuelles à des systèmes complets, qui tracent et repoussent les limites du vaste espace de conception de l’affichage VR, puis en menant des études auprès d’utilisateurs sur ces prototypes pour évaluer les progrès réalisés en vue de réussir le test visuel de Turing. Le résultat tangible de cette démarche est exposé chez RL Research à Redmond : un mur entier de prototypes qui explorent collectivement un large éventail de technologies pour développer la prochaine génération d’écrans de VR. En somme, il s’agit de la représentation de l’histoire vivante de la quête de réalisme visuel menée par DSR.
Au cours des sept dernières années, l'équipe de Lanman a construit plus de deux douzaines de casques de recherche AR/VR entièrement fonctionnels, chacun orienté vers le déverrouillage de nouvelles démos et études d'utilisateurs.
Dans la suite de cette publication, nous allons découvrir cette histoire, de ses débuts à aujourd’hui. Nous examinerons successivement chacun des quatre axes technologiques principaux, y compris une mise à jour du programme à mise au point variable que nous avons évoqué à plusieurs reprises au fil des années. Nous aborderons également deux architectures récentes de systèmes d’affichage développées par DSR : Holocake 2 qui, à notre connaissance, possède l’optique la plus compacte de tous les casques VR de type Quest 2 et est le premier casque de ce type doté d’une optique holographique, ainsi que Mirror Lake, une architecture proposée pour les futures générations d’expérience visuelle en VR.
 
Remontons le temps jusqu’en 2015 lorsque tout a commencé.

La focale variable et le rôle inattendu des mains

En 2015, la nouvelle équipe de Doug Lanman commençait à étudier les technologies d’affichage qui allaient potentiellement permettre de réussir le test visuel de Turing. Au même moment, Meta (alors connue sous le nom de Facebook) était en train de lancer l’Oculus Rift, bientôt suivi d’une nouvelle méthode d’interaction : les manettes Touch, qui ont permis d’apporter une présence tactile à la VR.
 
Doug Lanman était persuadé que RL irait un jour au-delà de Touch en matière de technologie de suivi des mains, qui était alors en cours de développement au sein de l’équipe de recherche. (Il avait raison : en 2020, nous avons ajouté la fonctionnalité Mains sur Quest.) Et cette réflexion a permis à Doug Lanman d’obtenir une information clé.
Varifocal est une technologie qui consiste à ajuster la mise au point de l'affichage en fonction de ce que vous regardez. Dans cette séquence à travers l'objectif, vous pouvez voir la différence que cela fait, en particulier lors de la mise au point sur des objets proches.
Cette information était la suivante : il faut pouvoir faire la mise au point sur les mains afin de les utiliser plus efficacement. Cela peut sembler évident et courant, puisque c’est exactement ce qu’il se passe dans le monde réel, mais cela change la donne en VR. Dans le monde réel, nous modifions constamment la forme des lentilles de nos yeux pour faire la mise au point à la distance de ce que nous regardons, ce qui permet d’obtenir une image correcte de la lumière provenant de cette distance. À l’inverse, les casques de VR actuels disposent de lentilles dont la mise au point à la distance est fixe, environ 1,5 à 2 mètres. Cela signifie que, bien que nous n’en soyons pas conscients, la lumière provient toujours effectivement de la même distance dans la VR, quel que soit l’endroit où nous regardons. Il s’agit d’un phénomène nouveau pour nos systèmes visuels. L’inadéquation des signaux que vous recevez dans la VR entre la distance simulée d’un objet virtuel en 3D et la distance de mise au point (qui, là encore, est fixée à environ 1,5 à 2 mètres dans les casques actuels) peut entraîner un conflit de vergence-accomodation (VAC). La VAC est un phénomène bien connu dans le domaine de la VR. Elle peut entraîner une fatigue temporaire et une vision floue, et peut être l’une des sources de l’inconfort ressenti lorsqu’on passe beaucoup de temps en VR. « Vos yeux essayent de faire la mise au point, mais ils n’y parviennent pas, a expliqué Mark Zuckerberg l’année dernière lorsqu’il évoquait les avantages de la mise au point variable, parce que [l’affichage] est projeté [à] une distance unique. »
 
L’un des moyens de résoudre le problème de la VAC consiste à ajuster dynamiquement la profondeur de champ dans la VR pour qu’elle corresponde à la distance de l’objet regardé, ce qui permettrait à nos yeux de faire la mise au point à la bonne distance. L’un des moyens potentiels d’y parvenir, connu sous le nom de « mise au point variable », consiste à déplacer les lentilles en fonction de ce que l’observateur regarde. Pour tester cette théorie, L’équipe DSR a élaboré en 2016 un prototype encombrant visant à démontrer l’expérience, exposé ci-dessous. Nous appelons « machines à voyager dans le temps » les prototypes de ce type, qui ne sont pas prêts à être utilisés par les consommateurs, mais qui ont été élaborés dans le but de sonder ce qui pourrait être possible après des années de recherche et de développement. Ces machines à voyager dans le temps constituent une part importante des recherches de DSR consistant à explorer l’espace de conception des futures technologies visuelles de VR.
Le premier prototype varifocal complet de DSR, créé en 2016, intégrait tous les composants nécessaires pour une expérience convaincante - mise au point variable, suivi oculaire robuste, correction de la distorsion en temps réel mise à jour avec les changements de mise au point de l'affichage et rendu du flou qui s'éloignait du plan focal , comme dans le monde réel. La démonstration de 2016 a utilisé un prototype de contrôleur tactile pour permettre aux membres du laboratoire d'évaluer directement les avantages de l'acuité visuelle pour les objets à portée de main.

Une étude inédite auprès des consommateurs et l’évolution de Half Dome

Lorsque Mark Zuckerberg a rendu visite à RL Research en 2017, il est allé voir un large éventail de prototypes et prendre certaines décisions sur les orientations technologiques que l’entreprise devrait adopter à l’avenir. La première démo VR qu’il a essayée ce jour-là était l’une de nos premières tentatives de mise au point variable : un mastodonte qui permettait d’améliorer la netteté des objets proches. Ce prototype et d’autres prototypes précoces ont montré que le principe sous-jacent au système de mise au point variable pouvait fonctionner et qu’il offrait subjectivement des expériences visuelles plus nettes. Cependant, les preuves émergentes, bien que prometteuses, étaient anecdotiques, et l’équipe n’avait pas de preuve définitive que la version DSR de la mise au point variable pouvait surmonter la VAC et améliorer l’acuité et le confort.
 
Marina Zannoli, alors scientifique spécialisée dans la vision au sein de l’équipe DSR, a apporté sa pierre à l’édifice afin de trouver la réponse. Pour cela, elle a mené une étude sur la mise au point variable auprès des utilisateurs. Elle a commencé par lancer un défi technique de taille : l’équipe devait créer un nouveau casque dont le poids et la taille se rapprocheraient beaucoup de ceux de l’Oculus Rift, afin d’éviter que l’étude ne soit perturbée par l’inconfort général qu’entraîne le port d’un prototype encombrant. Pour ce faire, il a fallu diviser par quatre la masse du casque existant, qui pesait 2 450 grammes (environ 5,5 livres), tout en affinant le dispositif pour qu’il soit exempt du bruit et des vibrations générés par le système de mise au point variable.
 
Neuf mois plus tard, l’équipe a livré Half Dome Zero, un casque prototype de recherche de 680 grammes, entièrement compatible avec tous les jeux de VR commercialisés pour le Rift à l’époque, mais avec la capacité supplémentaire de fournir une profondeur de champ correcte dans ces jeux grâce à la mise au point variable. Bien qu’un peu plus lourd que le Rift, qui pèse 470 grammes, Marina Zannoli a estimé que ce nouveau casque était suffisamment léger pour fournir des informations pertinentes concernant les préférences des utilisateurs et les véritables avantages de la mise au point variable.
 
Ensuite, Marina Zannoli a dû décider comment tester les avantages escomptés de la mise au point variable, et notamment savoir si elle améliore la netteté des objets proches, si elle aide les utilisateurs à percevoir plus rapidement les scènes en 3D, si elle augmente le confort visuel et, surtout si les utilisateurs apprécient cette technologie.
 
C’est là qu’elle a décidé d’aborder le problème d’une manière très différente de l’approche standard de la science de la vision, qui consiste à utiliser des stimuli limités tels que des tableaux optométriques. Elle a choisi de fonder l’étude sur des expériences de VR riches, en travaillant avec une équipe d’artistes techniques pour développer une application de démo personnalisée, basée sur la technologie des jeux vidéo, qui encourage les participants à passer la plupart de leur temps à observer les objets à proximité. Il s’agit d’une technologie que les développeurs de VR doivent actuellement éviter en raison des limites connues de la VR à focale fixe.
L'étude utilisateur Half Dome Zero, menée en 2017, impliquait de passer 30 minutes en réalité virtuelle, réparties sur trois expériences : une version modifiée de First Contact qui impliquait d'interagir avec des objets à proximité, une scène modifiée de Dreamdeck dans laquelle les participants devaient rechercher un petit symbole, et une tâche qui consistait à examiner des stéréogrammes de points aléatoires et à évaluer la rapidité avec laquelle les participants pouvaient comprendre les motifs 3D de la scène (remarque : les motifs ne sont visibles qu'en réalité virtuelle).
Désormais munie d’un casque adapté et d’un protocole soigneusement conçu, Marina Zannoli a fait appel à 63 personnes qui ont participé à un essai de deux jours visant à évaluer le système à mise au point variable conçu par l’équipe par rapport à la VR à mise au point fixe. L’un des deux jours, la fonction de mise au point variable était pleinement activée sur le Half Dome Zero, tandis que l’autre jour, le casque fonctionnait en mode de mise au point fixe, qui est la norme pour les casques de VR actuels. Les participants devaient répondre à plusieurs questionnaires afin d’évaluer leurs préférences.
 
Les résultats de l’étude ont été plus positifs que ce que l’équipe avait initialement prévu. Selon Marina Zannoli, « les résultats ont révélé que l’utilisation de la mise au point variable améliorait globalement le confort des participants. Ils ont ressenti moins de fatigue, de nausées et de troubles de la vision, et ils ont été capables de mieux identifier les petits objets, de lire plus facilement les textes et de réagir plus rapidement à leur environnement visuel. » Le plus prometteur est que la majorité des participants ont préféré la VR à mise au point variable à la VR à mise au point fixe. Il s’agit d’un résultat particulièrement surprenant, car Half Dome Zero était un prototype précoce doté d’un logiciel imparfait de suivi oculaire et de correction des distorsions.
À l’été 2017, DSR avait enfin la preuve définitive que la mise au point variable était plus performante et confortable pour la VR. Les études d'Inria et UC Berkeley et de Stanford publiées au même moment soutenaient cette conclusion. L’équipe était désormais certaine qu’il fallait résoudre en priorité la multitude de défis techniques restants (couvrant le suivi oculaire, l’infographie, la conception optique, les systèmes de contrôle et le poids). Ainsi, au cours des cinq années suivantes, DSR a élaboré plusieurs prototypes qui ont repoussé les limites de la technologie à mise au point variable.
Half Dome Zero a été utilisé dans l'étude de 2017. Avec Half Dome 1, l'équipe a étendu le champ de vision à 140 degrés. Half Dome 2 axé sur l'ergonomie et le confort, coupant 200 grammes. Half Dome 3 a introduit le varifocal électronique, réduisant encore la taille et le poids du casque.

Au-delà de la mise au point variable : la résolution rétinienne, l’affichage sans distorsion et l’HDR

Selon Doug Lanman, « la série Half Dome a été un tournant décisif pour notre équipe. Elle nous a permis d’améliorer la technologie de mise au point variable et nous a servi de modèle pour nos autres programmes de recherche en matière d’affichage. » Après Half Dome, DSR a commencé à orienter tous ses efforts de recherche sur la même voie. Il s’agit d’un processus qui commence par l’établissement d’exigences et d’hypothèses techniques, suivi de la construction d’imposantes machines à voyager dans le temps visant à démontrer l’expérience, de la création de prototypes affinés pour valider le concept et, enfin, de la réalisation d’études auprès d’utilisateurs afin de générer des données essentielles pour le prototype suivant.
 
« Nous avons rigoureusement appliqué cette méthode aux autres dimensions du test visuel de Turing, ajoute Doug Lanman, notamment la résolution, les distorsions optiques et la gamme dynamique. »
 
Penchons-nous un peu plus sur ces trois domaines et voyons à quel stade de recherche de DSR se trouve chacun d’entre eux.

Butterscotch : comprendre la résolution rétinienne

La résolution rétinienne est depuis longtemps la référence absolue pour les produits disposant d’un écran. Bien qu’il n’existe pas de définition universellement reconnue, on considère généralement qu’elle se situe autour de 60 pixels par degré (ppd), ce qui est suffisant pour correspondre à 20/20 sur un tableau optométrique. Alors que la plupart des ordinateurs portables, des téléviseurs et des téléphones mobiles ont depuis longtemps franchi ce cap, la VR reste à la traîne, car son champ de vision immersif répartit les pixels disponibles sur une étendue visuelle beaucoup plus grande. Par exemple, l’affichage de Quest 2 diffuse environ 20 pixels par degré.
Si un tableau des yeux était présenté en VR, ni Rift ni Quest 2 ne pourraient résoudre la ligne la plus basse, représentant une acuité visuelle de 20/20. En revanche, le prototype Butterscotch de DSR est conçu pour répondre aux exigences de résolution rétinienne traditionnelles et peut représenter les caractéristiques les plus fines dans un diagramme oculaire, comme le montrent ces photos prises à travers l'objectif de chaque type de casque.
Cela limite évidemment la capacité à présenter des petits textes et d’autres détails, et cela peut également limiter le réalisme perçu. Par exemple, au Japon, les chercheurs ont démontré que la perception du réalisme s’améliorait parallèlement à la résolution de l’image, jusqu’à 120 pixels par degré, c’est-à-dire bien au-delà de ce qui est considéré comme la résolution rétinienne. Le réalisme visuel étant au cœur du test visuel de Turing, DSR a élaboré au fil des ans une série de prototypes de VR à haute résolution conçus pour sonder l’importance de la résolution rétinienne dans le contexte de la VR, et pour faire en sorte que les casques atteignent ce niveau.
 
La valeur de ce prototypage a été renforcée de manière inattendue lorsque Mark Zuckerberg et Andrew Bosworth ont rendu visite à RL Research l’année dernière. Sur le chemin de l’aéroport, Mark Zuckerberg a sondé Micheal Abrash pour connaître la progression de l’équipe concernant la résolution rétinienne. Ce dernier a répondu qu’il pourrait le constater par lui-même, car quelques heures plus tard, il enfilerait Butterscotch, le dernier et le plus avancé des prototypes de résolution rétinienne de DSR.
DSR fait régulièrement des démonstrations pour la gestion Meta, donnant un aperçu des futures technologies AR/VR visuelles. À gauche : Mark Zuckerberg a fait l'expérience de la varifocale pour la première fois en 2017 chez RL Research, en utilisant un des premiers prototypes de varifocale AR (clairement non optimisé pour l'ergonomie). À droite : En 2021, chez RL Research, il a expérimenté le dernier prototype de VR à résolution rétinienne de DSR.
Butterscotch est un excellent exemple de prototypage pour obtenir des réponses aussi rapides et directes que possible. À ce jour, aucun écran ne permet d’obtenir une résolution proche de celle de la rétine pour le champ de vision VR standard. L’équipe a donc utilisé des écrans LCD 3k et a limité le champ de vision à environ la moitié de celui de Quest 2 afin de porter la résolution à 55 ppd, soit deux fois et demie celle de Quest 2. Puis, l’équipe a développé un nouveau type de lentille hybride afin d’atteindre pleinement une résolution aussi élevée.
 
Le produit ne peut toutefois pas être commercialisé et expédié, car il est beaucoup trop lourd et encombrant, avec un champ de vision sous-dimensionné. Néanmoins, il a permis à Mark Zuckerberg d’expérimenter une résolution proche de celle de la rétine et de constater par lui-même la différence. C’est exactement le but des machines à voyager dans le temps conçues par DSR. En fait, après avoir essayé Butterscotch et reconnu que sa technologie de résolution rétinienne était essentielle pour l’avenir de la VR, Mark Zuckerberg a demandé à l’entreprise de revoir sa feuille de route en matière de résolution.
 
Il reste encore beaucoup de chemin à parcourir pour parvenir à une résolution VR proche de la réalité, mais Butterscotch se rapproche du but. Il permet également d’intégrer d’autres technologies de DSR dans des systèmes d’affichage à haute résolution. Par exemple, DSR élabore une variante à la mise au point variable de Butterscotch dont la résolution sera trois fois supérieure à celle du prototype Half Dome Zero. Avec une mise au point fixe, un flou se produit à l’écart du plan focal, ce qui est d’autant plus important que la résolution est élevée. Butterscotch à mise au point variable permettra d’évaluer tous les avantages de la mise au point variable en termes d’acuité visuelle à la limite de la vision humaine.

Éviter les distorsions optiques dans les casques de VR

La résolution de l’expérience visuelle en VR est importante, mais elle ne constitue qu’une pièce du puzzle. La qualité de l’image est tout aussi capitale. Pour plusieurs raisons techniques, aucune lentille de VR ne peut être totalement exempte de distorsions optiques. Certaines distorsions peuvent être corrigées en déformant l’image dans le logiciel. Il s’agit d’un élément crucial pour quasiment tous les casques de VR aujourd’hui. La clé d’une expérience visuelle exceptionnelle consiste à bien le réussir. Toutefois, le logiciel de correction des distorsions des casques de VR actuels ne fonctionne pas parfaitement ; la correction est statique, mais la distorsion de l’image virtuelle est dynamique et change en fonction de l’endroit où l’on regarde. Comme illustré ci-dessous, ce phénomène de distorsion de l’image, peut rendre la VR moins réelle, car tout bouge un peu lorsque l’œil se déplace. Cela prend davantage d’ampleur avec le système à mise au point variable, car l’image s’agrandit et se rétrécit légèrement lorsque la distance focale de l’affichage change.
Pour que le varifocal fonctionne de manière transparente, la distorsion optique, un problème courant dans la VR, doit être résolue au-delà de ce qui se fait actuellement dans les casques. La correction dans les casques d'aujourd'hui est statique, mais la distorsion de l'image virtuelle est dynamique, changeant selon l'endroit où l'on regarde. Ce phénomène, connu sous le nom de nage de la pupille, peut rendre la VR moins réelle car tout bouge un peu lorsque l'œil bouge.
L’équipe a très vite compris l’importance d’une correction précise de la distorsion de la mise au point variable, grâce à une erreur dans l’étude de 2017 menée auprès des utilisateurs du Half Dome Zero, qui a accidentellement désactivé la correction de la distorsion de la mise au point variable. L’équipe a corrigé cette erreur et a appris par la même occasion que la technologie de mise au point variable ne présentait des avantages significatifs que si la correction de la distorsion des lentilles était appliquée correctement. Cela a mis en évidence l’importance d’une bonne correction de la distorsion. Au fur et à mesure que l’équipe approfondissait le sujet, il est rapidement apparu que les outils nécessaires n’étaient pas disponibles.
 
Le problème est que les études de distorsion sont très longues à mettre en place ; la fabrication des lentilles d’un casque personnalisé peut à elle seule prendre des semaines ou des mois, et ce n’est que le début du long processus de fabrication d’un écran de casque fonctionnel pouvant être utilisé pour les tests. DSR a compris qu’il fallait mener des études de distorsion à la vitesse d’un logiciel de conception optique plutôt qu’à celle d’un matériel de fabrication de lentilles, et a entrepris de résoudre ce problème.
Le simulateur de distorsion d'objectif VR de DSR émule des casques VR à l'aide d'un téléviseur 3D. Cela permet à l'équipe d'étudier rapidement de nouvelles conceptions optiques et des algorithmes de correction de distorsion de manière reproductible et fiable tout en éliminant le processus fastidieux d'itération sur les conceptions à l'aide de prototypes de casques complets.
Et l’équipe a réussi. Elle a réutilisé la technologie de la télévision 3D pour créer un simulateur de distorsion de lentille en VR qui peut induire des distorsions contrôlées avec précision. Cela lui permet d’étudier instantanément les algorithmes de correction de distorsion pour n’importe quelle conception de lentille. DSR présentera sa solution de prototypage rapide lors de la conférence annuelle SIGGRAPH en août.
 
Grâce à cette capacité unique de prototypage rapide, l’équipe a pu, pour la première fois, mener une étude auprès des utilisateurs afin d’examiner la correction de la distorsion par suivi oculaire. Contrairement au logiciel de correction des casques actuels, la correction dynamique de la distorsion utilise le suivi oculaire pour mettre à jour la correction rendue en tenant compte du mouvement des yeux. Cela permet de produire des images toujours stables que la correction statique actuelle ne peut pas produire.
 
Le prototypage rapide promet d’accélérer considérablement la recherche sur la distorsion et la correction des lentilles de VR de toutes sortes, ouvrant ainsi la voie à la réduction de la distorsion dans les futurs casques de VR.

Starburst : des casques à gamme dynamique élevée (HDR)

La résolution, la correction de la distorsion et la mise au point variable sont toutes des piliers essentiels de la réalité visuelle avancée, mais la gamme dynamique élevée (HDR) est la seule technologie qui a permis le plus souvent d’obtenir une sensation accrue de réalisme et de profondeur. Le terme HDR fait référence à la prise en charge de larges plages de luminosité, de contraste et de couleur. Il s’est récemment imposé dans le domaine de la télévision.
 
Les « nits » sont des unités qui décrivent la quantité de lumière émise par un objet. Les valeurs normales pour un environnement intérieur vont bien au-delà de 10 000 nits, comme indiqué ci-dessous. Jusqu’à récemment, un téléviseur standard avait une luminosité de quelques centaines de nits seulement. Toutefois, en 2013, des chercheurs de Dolby Labs ont mené une étude auprès des utilisateurs avec un affichage personnalisé qui atteignait un pic de 20 000 nits. L’étude a révélé que le point idéal pour une luminosité maximale se situait autour de 10 000 nits. Cette étude pionnière a incité l’industrie de la télévision à développer et à proposer des écrans HDR au cours des cinq dernières années, avec un grand succès.
La VR doit rattraper son retard à ce sujet. Quest 2 a une luminosité maximale d’environ 100 nits, et il ne sera pas facile d’aller bien au-delà compte tenu des contraintes de puissance, de température et de taille des casques de VR. Comme Mark Zuckerberg l’expliquait dans un entretien l’année dernière, « le défi le plus ardu en termes d’affichage et d’obtention d’une image très vive [relève] probablement du problème d’[HDR]. Les téléviseurs se sont un peu améliorés en matière d’HDR récemment. Mais la vivacité ... des écrans que nous avons comparée à ce que votre œil voit dans le monde réel [est] juste un ordre de grandeur. » Les écrans LCD et les lentilles utilisés dans les casques de VR modernes offrent un contraste inférieur à celui des écrans de télévision, ce qui réduit encore plus le réalisme. En outre, l’augmentation de la luminosité tend à amplifier le problème, car les couleurs plus sombres, notamment le noir, ne sont pas très vives. Enfin, les écrans actuels ne peuvent afficher qu’un sous-ensemble de la gamme complète de couleurs que l’œil humain est capable de percevoir.
 
Les chercheurs de DSR élaborent un prototype de casque de VR en HDR. Selon Nathan Matsuda, chercheur au sein de l’équipe DSR, « notre dernière création, Starburst, est encombrante, lourde et fixe. Les utilisateurs doivent la tenir devant eux comme une paire de jumelles surdimensionnées. Ils font tout de même une expérience inédite : une démo capable de reproduire toute la gamme de luminosité généralement présente dans les environnements intérieurs ou nocturnes. »
Le prototype Starburst de DSR reconfigure les entrailles d'un casque Quest 2, en plaçant une lampe très brillante derrière les panneaux LCD. Cette "machine à voyager dans le temps" est l'un des écrans HDR les plus brillants jamais construits, atteignant une luminosité maximale de 20 000 nits, et c'est le premier casque 3D HDR dont DSR a connaissance, permettant à l'équipe d'étudier l'interaction entre le HDR et la perception de la profondeur 3D.
Rien ne remplace l’expérience directe d’HDR avec vos propres yeux. DSR fera la démo de Starburst à SIGGRAPH en août. En attendant, DSR suit son modèle habituel en élaborant des casques HDR améliorés pouvant servir dans le cadre des études auprès des utilisateurs. Le chemin vers de véritables écrans de VR HDR est long, mais DSR a sauté le pas et communiquera ses avancées au fur et à mesure.
 

Passer à l’étape suivante

Après des années de démos et d’études auprès des utilisateurs, DSR est convaincu que la résolution rétinienne, la mise au point variable, la correction précise de la distorsion et l’HDR sont essentielles pour réussir le test visuel de Turing dans la VR. L’équipe a élaboré et validé des prototypes qui font progresser individuellement chacun de ces aspects du réalisme visuel. Mais la récompense ultime consiste à combiner tous ces éléments dans un seul casque compact, de manière fonctionnelle, et cela porte le défi à 11.
 
Le problème est que les casques de VR doivent être compacts, légers et élégants, et que le matériel supplémentaire nécessaire pour mettre en œuvre les technologies de DSR va à l’encontre de cet objectif. Doug Lanman observe : « Après près de sept ans de développement de casques à mise au point variable hautes performances, nos ingénieurs en mécanique ont constamment remarqué que tout système de mise au point variable convaincant (au moins celui basé sur des lentilles ou des écrans à translation physique) ajoute environ 40 à 50 grammes. » Cela ne semble pas beaucoup ; ça correspond au poids de deux piles AA. Toutefois, ce poids supplémentaire signifie que les utilisateurs devront supporter un casque 10 % plus lourd que le Quest 2.
 
C’est là qu’intervient Andrew Maimone, chercheur au sein de l’équipe DSR. Ses recherches concentrent sur la réduction de la taille, du poids et de la puissance de la VR actuelle. « Bien que nos premiers prototypes nous aient permis d’en apprendre beaucoup, la réussite du test visuel de Turing avec des bancs d’essai volumineux, encombrants et expérimentaux n’est qu’une première étape pour proposer un jour ces technologies de façon élégante et légère que vous voudrez utiliser au quotidien », explique Andrew Maimone. « C’est pourquoi nous construisons également des prototypes architecturaux qui explorent la manière dont nous pouvons condenser tous ces éléments en un produit commercialisable qui peut être expédié. »

Holocake : jusqu’où peut-on aller ?

Andrew Maimone a dirigé le développement de l’un des prototypes architecturaux que Mark Zuckerberg et Andrew Bosworth ont découvert à Redmond à l’automne dernier. Il s’agit d’un casque super compact appelé Holocake 2.
Holocake 2 est conçu pour tester les performances optiques des lentilles pancake holographiques dans un casque entièrement fonctionnel et connecté à un PC.
L’Holocake 2 dispose d’un optique compacte et holographique. Cette approche a déjà été abordée dans notre publication sur le casque Holocake en 2020. Ce prototype est le casque de VR le plus fin et le plus léger jamais élaboré. L’Holocake original ressemblait à une paire de lunettes de soleil, mais il était dépourvu des principaux composants mécaniques et électriques, et avait des performances optiques nettement inférieures à celles des casques de VR grand public actuels. À l’inverse, l’Holocake 2 est un casque entièrement fonctionnel, relié à un PC et capable de faire fonctionner n’importe quel titre de VR pour PC existant.
 
Pour comprendre comment l’Holocake 2 parvient à être ultra-compact, il faut revenir sur la fabrication des écrans de VR. Les écrans de VR actuels reposent sur une source lumineuse, un panneau d’affichage qui forme des images en atténuant ou en accentuant la lumière, et une lentille qui concentre la lumière de l’écran dans l’œil. En général, la lentille doit se trouver à quelques centimètres de l’affichage afin d’avoir une puissance de focalisation suffisante pour diriger la lumière vers l’œil.
Les lentilles Holocake réduisent l'épaisseur et le poids avec un pliage optique basé sur la polarisation qui réfléchit la lumière à l'intérieur de la lentille, similaire aux lentilles pancake émergentes ; et avec des films holographiques remplaçant les lentilles réfractives plus volumineuses des lentilles crêpes et des conceptions réfractives conventionnelles, comme Quest 2. Avec les deux, la lumière d'un écran plat est focalisée sur l'œil; seul le facteur de forme varie.
Mais, comme illustré ci-dessus, il est possible de placer la lentille beaucoup plus près de l’affichage, ce qui réduit considérablement la taille du casque. L’Holocake 2 combine deux technologies pour y parvenir. Tout d’abord, le prototype remplace la lentille par une optique holographique qui courbe les rayons lumineux comme une lentille, mais qui a la forme d’une fine plaque de verre transparente. De plus, il met en œuvre un pliage optique basé sur la polarisation (imitant une lentille compacte, mais avec la petite taille d’une optique holographique) pour raccourcir considérablement le trajet de la lumière de l’écran à l’œil.
 
Cela semble un moyen presque magique de réduire la taille et le poids. Mais alors quel est le piège ? Le piège principal concerne la source de lumière : les casques Holocake nécessitent des lasers spécialisés, plutôt que les LED utilisées dans les produits de VR existants. Selon Andrew Maimone, « les lasers n’ont pas si hors du commun aujourd’hui, mais on ne les trouve pas dans beaucoup de produits de grande consommation qui répondent à nos critères de performances, de taille et de prix. Nous devrons donc faire beaucoup d’efforts d’ingénierie pour parvenir à un laser commercialisable qui réponde à nos spécifications, qui soit sûr, peu coûteux et efficace, et qui puisse tenir dans un casque de VR fin. »
 
À ce jour, l’équipe n’a pas encore tranché sur les sources laser appropriées, mais si cela s’avère faisable, les affichages en VR ressembleront aux lunettes de soleil.

Mirror Lake : rassembler toutes les pièces du puzzle

 
Les multiples pistes de recherche de l’équipe DSR découlent toutes d’une philosophie de base. Comme l’indique Doug Lanman : « Notre équipe s’appelle Display Systems Research, car nous savions que toutes les démos et études menées auprès des utilisateurs dans le monde ne serviraient à rien si nous ne développions pas des architectures convaincantes et pratiques au fur et à mesure. C’est là le cœur du travail de DSR : la recherche constante d’une solution afin de comprendre comment tout peut s’assembler pour créer une expérience visuelle de nouvelle génération qui est en passe de réussir le test visuel de Turing. Pas d’une façon selon laquelle on aurait tout envisagé, mais d’une manière qui apporte une véritable valeur ajoutée aux utilisateurs. »
 
L’Holocake 2 est un produit qui découle de cette philosophie et va encore s’améliorer. Aujourd’hui, nous vous dévoilons un système d’affichage encore plus performant : Mirror Lake. Il s’agit d’un concept semblable à des lunettes de ski. Il est dérivé de l’architecture de base de l’Holocake 2 et ajoute presque tout ce que l’équipe a développé au cours des sept dernières années.
Mirror Lake est une conception conceptuelle avec un facteur de forme semblable à un masque de ski qui intègre presque toutes les technologies visuelles avancées que DSR a incubées au cours des sept dernières années, y compris la focale variable et le suivi des yeux, dans une forme compacte, légère et économe en énergie. facteur. Il montre à quoi pourrait ressembler un système d'affichage complet de nouvelle génération.
Mirror Lake illustre les possibilités qu’offre l’architecture d’Holocake, avec ses surfaces extérieures planes. Par exemple, les modules fins de mise au point variable électroniques issus de Half Dome 3 peuvent être ajoutés afin de résoudre le conflit de vergence-accomodation sans alourdir le casque. Et au lieu d’ajouter des verres correcteurs encombrants, la correction individuelle de la vue se fait simplement en fixant une autre lentille fine à l’avant du casque, ou même en intégrant la correction de l’utilisateur directement à l’hologramme utilisé dans la lentille principale de l’Holocake. Il y a aussi une paire de caméras frontales nichées dans les tempes qui permettent d’utiliser une caméra réelle alimentée par le machine learning. DSR présentera ce travail lors de la conférence SIGGRAPH.
 
Le suivi oculaire est devenu un élément essentiel pour réussir le test visuel de Turing, car il est nécessaire pour la correction des distorsions dynamiques et pour la mise au point variable. L’architecture de Mirror Lake inaugure une nouvelle approche, en utilisant des films holographiques pour rediriger la lumière des yeux vers une paire de caméras montées dans la sangle du casque. Cette approche inédite permet également le suivi oculaire à plusieurs vues, ce qui améliore considérablement la précision.
 
Grâce à l’holographie, tout est fin et plat. Les modules de mise au point variable sont plats, de même que tous les films holographiques utilisés pour l’Holocake, la correction et le suivi oculaire. Les technologies fines et plates sont faciles à ajouter. Cela a été mis en évidence grâce à l’invention récente des affichages de caméra réelle réversible. L’équipe a compris que ces derniers pouvaient être intégrés à la conception de Mirror Lake en plaçant simplement un autre écran plat 3D dans la pile optique.
 
Le concept de Mirror Lake est prometteur, mais il ne s’agit pour l’instant que d’un concept. En effet, aucun casque entièrement fonctionnel n’a encore été fabriqué afin de prouver son architecture de manière concluante. Mais si ce projet se concrétise, il changera la donne en matière d’expérience visuelle en VR.

Le long chemin à parcourir pour réussir le test visuel de Turing

 
Même si Mirror Lake peut potentiellement changer la donne, ce n’est qu’une étape supplémentaire sur le long chemin qui mène à la réussite du test visuel de Turing. Le développement de la technologie nécessaire pour réussir ce test et sa transposition en casques qui répondront aux besoins de millions de personnes prendront plusieurs années. De nombreuses embûches sont à prévoir en cours de route, et il faudra apprendre et comprendre beaucoup de nouvelles choses. L’équipe DSR est bien consciente de ce défi et a pour mission d’aboutir à un véritable réalisme visuel. Les efforts déployés jusqu’à présent ont convaincu l’équipe et Mark Zuckerberg que cet objectif est à portée de main.
 
Comme l’a déjà indiqué Mark Zuckerberg, « d’ici dix ans, nous souhaitons évidemment que le [casque] devienne plus petit. L’idéal est de parvenir à un équivalent d’un écran Retina Display pour la VR... [Il est également nécessaire de créer] une sorte de lentille liquide ou de lentille à mouvement mécanique, soit quelque chose qui peut projeter des images à différentes distances... Il ne faut pas non plus renoncer à la vivacité de ce que nos yeux voient vraiment en termes de contraste et de luminosité des couleurs si tout est juste légèrement plus terne dans la VR. » Ce cadre de travail concernant l’importance de la résolution rétinienne, de la mise au point variable et de l’HDR est le résultat d’années de travail avec l’équipe DSR pour investir dans ces technologies, en constater les avantages et concrétiser chacune d’entre elles.
 
Doug Lanman aura le dernier mot : « Les lasers pourraient finalement s’avérer inutiles pour la VR, du moins sous la forme requise pour l’Holocake. Et, dans ce cas, Mirror Lake deviendrait obsolète. Tel est le défi que représente l’invention de nouveaux systèmes d’affichage reposant sur des technologies émergentes. Mais la meilleure façon d’y parvenir consiste à explorer plusieurs pistes. Mirror Lake n’est qu’une des pistes de recherche envisagées par DSR. Quoi qu’il en soit, quelle que soit la piste retenue, notre équipe est certaine que la réussite du test visuel de Turing constitue notre objectif, et que rien dans la physique ne nous empêchera d’y parvenir. Au cours des sept dernières années, nous avons entrevu cet avenir et nous restons pleinement engagés à chercher un moyen pratique de créer un métavers réaliste d’un point de vue visuel. »

Latest Stories

To help personalize content, tailor and measure ads, and provide a safer experience, we use cookies. By clicking or navigating the site, you agree to allow our collection of information on and off Facebook through cookies. Learn more, including about available controls: Cookies Policy