Skip to Content

Superamento del test di Turing visivo: la storia dettagliata del nostro impegno per portare il realismo visivo in VR

A novembre 2020, il CEO di Meta Mark Zuckerberg ha inviato un'e-mail al CTO Andrew "Boz" Bosworth e al Reality Labs Chief Scientist Michael Abrash ponendo loro una domanda molto diretta: "Cosa ci impedisce di creare una VR praticamente indistinguibile dalla realtà e cosa possiamo fare per risolvere il problema e raggiungere questo obiettivo?"

Recommended Reading

Si trattava della più recente di una serie di conversazioni dettagliate intercorse negli anni tra Zuckerberg e Abrash sullo sviluppo di sistemi display avanzati per la realtà virtuale (VR). Tutto è partito da una visita nel 2015 a una promettente azienda di realtà aumentata (AR) per proseguire nel corso degli anni con frequenti scambi e-mail, discussioni dirette, analisi delle tecnologie e diverse demo a Redmond e Menlo Park.
 
La risposta poteva assumere la forma di una qualche congettura creativa, invece non è andata affatto così. Nei cinque anni precedenti, il team Display Systems Research (DSR) di Reality Labs, guidato da Douglas Lanman, aveva infatti condotto ricerche approfondite su tutte le tecnologie necessarie per rispondere alla domanda di Zuckerberg. E si trattava proprio della domanda giusta al momento giusto per definire e tracciare la visione del team DSR per i display VR per il decennio successivo: il superamento del test di Turing visivo.
 

Il santo Graal delle ricerche sui display

 
Il test di Turing è stato ideato da Alan Turing nel 1950 per valutare se un computer sia in grado di sostituire un essere umano. In modo analogo, il test di Turing visivo, espressione adottata e resa popolare dal team DSR insieme ad altre equipe accademiche autorevoli, valuta se ciò che viene visualizzato in un visore VR sia distinguibile dal mondo reale. Si tratta di un test soggettivo, che nessuna tecnologia VR è in grado di superare al momento. Anche se la VR crea già un senso di presenza, facendo credere agli utenti di trovarsi in luoghi virtuali in un modo davvero convincente, non ha ancora raggiunto i livelli in cui una persona si chieda se ciò che sta visualizzando è vero o virtuale.
 
La domanda di Zuckerberg ha spinto Lanman a scrivere a dicembre 2020 una comunicazione interna particolarmente popolare dal titolo "Passing the visual Turing test" (Superamento del test di Turing visivo). In questo documento, Lanman ha definito una roadmap per raggiungere l'obiettivo in questione, un obiettivo che, se centrato, aprirà una nuova serie di funzionalità VR, da ambienti di lavoro virtuali che rendono lo smart working produttivo quanto, se non più, del lavoro in un ufficio reale a interazioni sociali virtuali che fanno sentire di trovarsi davvero con altre persone, arrivando al turismo virtuale e a tutto ciò che si fa oggi nel mondo reale. Lo smart working, fornito dalla VR, consentirebbe a molte più persone di vivere dove vogliono anziché spostarsi sulla base del lavoro. Ciò creerebbe nuove opportunità per le persone, il cui accesso a un'ampia gamma di offerte di lavoro non sarebbe più limitato in base alla posizione geografica, e per le aziende, che potrebbero cercare i candidati tra un pool di talenti globale più ampio. Ma gli effetti rivoluzionari andrebbero ben oltre la produttività. La VR, insieme all'AR, ha il potenziale di cambiare il mondo come è successo con l'arrivo dei computer personali, o anche di più, e le esperienze visive indistinguibili dalla realtà avranno un ruolo importante in questo senso.
 
Nel post "Inside the Lab" di oggi, approfondiremo come il team DSR ha lavorato per sviluppare lo stack tecnologico display, insieme al progetto Codec Avatars, a un senso di tocco realistico, all'audio spaziale e molto altro. Tutto questo contribuirà a far sembrare il metaverso del futuro davvero reale, superando la sfida del test di Turing visivo nell'intera gamma di esperienze virtuali. Esamineremo le tecnologie di base che sta sviluppando il team DSR, parleremo dell'approccio alla prototipazione che rende possibili i progressi del team e condivideremo i risultati del primo studio percettivo che ha catalizzato gran parte delle ricerche del team. Infine, condivideremo i dettagli su molti dei prototipi del team DSR e sveleremo Mirror Lake, un progetto di prototipo che integra il lavoro del team in diverse aree di ricerca in un visore di nuova generazione con un fattore di forma leggero e comodo.
 
È la storia di una ricerca scientifica, della nascita di un'idea di ricerca che è diventato un programma a tutti gli effetti con buone possibilità di cambiare in futuro il modo in cui lavoriamo, giochiamo e comunichiamo. Questa storia ha inizio con una sfida.

La sfida

 
La sfida che il team DSR deve affrontare per raggiungere il realismo visivo è facile da riassumere: la tecnologia necessaria per superare il test di Turing visivo, soprattutto in un visore consumer, non esiste ancora. Anche se Quest e Quest 2 creano esperienze visive 3D coinvolgenti, non riescono a competere con le esperienze reali. Il limite ovvio attuale è la risoluzione, ma non è di certo l'unico né il più semplice. La VR presenta tanti nuovi problemi che semplicemente non esistono nei display 2D di oggi, ad esempio il conflitto tra convergenza e accomodazione, l'aberrazione cromatica, il parallasse oculare e la rotazione della pupilla. Di conseguenza, gli ostacoli da superare sono tanti così come le ricerche da fare e gli studi sugli utenti da condurre prima di avvicinarci a un'esperienza visiva VR completamente realistica. Le innovazioni necessarie per colmare il divario rientrano in diverse categorie.
 
Uno dei primi problemi è la risoluzione. I visori VR hanno infatti campi visivi molto più ampi del più grande dei monitor, pertanto tutti i pixel disponibili devono essere applicati su un'area molto più vasta rispetto a una display 2D, con una conseguente risoluzione più bassa per il numero di pixel. Ad esempio, una vista di 10/10 nel campo visivo umano richiederebbe circa 13 000 pixel orizzontali, un valore molto maggiore rispetto a qualsiasi display consumer (in realtà si tratta di un valore eccessivo perché l'occhio umano non ha la capacità di percepire una risoluzione tanto alta nell'intero campo visivo, ma la portata della sfida non cambia). Inoltre, non servono solo molti più pixel ma anche una qualità maggiore degli stessi. I visori VR attuali hanno sostanzialmente luminosità e contrasto minori rispetto a computer portatili, TV e cellulari. Di conseguenza, la VR non può ancora raggiungere il livello di dettaglio e rappresentazione accurata alla quale siamo abituati con i display 2D.
 
Inoltre, le lenti usate nei display VR attuali spesso distorcono l'immagine virtuale, riducendone il realismo a meno che la distorsione non sia totalmente corretta nel software, un'impresa non facile dato che la distorsione varia in base a come si muove l'occhio per guardare in direzioni diverse. Oltre a questo, anche se non rientra nella questione del realismo, può essere difficile usare i visori per un tempo prolungato perché la distorsione, nonché il peso del dispositivo possono causare malessere e affaticamento temporanei. Un altro elemento chiave, che potrebbe essere considerato parte della risoluzione ma è così rilevante da rientrare in una sua categoria, è la capacità di mettere a fuoco correttamente a qualsiasi distanza. Spiegheremo e approfondiremo questo aspetto a breve, perché è alla base della storia che stiamo raccontando.
 
Per risolvere tutti i problemi riportati sopra, Zuckerberg e Lanman ritengono che il superamento del test di Turing visivo richiede lo sviluppo di un nuovo stack tecnologico che includa i seguenti componenti:
 
  • Una tecnologia "varifocale" che fornisca una profondità focale corretta (rispetto a un focus singolo fisso), permettendo una visione più chiara e confortevole a distanza di un braccio per intervalli di tempo estesi
  • Una risoluzione che si avvicini e infine superi la normale vista umana di 10/10
  • Una correzione delle distorsioni che risolva le aberrazioni ottiche, come l'aberrazione cromatica attorno agli oggetti e la deformazione delle immagini, che possono essere introdotte dai sistemi ottici
  • Una tecnologia HDR (High Dynamic Range, intervallo dinamico ampio) che estenda la gamma di colori, la luminosità e il contrasto disponibili in VR
 
Lo sviluppo di tutte queste funzionalità è necessario (e difficile), ma non basta. Tutto va in fin dei conti inserito in un visore più confortevole adatto all'uso da parte dei consumatori. Ciò significa che il team DSR non deve solo fare progressi in termini di tecnologia su diversi assi, ma anche sviluppare sistemi display completi molto superiori rispetto a quelli esistenti. Questo porta la sfida a un altro livello. Ma è una sfida che il team DSR è pronto a cogliere e che secondo Zuckerberg è essenziale risolvere per creare la prossima generazione di VR.
 
Lanman ha denotato la complessità del compito: "Progettare e sviluppare visori che integrino un insieme di tecnologie è un lavoro lungo e complesso perché nei display dei visori tutti i sistemi tecnici sono interconnessi. È una lotta per raggiungere le stesse dimensioni, peso, potenza e budget, nonché adattare il tutto affinché rientri in un fattore di forma compatto e indossabile". Non si tratta semplicemente di non superare un budget ridotto per le diverse tecnologie: ogni elemento dello stack deve essere compatibile con tutti gli altri. Ad esempio, alcune tecnologie di tracking degli occhi devono essere associate a specifici tipi di lenti del display per funzionare correttamente.
 
Il team DSR ha affrontato la questione in maniera diretta con una serie di prototipi, da singole tecnologie a interi sistemi, che tracciano e spingono i limiti della progettazione dei display VR, seguiti da studi sugli utenti condotti su questi prototipi per valutare i progressi verso il superamento del test di Turing visivo. Il risultato tangibile è in esposizione presso RL Research di Redmond: un'intera parete di prototipi che insieme esplorano un'ampia gamma di tecnologie per i display VR di prossima generazione. È la prova vivente dell'impegno del team DSR per raggiungere il realismo visivo.
Negli ultimi sette anni, il team di Lanman ha costruito oltre due dozzine di visori per la ricerca AR/VR completamente funzionanti, ciascuno orientato allo sblocco di nuove demo e studi sugli utenti.
Nel resto di questo post, ripercorreremo questa storia dall'inizio fino ai giorni nostri. Esamineremo ognuno dei quattro assi tecnologici principali, uno alla volta, fornendo anche un aggiornamento sul programma varifocale a lungo termine di cui abbiamo parlato più volte negli anni. Parleremo anche di due architetture di sistemi display recenti del team DSR: Holocake 2, che per quanto ne sappiamo ha i sistemi ottici più compatti di qualsiasi visore VR Quest di seconda classe ed è il primo visore con ottica olografica, e Mirror Lake, un'architettura pensata per le future generazioni dell'esperienza visiva in VR.
 
Torniamo indietro al 2015, quando è iniziato tutto.
 

La tecnologia varifocale e l'inaspettato ruolo delle mani

 
Nel 2015 il team appena formato di Lanman era nel suo primo anno di analisi delle tecnologie display potenzialmente papabili per superare il test di Turing visivo. Allo stesso tempo, Meta (allora noto come Facebook) stava lanciando Oculus Rift, presto seguito da un nuovo metodo di interazione: i controller Touch, che fanno percepire la presenza delle mani in VR.
 
Lanman era certo che un giorno il team RL sarebbe andato oltre il touch per fornire la tecnologia di tracking delle mani allora in sviluppo. E non si sbagliava: nel 2020 abbiamo aggiunto le Mani su Quest. Quell'idea ha portato Lanman a un'intuizione fondamentale.
Varifocal è una tecnologia che prevede la regolazione della messa a fuoco del display in base a ciò che stai guardando. In questo filmato attraverso l'obiettivo, puoi vedere la differenza che fa, in particolare quando ti focalizzi sugli oggetti vicini.
Ovvero la necessità di concentrarsi sulle mani per utilizzarle in modo più efficace. Sembra scontato e banale, dato che è esattamente ciò che facciamo nella realtà, ma è uno di quei casi in cui le regole cambiano in VR. Nel mondo reale, modifichiamo continuamente la forma del cristallino nei nostri occhi per mettere a fuoco ciò che stiamo guardando in base alla distanza, percependo correttamente la luce proveniente da tale distanza. Al contrario, nei visori VR attuali i sistemi ottici hanno un focus fisso, in genere a 1,5 o 2 metri. Ciò significa che anche se non ne siamo consapevoli, la luce proviene di fatto dalla stessa distanza in VR, a prescindere da ciò che stiamo guardando, quindi si tratta di un nuovo sistema per i nostri sistemi visivi. I segnali contraddittori ricevuti in VR tra la distanza simulata di un oggetto 3D virtuale e la distanza focale, che è fissa a circa 1,5 o 2 metri nei visori attuali, può provocare un conflitto tra convergenza e accomodazione. Questo fenomeno è ben noto nel campo della VR e può comportare affaticamento temporaneo e visione sfocata, oltre a essere una fonte di malessere che si prova quando si passano intervalli di tempo estesi in VR. "Gli occhi provano a mettere a fuoco senza riuscirci", ha detto Zuckerberg lo scorso anno quando ha spiegato i vantaggi della tecnologia varifocale, "perché [il display] proietta [a] un'unica distanza".
 
Un modo per risolvere il conflitto tra convergenza e accomodazione consiste nel regolare in modo dinamico la profondità focale in VR affinché corrisponda alla distanza dell'oggetto interessato. Ciò consentirebbe ai nostri occhi di mettere a fuoco alla distanza giusta. Un metodo potenziale per farlo, conosciuto come "varifocale", è spostare le lenti quando l'utente cambia ciò che sta guardando. Per testare questa teoria, nel 2016 il team DSR ha creato un primo prototipo voluminoso, mostrato di seguito. I prototipi di questo tipo, ben lontani dall'essere pronti per i consumatori e progettati con lo scopo di provare ciò che potrebbe essere possibile con anni di ricerca e sviluppo, sono noti come "macchine del tempo". Queste macchine del tempo sono parte integrante dell'approccio del team DSR all'esplorazione della progettazione di tecnologie visive VR del futuro.
Il primo prototipo varifocale completo di DSR, creato nel 2016, integrava tutti i componenti necessari per un'esperienza avvincente: messa a fuoco variabile, robusto eye tracking, correzione della distorsione in tempo reale che si aggiornava con i cambiamenti nella messa a fuoco del display e sfocatura resa che aumentava lontano dal piano focale , come nel mondo reale. La demo del 2016 ha utilizzato un prototipo di controller Touch per consentire ai membri del laboratorio di valutare direttamente i vantaggi dell'acuità visiva per gli oggetti a distanza di un braccio.

Uno studio sugli utenti primo nel suo genere e l'evoluzione di Half Dome

 
L'obiettivo della visita di Zuckerberg a RL Research nel 2017 era vedere una vasta gamma di prototipi e decidere le direzioni che l'azienda doveva prendere in termini di tecnologia. La prima demo VR che ha provato quel giorno era uno dei nostri primi tentativi di creare una tecnologia varifocale, un azzardo che, come Zuckerberg ha subito convenuto, migliorava la nitidezza degli oggetti vicini. Questo e altri prototipi iniziali hanno mostrato che il principio alla base della tecnologia varifocale poteva funzionare e forniva soggettivamente esperienze visive più nitide. Tuttavia, i risultati iniziali, seppure promettenti, non avevano un reale valore scientifico e il team non aveva prove conclusive che la versione varifocale poteva risolvere il conflitto tra convergenza e accomodazione e migliorare acuità e comfort.
 
Marina Zannoli, allora Vision Scientist nel team DSR, ha preso la situazione in mano per trovare la risposta conducendo uno studio sugli utenti in relazione alla tecnologia varifocale. Ha iniziato proponendo al team una sfida tecnica difficile: creare un nuovo visore molto più vicino al peso e al fattore di forma di un Oculus Rift per evitare che lo studio fosse pregiudicato dal malessere generale derivante dall'indossare un prototipo voluminoso. Significava ridurre la massa di quattro volte rispetto al visore esistente di 2,45 kg del team e di migliorare allo stesso tempo il dispositivo per eliminare il rumore e le vibrazioni generati dal sistema varifocale.
 
Nove mesi dopo, il team ha creato Half Dome Zero, un prototipo di ricerca di 680 grammi completamente compatibile con tutti i giochi VR disponibili su Rift in quel momento, ma con la capacità aggiuntiva di fornire una profondità focale corretta nei giochi tramite la tecnologia varifocale. Anche se era un pochino più pesante del Rift da 470 grammi, Zannoli riteneva che questo nuovo visore fosse abbastanza leggero da fornire insight significativi sulle preferenze degli utenti e sui veri vantaggi della tecnologia varifocale.
 
A questo punto, Zannoli doveva decidere come testare tali presunti vantaggi, ad esempio se migliorava la nitidezza degli oggetti vicini, se aiutava le persone a percepire le scene 3D più velocemente, se aumentava il comfort visivo e, soprattutto, se le persone lo preferivano effettivamente.
 
Zannoli ha deciso di optare per un approccio al problema abbastanza diverso da quello della scienza della visione standard di usare stimoli limitati come grafici oculari. Ha scelto di basare lo studio su esperienze VR dettagliate, collaborando con un team di artisti tecnici per sviluppare un'applicazione demo personalizzata, basata sulla tecnologia dei videogiochi, che incoraggiava i partecipanti a trascorrere la maggior parte del tempo a osservare oggetti vicini, una cosa che è sconsigliata agli sviluppatori VR al momento per via dei noti limiti del focus fisso della VR.
Lo studio sugli utenti di Half Dome Zero, condotto nel 2017, prevedeva di trascorrere 30 minuti in VR, distribuiti su tre esperienze: una versione modificata di First Contact che prevedeva l'interazione con oggetti vicini, una scena modificata di Dreamdeck in cui i partecipanti dovevano cercare un piccolo simbolo e un'attività che prevedeva l'osservazione di stereogrammi di punti casuali e la valutazione della velocità con cui i partecipanti potevano comprendere i modelli 3D nella scena (nota: i modelli sono visibili solo in VR).
Armata di un visore idoneo e di un protocollo progettato nei minimi dettagli, Zannoli ha coinvolto 63 partecipanti che hanno completato una prova di due giorni per valutare il sistema varifocale del team rispetto alla VR con focus fisso. Un giorno il sistema varifocale era completamente abilitato su Half Dome Zero, mentre l'altro il visore funzionava nella modalità focus fisso, lo standard degli attuali visori VR. Ai partecipanti è stato chiesto di valutare in modo personale una varietà di preferenze completando una serie di questionari.
 
I risultati dello studio sono stati più positivi di quanto il team aveva ipotizzato inizialmente. Zannoli li ha riassunti così: "Ciò che abbiamo scoperto quando abbiamo esaminato i risultati è che quando hanno usato la tecnologia varifocale, gli utenti hanno trovato ogni aspetto più confortevole. Hanno riportato meno affaticamento, nausea e visione sfocata e sono riusciti a identificare i piccoli oggetti meglio, hanno trovato più facile leggere i testi e hanno reagito più velocemente all'ambiente visivo". L'aspetto più promettente è stato che la maggior parte dei partecipanti ha preferito il sistema varifocale alla VR con focus fisso, un risultato davvero sorprendente dato che Half Dome Zero era un prototipo iniziale con tracking degli occhi e software di correzione delle distorsioni non ancora perfetti.
Per l'estate del 2017, il team DSR ha avuto una prova definitiva della capacità della tecnologia varifocale di determinare una serie di vantaggi in termini di prestazioni e comfort in VR. Inoltre, studi contemporanei condotti da Inria and UC Berkeley e Stanford hanno supportato questa conclusione. Ora il team aveva la certezza che risolvere la moltitudine di sfide tecniche rimaste, come tracking degli occhi, grafica digitale, progettazione ottica, sistemi di controllo e peso, era una priorità assoluta. Così nel corso dei cinque anni successivi, ha sviluppato una serie di prototipi che hanno portato oltre i limiti la tecnologia varifocale.
Half Dome Zero è stato utilizzato nello studio del 2017. Con Half Dome 1, il team ha esteso il campo visivo a 140 gradi. Half Dome 2 incentrato su ergonomia e comfort, con un taglio di 200 grammi. Half Dome 3 ha introdotto il varifocale elettronico, riducendo ulteriormente le dimensioni e il peso del casco.

Oltre il varifocale: risoluzione retinica, display liberi da distorsioni e HDR

 
"La serie Half Dome è stata un punto di svolta per il nostro team", ha detto Lanman. "Ci ha aiutato a far avanzare lo stato dell'arte della tecnologia varifocale e ci ha anche fornito un modello per gli altri programmi di ricerca sui display". Dopo Half Dome, il team DSR ha iniziato a portare avanti tutte le altre iniziative di ricerca seguendo lo stesso percorso, un processo che comincia dalla definizione di requisiti tecnici e ipotesi per continuare con lo sviluppo di macchine del tempo di grandi dimensioni in fase sperimentale, la creazione di prototipi iniziali e infine l'avvio di studi sugli utenti che generano dati chiave per creare il prototipo successivo.
 
"Abbiamo applicato in modo meticoloso questo approccio ad altri aspetti del test di Turing visivo", ha aggiunto Lanman, "soprattutto la risoluzione, le distorsioni ottiche e l'intervallo dinamico".
 
Approfondiamo queste aree e scopriamo in quale fase si trova il team DSR con ciascuna di esse nel percorso di ricerca.
 

Butterscotch: cos'è la "risoluzione retinica"

 
La "risoluzione retinica" è ormai da molto il punto di riferimento per i prodotti dotati di schermo. Anche se non esiste una definizione universalmente accettata, in genere si considera tale una risoluzione di circa 60 pixel per grado, sufficiente per rappresentare una riga da 10/10 su un grafico oculare. Anche se la maggior parte dei computer portatili, delle TV e dei cellulari ha superato da molto tempo questa soglia, la VR è indietro perché il suo campo visivo immersivo espande i pixel disponibili su un'area visiva molto più ampia. Ad esempio, i display di Quest 2 offrono una risoluzione di circa 20 pixel per grado.
Se un grafico oculare fosse presentato in VR, né Rift né Quest 2 potrebbero risolvere la linea più bassa, che rappresenta un'acuità visiva 20/20. Al contrario, il prototipo Butterscotch di DSR è progettato per soddisfare i tradizionali requisiti di risoluzione della retina e può rappresentare le caratteristiche più fini in una tabella degli occhi, come si può vedere da queste foto scattate attraverso l'obiettivo di ogni tipo di auricolare.
Ciò limita ovviamente la possibilità di presentare testi e altri dettagli di piccole dimensioni e può anche ridurre il realismo percepito. Alcuni ricercatori in Giappone hanno ad esempio mostrato che la sensazione di realismo aumenta gradualmente con l'aumentare della risoluzione delle immagini, fino a circa 120 pixel per grado, un valore ben superiore alla misura considerata come la risoluzione "retinica". Poiché il realismo visivo è alla base del test di Turing visivo, negli anni il team DSR ha sviluppato una serie di prototipi VR ad alta risoluzione progettati per provare il valore della risoluzione retinica in VR e per trovare soluzioni che consentano a visori funzionali di raggiungere quel livello.
 
Il valore di questa prototipazione è stato di sorpresa consolidato quando Zuckerberg e Bosworth hanno visitato RL Research lo scorso anno. Nel tragitto dall'aeroporto, Zuckerberg ha chiesto ad Abrash dei progressi del team sulla risoluzione retinica. Abrash ha risposto che poteva verificarlo da sé perché nelle prossime ore avrebbe provato Butterscotch, il più recente e avanzato dei prototipi sulla risoluzione retinica del team DSR.
DSR esegue regolarmente demo per Meta Management, fornendo informazioni sulle future tecnologie visive AR/VR. A sinistra: Mark Zuckerberg ha sperimentato per la prima volta il varifocale nel 2017 presso RL Research, utilizzando un primo prototipo di varifocale AR (chiaramente non ottimizzato per l'ergonomia). A destra: nel 2021, presso RL Research, Zuckerberg ha sperimentato l'ultimo prototipo di VR a risoluzione retinica di DSR.
Butterscotch rappresenta un ottimo esempio di prototipazione per ottenere risposte nel modo più veloce e diretto. Al momento non esistono pannelli che supportano una risoluzione che si avvicini a quella retinica per il campo visivo standard della VR, pertanto il team ha usato pannelli LCD 3k e ha limitato il campo visivo a circa metà di quello di Quest 2 per migliorare la risoluzione raggiungendo 55 pixel per grado, un valore due volte e mezzo superiore rispetto a quello di Quest 2. Il team ha poi sviluppato un nuovo tipo di lenti ibride per gestire appieno questa alta risoluzione.
 
Il risultato non si avvicina minimamente a una tecnologia commercializzabile, per via della pesantezza e delle dimensioni eccessive oltre al campo visivo sottodimensionato, ma ha permesso a Zuckerberg di provare una risoluzione vicina a quella retinica e di vedere da sé la differenza che fa, esattamente lo scopo per cui vengono ideate le macchine del tempo del team DSR. Dopo aver provato Butterscotch e comprovato l'importanza della risoluzione retinica per il futuro della VR, Zuckerberg ha coordinato una revisione della roadmap della risoluzione a livello aziendale.
 
C'è ancora molta strada da fare per raggiungere una risoluzione in VR che si avvicini alla realtà, ma Butterscotch rappresenta un passo avanti significativo nel percorso. Funge anche da base per integrare le tecnologie DSR in sistemi display ad alta risoluzione. Ad esempio, il team DSR sta sviluppando una variante varifocale di Butterscotch che offrirà una risoluzione oltre tre volte superiore a quella del prototipo Half Dome Zero. Con un focus fisso, la sfocatura si verifica lontano dal piano focale ed è più evidente con l'aumentare della risoluzione. Una variante varifocale di Butterscotch permetterà di valutare i vantaggi dell'acuità visiva totale della tecnologia varifocale vicino al limite della vista umana.
 

Eliminazione delle distorsioni ottiche nei visori VR

 
La risoluzione dell'esperienza visiva in VR è importante, ma è solo un tassello del puzzle. La qualità dell'immagine è altrettanto importante, ma per diversi motivi tecnici nessuna lente VR è in grado di eliminare del tutto le aberrazioni ottiche. È possibile correggerne alcune distorcendo l'immagine nel software: questo è un elemento cruciale praticamente di ogni visore VR oggi, quindi è fondamentale farlo in modo corretto per offrire esperienze visive ottimali. Tuttavia, il software di correzione delle distorsioni nei visori VR attuali non funziona alla perfezione. La correzione è statica, mentre la distorsione dell'immagine virtuale è dinamica: cambia a seconda del punto dal quale si guarda. Come mostrato di seguito, questo fenomeno, noto come rotazione della pupilla, può rendere la VR meno reale perché tutto si sposta un po' quando l'occhio si muove. Tale rotazione è ancora più rilevante con la tecnologia varifocale perché l'immagine si ingrandisce e si riduce leggermente quando cambia la distanza focale del display.
Affinché il varifocal funzioni senza problemi, la distorsione ottica, un problema comune nella realtà virtuale, deve essere ulteriormente affrontata oltre a ciò che viene fatto oggi con le cuffie. La correzione nelle cuffie odierne è statica, ma la distorsione dell'immagine virtuale è dinamica e cambia a seconda di dove si guarda. Questo fenomeno, noto come nuoto della pupilla, può far sembrare la realtà virtuale meno reale perché tutto si muove un po' quando l'occhio si muove.
Il team aveva colto appieno l'importanza di una correzione delle distorsioni adeguata nella tecnologia varifocale nelle primissime fasi, grazie a un errore nello studio sugli utenti del 2017 per Half Dome Zero a causa del quale la distorsione delle correzioni per la tecnologia varifocale era stata accidentalmente disattivata. Il team ha corretto l'errore e nel farlo ha capito che la tecnologia varifocale presentava vantaggi significativi solo se la correzione delle distorsioni delle lenti era applicata adeguatamente. Questo ha rimarcato l'importanza di eseguire la correzione delle distorsioni senza errori, ma quando il team ha approfondito questo aspetto, ha subito visto che mancavano ancora gli strumenti necessari per farlo.
 
Il problema era che la configurazione degli studi sulla distorsione richiede tantissimo tempo. Solo produrre le lenti in un visore personalizzato può richiedere settimane o mesi e si tratta solo del primo passo di un lungo processo per sviluppare un visore funzionale che è possibile usare per i test. Il team DSR ha capito che era necessario condurre studi sulla distorsione alla velocità di un software di progettazione ottica anziché dell'hardware di produzione delle lenti e si è prefissato così di risolvere il problema.
Il simulatore di distorsione dell'obiettivo VR di DSR emula le cuffie VR utilizzando una TV 3D. Ciò consente al team di studiare rapidamente nuovi progetti ottici e algoritmi di correzione della distorsione in modo ripetibile e affidabile, eliminando anche il lungo processo di iterazione sui progetti utilizzando prototipi di cuffie complete.
Ed è riuscito a farlo. Il team ha riutilizzato la tecnologia TV 3D per creare un simulatore delle distorsioni delle lenti VR in grado di generare distorsioni controllate, che consentono di studiare gli algoritmi di correzione delle distorsioni in modo istantaneo per qualsiasi tipo di lenti. Il team DSR presenterà questa soluzione di prototipazione rapida alla conferenza annuale SIGGRAPH che si svolgerà ad agosto.
 
Con questa soluzione di prototipazione rapida unica, il team è riuscito a condurre per la prima volta uno studio sugli utenti per analizzare la correzione delle distorsioni con tracking degli occhi. A differenza del software di correzione dei visori attuale, la correzione dinamica delle distorsioni usa il tracking degli occhi per aggiornare il rendering della correzione in base al movimento degli occhi. Questa tecnica ha il potenziale di generare immagini sempre stabili come non riesce a fare la correzione statica adottata attualmente.
 
La prototipazione rapida promette di accelerare infinitamente la ricerca relativa a distorsione delle lenti VR e correzione di ogni tipo, aprendo la strada a una distorsione minore nei visori VR futuri.
 

Starburst: anteprima dei visori HDR

 
La risoluzione, la correzione delle distorsioni e la tecnologia varifocale sono tutti pilastri chiave per una realtà visiva avanzata, ma l'HDR è l'unica tecnologia che è stata associata in modo più sistematico a una maggiore sensazione di realismo e profondità. L'HDR si riferisce alla capacità di supportare intervalli ampi di luminosità, contrasto e colore e di recente si è imposta nel contesto televisivo.
 
I "nit" sono le unità che descrivono quanto luce emette un oggetto. I valori standard di un ambiente interno vanno ben oltre i 10 000 nit, come mostrato di seguito. Fino a qualche tempo fa, una televisione standard aveva una luminosità di appena un centinaio di nit. Tuttavia, nel 2013 i ricercatori di Dolby Labs hanno condotto uno studio sugli utenti con display personalizzato che ha raggiunto un picco di 20 000 nit e hanno scoperto che il valore giusto per il picco di luminosità è di circa 10 000 nit. Questo studio pionieristico ha ispirato l'industria televisiva a sviluppare e introdurre con grande successo schermi HDR negli ultimi 5 anni.
La VR deve ancora fare questo salto. Quest 2 ha un picco di luminosità di circa 100 nit e andare oltre non sarà facile per via dei limiti di potenza, termici e del fattore di forma dei visori VR. Come ha spiegato Zuckerberg in un'intervista dello scorso anno, "probabilmente la sfida più difficile in termini di display e capacità di renderlo davvero vivido [è] il problema [dell'HDR]. Le TV hanno fatto qualche passo avanti di recente in relazione all'HDR. Ma la vividezza... degli schermi che abbiamo confrontato con ciò che vede l'occhio nel mondo reale [è] inferiore di un ordine di grandezza o poco più". I pannelli LCD e le lenti usati nei visori VR moderni hanno un contrasto minore degli schermi TV e questo ne riduce ancora di più il realismo. Aumentare la luminosità tende ad amplificare il problema, eliminando i colori più scuri, soprattutto il nero. Infine, i display attuali possono mostrare solo un sottoinsieme dell'intera scala di colori che l'occhio umano è capace di percepire.
 
I ricercatori del team DSR stanno sviluppando un prototipo di visore VR con tecnologia HDR. "Il nostro ultimo prototipo, Starbust, è voluminoso, pesante e basato sul tethering", ha detto Nathan Matsuda, Research Scientist del team DSR, "e le persone devono reggerlo sul viso come un binocolo di dimensioni eccessive. Ma quando lo fanno, vivono un'esperienza che nessuno ha mai provato prima: una demo che può riprodurre l'intero intervallo di luminosità che in genere si riscontra negli ambienti interni o di notte".
Il prototipo Starburst di DSR riconfigura le viscere di un visore Quest 2, posizionando una lampada molto luminosa dietro i pannelli LCD. Questa "macchina del tempo" è uno dei display HDR più luminosi mai costruiti, raggiungendo una luminosità massima di 20.000 nits, ed è il primo visore 3D HDR di cui DSR è a conoscenza, consentendo al team di studiare l'interazione tra HDR e percezione della profondità 3D.
Non esiste nient'altro che permetta di sperimentare direttamente la tecnologia HDR con i propri occhi, pertanto il team DSR mostrerà una demo di Starburst alla conferenza SIGGRAPH che si terrà ad agosto. Nel frattempo, il team DSR segue il suo modello standard sviluppando visori HDR migliorati utilizzabili per gli studi sugli utenti. C'è ancora molta strada da fare per arrivare ai veri display VR con tecnologia HDR, ma il team DSR ha iniziato il percorso e fornirà aggiornamenti man mano che farà passi avanti.
 

Il punto di svolta

 
Dopo anni di demo e studi sugli utenti, il team DSR è sicuro che la risoluzione retinica, la tecnologia varifocale, la correzione adeguata delle distorsioni e l'HDR sono fondamentali per superare il test di Turing visivo in VR, pertanto ha sviluppato e convalidato prototipi che singolarmente fanno avanzare ognuno di questi aspetti del realismo visivo. Tuttavia, l'obiettivo ultimo è in sostanza combinare tutte queste tecnologie in un unico visore compatto e ciò porta la sfida su un nuovo livello.
 
Il problema è che i visori VR devono essere compatti, leggeri ed eleganti, ma l'hardware aggiuntivo necessario per implementare le tecnologie del team DSR si scontra con queste caratteristiche. Lanman ha osservato: "Dopo quasi sette anni passati a sviluppare visori varifocali ad alte prestazioni, i nostri ingegneri meccanici hanno riscontrato in modo sistematico che qualsiasi sistema varifocale efficace, almeno uno basato su una riproduzione fisica di lenti e schermi, aggiunge da 40 a 50 grammi al dispositivo". Può sembrare poco (è circa il peso di due batterie AA), ma significa chiedere alle persone di accettare un visore almeno il 10% più pesante di Quest 2.
 
È qui che entra in gioco Andrew Maimone, Research Scientist del team DSR. La ricerca di Maimone si concentra sulla riduzione al massimo delle dimensioni, del peso e dell'alimentazione della VR esistente. "Anche se abbiamo imparato molto dai nostri prototipi iniziali, superare il test di Turing visivo con campioni empirici, grandi e voluminosi è solo il primo passo verso la distribuzione di queste tecnologie in un fattore di forma sottile e leggero da usare ogni giorno", ha detto Maimone. "Ecco perché sviluppiamo anche prototipi architetturali che esplorano come condensare tutti questi elementi in qualcosa di commercializzabile".
 

Holocake: fino a che punto si può arrivare?

 
Maimone ha diretto lo sviluppo di uno dei prototipi architetturali che Zuckerberg e Bosworth hanno provato a Redmond lo scorso autunno, un visore estremamente compatto chiamato Holocake 2.
Holocake 2 è progettato per testare le prestazioni ottiche delle lenti pancake olografiche in una cuffia completamente funzionale collegata a un PC.
Grazie alla combinazione dell'ottica olografica e pancake, un approccio di cui abbiamo parlato per la prima volta nel nostro post sul visore Holocake nel 2020, Holocake 2 è il visore VR più sottile e leggero che abbiamo mai sviluppato. A differenza del primo Holocake, che somigliava a un paio di occhiali da sole a cui mancavano componenti meccanici ed elettrici chiave e che aveva prestazioni ottiche considerevolmente inferiori ai visori VR consumer attuali, Holocake 2 è un visore basato sul tethering con il PC, pienamente funzionale e in grado di eseguire qualsiasi titolo VR esistente per PC.
 
Capire come Holocake 2 raggiunge il suo fattore di forma ultra compatto richiede un veloce approfondimento di come vengono realizzati i display VR. I display VR attuali si basano su una fonte di illuminazione, un pannello display che forma immagini attenuando o schiarendo la luce e lenti che mettono a fuoco la luce dal display all'occhio. In genere, le lenti devono essere scostate di qualche pollice dal display per avere una potenza di messa a fuoco sufficiente per dirigere la luce all'occhio.
Le lenti Holocake riducono lo spessore e il peso con la piegatura ottica basata sulla polarizzazione che riflette la luce all'interno della lente, in modo simile alle lenti pancake emergenti; e con le pellicole olografiche che sostituiscono le lenti rifrangenti più voluminose delle lenti pancake convenzionali e dei design rifrangenti, come Quest 2. Con entrambe, la luce di uno schermo piatto è focalizzata sull'occhio; solo il fattore di forma varia.
Ma, come illustrato sopra, sono disponibili diversi modi per posizionare le lenti più vicine al display, con una riduzione sostanziale delle dimensioni del visore. Holocake 2 applica due tecnologie insieme per riuscire in questa impresa. Innanzitutto, sostituisce le lenti con un'ottica olografica che curva la luce come una lente, ma ha la forma di una lastra di vetro sottile e trasparente. In secondo luogo, implementa la curvatura ottica basata sulla polarizzazione (emulando le lenti pancake, ma con un fattore di forma molto più piccolo rispetto all'ottica olografica) per ridurre sensibilmente il percorso della luce dal display all'occhio.
 
Sembra quasi una soluzione magica per ridurre dimensioni e peso, quindi dov'è sta l'inghippo? Il più grande riguarda la fonte di illuminazione: i visori Holocake richiedono laser speciali anziché i LED usati nei prodotti VR esistenti. "I laser non sono così insoliti oggi", ha detto Maimone, "ma non si trovano in molti prodotti consumer con le prestazioni, le dimensioni e i prezzi che vogliamo. Occorre fare un gran lavoro tecnico per ottenere un laser adatto ai consumatori che soddisfi le nostre specifiche, che sia sicuro, conveniente ed efficiente e che possa essere inserito in un visore VR sottile".
 
Oggi non abbiamo ancora soluzioni per fonti laser idonee, ma se si rivelasse un problema gestibile, avremo la strada spianata per creare display VR simili a occhiali da sole.
 

Mirror Lake: una soluzione che unisce tutti i tasselli del puzzle

 
Tutte le direzioni che hanno preso le diverse ricerche del team DSR provengono da una filosofia di base. Come ha detto Lanman: "Abbiamo chiamato il nostro team Display Systems Research perché sapevamo che tutte le demo e gli studi sugli utenti del mondo non sarebbero serviti a nulla se non avessimo sviluppato architetture pratiche ed efficaci. Questo è il fondamento del team DSR: la ricerca costante di una soluzione al puzzle di come è possibile mettere tutto insieme per creare un'esperienza visiva di prossima generazione che permetta di superare il test di Turing visivo. Non si tratta di strafare, ma di trovare una soluzione ricercata che offra un vero valore aggiunto all'utente".
 
Holocake 2 è un prodotto che segue questa filosofia, ma abbiamo ancora molte altre novità in serbo. Oggi presentiamo un sistema display che va oltre: Mirror Lake. Il design è simile agli occhiali da neve e si fonda sull'architettura di base di Holocake 2, alla quale si aggiunge tutto ciò a cui il team ha lavorato negli ultimi sette anni.
Mirror Lake è un concept design con un fattore di forma simile a una maschera da sci che integra quasi tutte le tecnologie visive avanzate che DSR ha incubato negli ultimi sette anni, inclusi varifocale e eye-tracking, in una forma compatta, leggera ed efficiente dal punto di vista energetico fattore. Mostra come potrebbe essere un sistema di visualizzazione completo di nuova generazione.
Mirror Lake mostra le possibilità che l'architettura Holocake, con le sue superfici esterne piatte, ha aperto. Ad esempio, è possibile aggiungere i moduli varifocali elettronici sottili di Half Dome 3 per risolvere il conflitto tra convergenza e accomodazione senza rendere il visore considerevolmente più spesso. Inoltre, invece di richiedere inserti per lenti da vista voluminosi, per la correzione della vista personalizzata basta aggiungere un'altra lente sottile sul lato anteriore del visore o persino integrare i decimi di vista mancanti di chi lo indossa nell'ologramma usato nelle lenti Holocake principali. Sono presenti anche un paio di fotocamere anteriori nelle aste che abilitano il pass-through basato sull'apprendimento automatico, un progetto che il team DSR presenterà alla conferenza SIGGRAPH.
 
Il tracking degli occhi è emerso come elemento fondamentale per superare il test di Turing visivo perché è necessario sia per la tecnologia varifocale sia per la correzione dinamica delle distorsioni. L'architettura Mirror Lake apre la strada a un nuovo approccio, che usa le pellicole olografiche per reindirizzare la luce dagli occhi a un paio di fotocamere montate nel cinturino del visore, Questo nuovo approccio consente anche il tracking degli occhi multivista, che aumenta la precisione in modo considerevole.
 
L'aspetto chiave è che grazie all'olografia tutto è sottile e piatto. I moduli varifocali sono piatti così come le pellicole olografiche usate per Holocake, la correzione dei decimi mancanti e il tracking degli occhi. Ed è facile continuare ad aggiungere tecnologie piatte e sottili. Ciò è stato evidenziato con la recente invenzione dei display con pass-through inverso che, come ha realizzato il team, poteva essere integrato al design di Mirror Lake semplicemente posizionando un altro display 3D piatto nello stack ottico.
 
Il concetto di Mirror Lake è promettente, ma al momento è solo un'idea, senza un visore del tutto funzionale ancora prodotto per provare in modo conclusivo l'architettura. Se darà i risultati sperati, sarà un punto di svolta per l'esperienza visiva VR.
 

Il lungo percorso verso il superamento del test di Turing visivo

 
Per quanto sia potenzialmente rivoluzionario Mirror Lake, si tratta comunque solo di un altro passo nel lungo percorso verso il superamento del test di Turing visivo. Sviluppare la tecnologia necessaria per superare il test, nonché capire come inserirla in visori che soddisfino le esigenze di milioni di persone, sarà un percorso che richiederà molti anni: non mancheranno le insidie e ci sarà molto da imparare e capire. Il team DSR è ben consapevole della sfida e si è prefissato l'obiettivo di raggiungere il vero realismo visivo: il lavoro che ha svolto fino questo momento ha convinto i membri del team e lo stesso Zuckerberg che l'obiettivo è realizzabile.
 
Come ha detto Zuckerberg in passato: "Se guardiamo avanti ai prossimi 10 anni, il desiderio è ovviamente realizzare un fattore di forma [del visore] più piccolo. L'ideale è arrivare al punto in cui abbiamo quasi un equivalente del display Retina per la VR... [È anche necessario] [creare] delle lenti liquide o con movimento meccanico o comunque qualcosa che possa in sostanza proiettare gli oggetti a distanze diverse... non vogliamo neanche rinunciare alla vividezza di ciò che gli occhi possono vedere realmente in termini di contrasto e luminosità dei colori se tutto è leggermente più sbiadito in VR". Questo framework relativo all'importanza della risoluzione retinica, della tecnologia varifocale, dell'HDR è derivato da anni di lavoro fatti con il team DSR per investire in queste tecnologie, vederne i vantaggi di prima mano e quindi creare un percorso pratico per raggiungere ognuna di esse.
 
Lasciamo l'ultima parola a Lanman: "I laser potrebbero alla fine risultare poco pratici per la VR, almeno nella forma necessaria per Holocake. In quel caso, l'intero castello di carte costruito con Mirror Lake cadrebbe. Questa è la sfida che comporta inventare nuovi sistemi display che si basano su tecnologie emergenti. Ma il miglior modo di assicurarsi di arrivare alla meta desiderata è avere diverse direzioni da seguire: Mirror Lake è infatti solo una di quelle intraprese dal team DSR. In ogni caso, dovunque ci porti questo percorso, il nostro team è certo che l'obiettivo è superare il test di Turing visivo e che nessuna legge fisica ci impedisce di farlo. Negli ultimi sette anni abbiamo avuto modo di intravedere cosa ci prospetta il futuro e rimaniamo fermi nel nostro impegno di trovare un percorso pratico verso un metaverso davvero realistico a livello visivo."

Latest Stories

To help personalize content, tailor and measure ads, and provide a safer experience, we use cookies. By clicking or navigating the site, you agree to allow our collection of information on and off Facebook through cookies. Learn more, including about available controls: Cookies Policy