Skip to Content

Aprovação no teste visual de Turing: a história interna da nossa busca por realismo visual em VR

Em novembro de 2020, o CEO da Meta, Mark Zuckerberg, enviou um email ao Diretor de Tecnologia Andrew "Boz" Bosworth e ao cientista-chefe do Reality Labs, Michael Abrash, fazendo uma pergunta muito direta: "o que nos impede de obter uma tela de VR que seja quase indistinguível da realidade, e o que teremos que fazer para conseguir isso?"

Recommended Reading

Essa foi a mais recente de uma série de conversas profundas sobre a criação de sistemas avançados de telas de realidade virtual (VR) que Zuckerberg e Abrash tiveram ao longo dos anos. Eles discutem uma viagem realizada em 2015, a conquista de uma empresa promissora de realidade aumentada (AR), além de tópicos frequentes discutidos por email, conversas individuais, análises de tecnologia e inúmeras demonstrações realizadas em Redmond e Menlo Park ao longo dos anos.
 
A resposta poderia ter sido apenas uma grande especulação, mas foi o contrário. A equipe de Display Systems Research (Pesquisa de sistemas de telas), (DSR), do Reality Labs, liderada por Douglas Lanman, estava fazendo uma pesquisa aprofundada sobre todas as tecnologias necessárias para responder à pergunta específica de Zuckerberg nos cinco anos anteriores. Na verdade, essa foi exatamente a pergunta certa no momento certo para solidificar e delinear a visão da DSR sobre telas de VR na década seguinte: a aprovação no teste visual de Turing.
 

O Santo Graal da pesquisa em telas

 
O Teste de Turing foi desenvolvido por Alan Turing em 1950 para avaliar se um computador poderia se comportar como um humano. O teste visual de Turing (uma frase que a DSR adotou e ajudou a popularizar junto às principais equipes acadêmicas) avalia de forma semelhante se o que é exibido em um headset de VR pode ser diferenciado do mundo real. É um teste subjetivo e que nenhuma tecnologia de VR pode ultrapassar atualmente. Embora a VR já crie uma forte sensação de presença, de estar em lugares virtuais de maneira genuinamente convincente, ainda não está no nível em que uma pessoa se preguntaria se o que está vendo é real ou virtual.
 
A pergunta de Zuckerberg estimulou Lanman em dezembro de 2020 a escrever o que se tornou um memorando interno amplamente divulgado, "Aprovação no teste visual de Turing". Nele, ele estabeleceu um roteiro detalhado de como atingir esse objetivo. Se alcançado com sucesso, esse objetivo criará um mundo novo de recursos de VR, desde espaços de trabalho virtuais que tornam o trabalho remoto tão produtivo quanto o presencial (ou até mais) à uma interação social virtual que se pareça autenticamente com a real, além de turismo virtual e praticamente tudo o que fazemos hoje no mundo real. O trabalho remoto, impulsionado com a tecnologia de VR, permitiria que muito mais pessoas vivessem onde quisessem, em vez de ter que se mudar para onde estão os empregos. Isso criaria novas oportunidades tanto para indivíduos, cujo acesso a uma ampla gama de empregos não seria mais limitado pela localização geográfica, quanto para empresas, que seriam capazes de explorar um vasto conjunto global de talentos. Mas os efeitos desse divisor de águas iriam além da produtividade. A VR, juntamente com a AR, tem o potencial de mudar o mundo tanto, indo da computação pessoal. Experiências visuais realistas indistinguíveis desempenharão um papel importante nisso.
 
Na publicação de hoje do "Inside the Lab", vamos falar com detalhes sobre o empenho da DSR em criar as tecnologias de tela (que juntamente com os Avatares de Codec, além de senso de toque e áudio espacial críveis etc.) ajudarão a tornar o metaverso verdadeiramente real, superando o teste visual de Turing em toda a gama de experiências visuais. Veremos as principais tecnologias que a DSR está desenvolvendo, falaremos sobre a abordagem de prototipagem que impulsiona o progresso da DSR e compartilharemos os resultados de um estudo de percepção inédito que catalisou grande parte da pesquisa da equipe. Por fim, compartilharemos detalhes sobre vários protótipos da DSR e falaremos sobre o Mirror Lake, um protótipo de design que integra o trabalho da DSR em várias áreas de pesquisa com headsets de última geração em formato leve e confortável.
 
Essa é uma história de exploração científica. Da concepção de uma ideia de pesquisa que cresceu dentro de um programa de espectro completo que tem boas chances de um dia mudar a maneira como nos divertimos, trabalhamos e nos comunicamos. E essa história começa com um desafio.

O desafio

 
O desafio que a DSR enfrenta ao buscar realismo visual pode ser resumido facilmente: a tecnologia necessária para passar no teste visual de Turing, especialmente com headsets de entrada, ainda não existe. Embora o Quest e o Quest 2 criem experiências visuais 3D atraentes, eles ainda não podem competir com as nossas experiências no mundo real. A maior limitação atual é a resolução, mas os desafios são muito maiores. A VR traz uma série de problemas novos que não existem com as telas 2D de hoje, inclusive conflito de acomodação de vergência, aberração cromática, paralaxe ocular e natação da pupila. Por isso, há muitos obstáculos a serem superados, muita pesquisa a ser feita e muitos estudos com usuários a serem conduzidos antes que possamos chegar perto de uma experiência visual de VR realista. As inovações necessárias para superar essa barreira abrangem várias categorias importantes.
 
Para começar, a resolução é uma questão. O problema é que os headsets de VR têm campos de visão muito mais abrangentes do que os monitores mais amplos. Portanto, quaisquer pixels disponíveis devem ser aplicados em uma área muito maior do que em uma tela 2D, resultando em resolução mais baixa para determinado número de pixels. Por exemplo, uma acuidade visual de 20/20 em todo o campo de visão humano exigiria cerca de 13 mil pixels na horizontal. Isso é muito mais do que qualquer tela de entrada existente oferece (a realidade não é tão ruim, já que o olho não tem a capacidade de captar uma alta resolução em todo o campo de visão, mas a magnitude do desafio ainda existe). E são necessários não só muito mais pixels, mas que a qualidade desses pixels sejam maior. Os headsets de realidade virtual de hoje têm brilho e contraste substancialmente mais baixos do que notebooks, TVs e celulares. Assim sendo, a VR ainda não pode obter o nível de detalhes finos e representação precisa a que nos acostumamos com as nossas telas 2D.
 
Além disso, as lentes usadas nas telas de VR atuais geralmente distorcem a imagem virtual, reduzindo o realismo, a menos que a distorção seja totalmente corrigida por software. Isso é um desafio porque a distorção varia conforme o olho se move para olhar em direções diferentes. Além disso, embora não faça parte do realismo, os headsets podem ser difíceis de usar por longos períodos de tempo porque essa distorção, assim como o peso do headset, pode causar desconforto e fadiga temporários. E há mais um elemento importante, que pode ser considerado parte da questão da resolução, mas é tão crucial que abrange uma categoria própria: a capacidade de focar adequadamente a qualquer distância. Explicaremos e detalharemos esse último tópico em breve, porque ele é um elemento central da nossa história hoje.
 
Para superar adequadamente os desafios apresentados acima, Zuckerberg e Lanman acreditam que passar no teste visual de Turing exigirá o desenvolvimento de um novo conjunto de tecnologias que inclui:
 
  • Tecnologia "varifocal" que fornece a profundidade de foco correta (versus um único foco fixo), permitindo assim uma visão mais clara e confortável no espaço da extensão de um braço por longos períodos de tempo
  • Resolução que se aproxima e, em última análise, excede a visão humana de 20/20
  • Correção de distorção para ajudar a lidar com aberrações ópticas, como variações de cores ao redor de objetos e distorção de imagem, que podem ser aplicadas por meio de ótica visual
  • Uma tecnologia de High Dynamic Range (HDR) que expande a gama de cores, brilho e contraste que você pode experienciar na VR
 
Desenvolver todos esses recursos é necessário (e difícil!), mas não é suficiente. Tudo isso precisa ser integrado a um headset mais confortável e adequado para uso do consumidor, ou seja, a DSR precisa não apenas evoluir as técnicas atuais em diferentes áreas das telas, mas também criar sistemas de tela completos muito além dos que existem hoje. E isso leva o desafio para outro nível. Mas esse é um desafio que a DSR está resolvendo e que Zuckerberg acredita ser fundamental resolver para chegar à próxima geração de VR.
 
Lanman fala sobre a complexidade da tarefa: "Projetar e criar headsets que incorporem esse conjunto de tecnologias é um trabalho difícil e demorado porque, com as telas de headsets, todos os sistemas técnicos estão interconectados. Tudo deve se integrar ao mesmo tamanho, peso, potência e orçamento de custo enquanto precisa apresentar um formato compacto e vestível." E não se trata apenas de integrar toda a tecnologia com um orçamento apertado. Cada elemento do conjunto de tecnologias também deve ser compatível com os demais. Por exemplo, certas tecnologias de rastreamento ocular devem ser combinadas com tipos específicos de lentes de tela para funcionar corretamente.
 
A DSR abordou isso de frente com uma extensa série de iniciativas de prototipagem, variando de tecnologias individuais a sistemas completos, que mapeiam e ampliam os limites do vasto espaço de design das telas de VR. Depois, realizou estudos com usuários que usavam esses protótipos para avaliar o progresso, na intenção de ser aprovada no teste visual de Turing. O resultado tangível disso está em exibição no RL Research em Redmond: um mural inteiro de protótipos que exploram coletivamente um vasto espectro de tecnologias para telas de VR de última geração. Uma história viva da busca da DSR pelo realismo visual.
Nos últimos sete anos, a equipe de Lanman construiu mais de duas dúzias de headsets de pesquisa AR/VR totalmente funcionais, cada um voltado para desbloquear novas demonstrações e estudos de usuários.
Nessa publicação, exploraremos essa história desde o início até os dias atuais. Veremos cada um dos quatro alicerces básicos da tecnologia, inclusive uma atualização sobre o programa varifocal de longa duração sobre o qual falamos muitas vezes ao longo dos anos. E discutiremos duas arquiteturas de sistema de tela recentes da DSR: Holocake 2, que tem a tecnologia ótica mais compacta do que qualquer headset VR de classe 2 da Quest, sendo o primeiro headset com ótica holográfica. E o Mirror Lake, uma arquitetura proposta para as futuras gerações de experiência visual de VR.
 
Vamos voltar a 2015, quando tudo começou.
 

Varifocal e a função inesperada das mãos

 
Em 2015, a equipe recém-formada de Lanman estava no seu primeiro ano de pesquisa sobre as tecnologias de tela que eram potencialmente relevantes para aprovação no teste visual de Turing. Ao mesmo tempo, a Meta (então conhecida como Facebook) estava no processo de lançamento do Oculus Rift, que logo seria seguido por um novo método de interação: controladores de toque, que trouxeram uma sensação de presença das mãos à VR.
 
Lanman estava confiante de que a RL um dia iria além da tecnologia de toque, lançando a tecnologia de rastreamento manual que estava então em desenvolvimento dentro da equipe de pesquisa (e ele estava certo: em 2020, lançamos o recurso de Mãos no Quest). E essa ideia trouxe a Lanman um insight importante.
Varifocal é uma tecnologia que envolve ajustar o foco da tela com base no que você está vendo. Nesta filmagem através da lente, você pode ver a diferença que faz – principalmente ao focar em objetos próximos.
A ideia dele é a seguinte: para usar as suas mãos de maneira mais eficaz, você precisa se concentrar nelas. Isso pode parecer óbvio e corriqueiro, já que é exatamente isso que fazemos no mundo real, mas se trata de um daqueles casos em que as regras mudam para a VR. No mundo real, mudamos constantemente o formato das lentes dos nossos olhos para focar à distância de qualquer coisa que estejamos olhando, criando assim uma imagem adequada com base na luz que vem dessa distância. Por outro lado, os headsets de VR atuais apresentam recursos óticos com foco fixo, normalmente de 1,5 a 2 metros. Isso significa que, embora não estejamos cientes disso, a luz sempre vem efetivamente da mesma distância na VR, não importa para onde estamos olhando, e esse é um fenômeno novo para os nossos sistemas visuais. As indicações incompatíveis que você recebe na VR entre a distância simulada de um objeto 3D virtual e a distância de foco (que, novamente, é fixada em aproximadamente 1,5 e 1,8 metro pelos headsets atuais) podem causar conflito de acomodação e vergência (VAC). O VAC é um fenômeno bem conhecido no campo de VR que pode gerar fadiga temporária e visão embaçada, além de desconforto ao passar longos períodos de tempo na VR. No ano passado, Zuckerberg disse ao explicar os benefícios da varifocal que "os olhos tentam focar e não conseguem porque [a tela está] projetando [a] determinada distância".
 
Uma forma de abordar o VAC é ajustar dinamicamente a profundidade focal na VR para corresponder à distância do objeto de interesse, permitindo que os nossos olhos foquem na distância certa. Uma possível maneira de fazer isso, conhecida como "varifocal", é mover as lentes conforme o espectador muda o que está olhando. Para testar essa teoria, a DSR criou um protótipo volumoso de comprovação de experiência em 2016, mostrado abaixo. Referimo-nos a protótipos desse tipo (que ainda não estão prontos para o consumidor, tendo sido criados com o propósito de avaliar o que pode ser feito com anos de pesquisa e desenvolvimento) como "máquinas do tempo". As máquinas do tempo são parte integrante da abordagem da DSR para explorar o campo de design das futuras tecnologias visuais de VR.
O primeiro protótipo varifocal completo da DSR, criado em 2016, integrou todos os componentes necessários para uma experiência atraente - foco variável, rastreamento ocular robusto, correção de distorção em tempo real atualizada com alterações no foco da tela e desfoque renderizado que aumentou longe do plano focal , como acontece no mundo real. A demonstração de 2016 usou um protótipo de controlador Touch para permitir que os membros do laboratório avaliassem diretamente os benefícios da acuidade visual para objetos dentro do comprimento do braço.

Um estudo de usuário inédito e a evolução do Half Dome

 
Quando Zuckerberg fez uma visita à RL Research em 2017, ele conheceu vários protótipos e tomou algumas decisões sobre os rumos tecnológicos que a empresa deveria tomar no futuro. A primeira demonstração de VR que ele testou naquele dia foi uma das nossas primeiras tentativas com varifocal: um recurso poderoso que ele rapidamente percebeu que melhorava a nitidez de objetos próximos. Esse e outros protótipos iniciais mostraram que o princípio subjacente ao varifocal poderia funcionar e, subjetivamente, forneceria experiências visuais mais nítidas. No entanto, embora promissora, a evidência emergente era anedótica e a equipe não tinha provas definitivas de que a versão do recurso de varifocal da DSR pudesse eliminar o VAC e melhorar a acuidade e o conforto.
 
Marina Zannoli, uma então cientista de visão na equipe da DSR, interveio para encontrar a resposta liderando um estudo de usuários de varifocal. Ela começou lançando um desafio de engenharia assustador: a equipe teve que criar um novo headset que fosse muito mais próximo do peso e formato de um Oculus Rift para evitar que o estudo fosse obscurecido pelo desconforto geral gerado pelo uso de um protótipo grande demais. Isso exigiu a redução da massa por um fator de quatro, em comparação com o headset existente de 2,450 gramas da equipe, ao mesmo tempo em que refinava o dispositivo para ficasse livre do ruído e da vibração que estavam sendo gerados pelo sistema varifocal.
 
Nove meses depois, a equipe entregou o Half Dome Zero, um protótipo de headset de pesquisa de 680 gramas que era totalmente compatível com todos os jogos de VR lançados para o Rift na época, mas com a capacidade adicional de fornecer profundidade de foco adequada nesses jogos via varifocal. Embora um pouco mais pesado que o Rift de 470 gramas, Marina acreditava que este novo headset era leve o suficiente para fornecer informações significativas sobre as preferências do usuário e os verdadeiros benefícios do varifocal.
 
Em seguida, ela teve que decidir como testar os benefícios pretendidos do varifocal, inclusive se havia melhora na nitidez de objetos próximos, se ajudava as pessoas a perceber cenas 3D mais rapidamente, se aumentava o conforto visual e, o mais importante, se as pessoas realmente o preferiam.
 
Depois, Marina decidiu por uma abordagem que era bem diferente da abordagem padrão da ciência da visão de usar estímulos limitados, como gráficos oculares. Ela optou por basear o estudo em experiências aprimoradas de VR, trabalhando com uma equipe de artistas técnicos para desenvolver um aplicativo de demonstração personalizado, criado com tecnologia de videogame e que incentivava os participantes a passar a maior parte do tempo observando objetos próximos. Algo que os desenvolvedores de VR atualmente são aconselhados a evitar devido às limitações conhecidas de foco fixo da VR.
O estudo do usuário Half Dome Zero, realizado em 2017, envolveu passar 30 minutos em VR, distribuídos em três experiências: uma versão modificada do First Contact que envolvia a interação com objetos próximos, uma cena modificada do Dreamdeck em que os participantes tinham que procurar um pequeno símbolo, e uma tarefa que envolvia olhar para estereogramas de pontos aleatórios e avaliar a rapidez com que os participantes podiam entender os padrões 3D na cena (nota: os padrões são visíveis apenas em VR).
Agora, com um headset adequado e um protocolo cuidadosamente desenvolvido, Marina contou com 63 participantes que realizaram um teste de dois dias, avaliando o sistema varifocal da equipe em relação ao foco fixo da VR. Em um dia, o varifocal foi ativado no Half Dome Zero e, no outro, o headset foi operado no modo de foco fixo que é padrão para headsets VR atuais. Os participantes foram convidados a avaliar subjetivamente uma variedade de preferências, respondendo a um conjunto de questionários.
 
Os resultados do estudo foram mais positivos do que a equipe inicialmente suspeitava que poderiam ser. Marina resume: "o que descobrimos quando analisamos os resultados foi que, ao usar varifocal, as pessoas se sentiam mais confortáveis em todos os aspectos. Elas tiveram menos fadiga, náusea e visão embaçada, e foram capazes de identificar melhor os objetos pequenos. Também tiveram mais facilidade na leitura de texto e reagiram ao ambiente visual mais rapidamente". O mais promissor de tudo foi que a maioria dos participantes preferiu VR varifocal em vez de foco fixo. Um resultado particularmente surpreendente, já que o Half Dome Zero era um protótipo inicial com rastreamento de olho imperfeito e software de correção de distorção.
Então, no verão de 2017, a DSR finalmente teve a prova definitiva de que o varifocal poderia trazer uma série de benefícios de desempenho e conforto para VR. Além disso, estudos contemporâneos da Inria, da UC Berkeley e de Stanford corroboram essa conclusão. A equipe agora estava certa de que resolver a infinidade de desafios de engenharia restantes (abrangendo rastreamento ocular, computação gráfica, design óptico, sistemas de controle e peso) era uma prioridade máxima. Portanto, nos cinco anos seguintes, a DSR desenvolveu uma série de protótipos que expandiram os limites da tecnologia varifocal.
O Half Dome Zero foi usado no estudo de 2017. Com o Half Dome 1, a equipe ampliou o campo de visão para 140 graus. Half Dome 2 focado em ergonomia e conforto, cortando 200 gramas. Half Dome 3 introduziu o varifocal eletrônico, reduzindo ainda mais o tamanho e o peso do capacete.

Além do varifocal: resolução da retina, telas sem distorção e HDR

 
"A série Half Dome foi um ponto de virada para a nossa equipe", diz Lanman. "Ela nos ajudou a avançar nas técnicas de tecnologia varifocal e também nos deu um modelo para os outros programas de pesquisa com telas." Após o Half Dome, a DSR começou a orientar todos os seus esforços de pesquisa pelo mesmo caminho, um processo que começa com o estabelecimento de requisitos técnicos e hipóteses, seguido pela construção de máquinas do tempo com alto volume de prova de experiência, criando protótipos de prova de conceito refinados e finalmente realizando estudos de usuários que geram dados importantes para direcionar o próximo protótipo.
 
"Aplicamos rigorosamente esse modelo às outras dimensões do teste visual de Turing", acrescenta Lanman, "especialmente resolução, distorções ópticas e faixa dinâmica".
 
Vamos detalhar um pouco mais essas três áreas e ver em que estágio cada uma está na pesquisa da DSR.
 

Butterscotch: compreendendo a "resolução da retina"

 
A "resolução da retina" tem sido um padrão para produtos com tela. Embora não haja uma definição universalmente aceita, geralmente ela tem cerca de 60 pixels por grau (ppd), o que é suficiente para representar a linha 20/20 em um gráfico ocular. Embora a maioria dos notebooks, TVs e celulares tenham ultrapassado essa marca há muito tempo, a VR fica para trás porque o seu campo de visão imersivo espalha os pixels disponíveis em uma extensão visual muito maior. Por exemplo, os monitores da Quest 2 fornecem cerca de 20 ppd.
Se um gráfico de olho fosse apresentado em RV, nem o Rift nem o Quest 2 poderiam resolver a linha mais baixa, representando a acuidade visual 20/20. Em contraste, o protótipo Butterscotch da DSR foi projetado para atender aos requisitos tradicionais de resolução da retina e pode representar os melhores recursos em um gráfico de olho, como pode ser visto nessas fotos tiradas pelas lentes de cada tipo de fone de ouvido.
Isso obviamente limita a capacidade de apresentar texto fino e outros detalhes, e também pode limitar o realismo percebido. Por exemplo, pesquisadores no Japão mostraram que a sensação de realismo aumenta constantemente à medida que a resolução da imagem aumenta, até cerca de 120 ppd, muito além do que é considerado resolução "da retina". Como o realismo visual é uma abordagem central do teste visual de Turing, ao longo dos anos a DSR desenvolveu uma série de protótipos de VR de alta resolução desenvolvidos para analisar o significado da resolução da retina no contexto de VR e encontrar maneiras de fazer com que headsets práticos alcançassem esse nível.
 
O valor dessa prototipagem foi inesperadamente reforçado quando Zuckerberg e Bosworth visitaram a RL Research no ano passado. No caminho do aeroporto, Zuckerberg perguntou a Abrash sobre o progresso da equipe com resolução da retina. Abrash respondeu que ele poderia conferir os resultados por conta própria, porque dentro de algumas horas Zuckerberg estaria usando o Butterscotch, o mais recente e avançado dos protótipos de resolução da retina da DSR.
A DSR faz demonstrações regularmente para o Meta Management, fornecendo informações sobre as futuras tecnologias visuais de AR/VR. Esquerda: Mark Zuckerberg experimentou o varifocal pela primeira vez em 2017 na RL Research, usando um protótipo varifocal de AR inicial (claramente não otimizado para ergonomia). Direita: Em 2021, na RL Research, ele experimentou o mais recente protótipo de VR de resolução retiniana da DSR.
O Butterscotch é um ótimo exemplo de prototipagem para obtenção de respostas da maneira mais rápida e direta possível. Atualmente, não há painéis que suportem nada próximo à resolução da retina para o campo de visão padrão de VR. Por isso, a equipe usou painéis LCD de 3k e limitou o campo de visão a cerca de metade do campo de visão do Quest 2 para aumentar a resolução para 55 ppd, ou seja, duas vezes e meia maior que o Quest 2. Então, eles tiveram que desenvolver um novo tipo de lente híbrida para adequar totalmente essa alta resolução.
 
O resultado ainda não está perto de ser uma tecnologia comercializável, pois é muito pesado e volumoso, com um campo de visão subdimensionado. No entanto, ele permitiu que Zuckerberg experimentasse uma resolução da retina muito próxima da real e visse por si mesmo quanta diferença isso fez. E é exatamente isso o que as máquinas do tempo da DSR são projetadas para fazer. Na verdade, depois de demonstrar o Butterscotch e reconhecer que a sua tecnologia de resolução de retina era vital para o futuro da VR, Zuckerberg conduziu uma revisão em nível empresarial do nosso roteiro de resolução.
 
Ainda há um longo caminho a percorrer na trajetória de resolução na VR que se aproxime da realidade. Mesmo assim, o Butterscotch foi um passo significativo. Ele também serve como base para a integração de outras tecnologias DSR em sistemas de telas de alta resolução. Por exemplo, a DSR está criando uma variante varifocal do Butterscotch que oferecerá mais de três vezes a resolução do protótipo Half Dome Zero. Com o foco fixo, o desfoque ocorre longe do plano focal. E isso se torna mais importante quanto maior for a resolução, pois o varifocal do Butterscotch tornará possível avaliar todos os benefícios da acuidade visual varifocal perto do limite da visão humana.
 

Eliminando distorções ópticas em headsets de VR

 
A resolução da experiência visual de VR é importante, mas é apenas uma peça do quebra-cabeça. A qualidade da imagem é igualmente importante e, por várias razões técnicas, nenhuma lente de VR está totalmente livre de aberrações óticas. Algumas aberrações podem ser corrigidas distorcendo a imagem no software e esse é um elemento essencial de praticamente todos os headsets de VR atuais. Fazer isso da maneira certa é fundamental para obter ótimas experiências visuais. No entanto, o software de correção de distorção nos headsets de VR atuais não funciona perfeitamente. A correção é estática, mas a distorção da imagem virtual é dinâmica, mudando dependendo de onde se está olhando. Como mostrado abaixo, esse fenômeno, conhecido como natação da pupila, pode fazer com que a VR pareça menos real porque tudo se move um pouco quando o olho se move. Isso se torna ainda mais significativo com varifocal, porque a imagem aumenta e diminui um pouco à medida que a distância focal da tela muda.
Para que o varifocal funcione perfeitamente, a distorção óptica, um problema comum em VR, precisa ser abordada além do que é feito nos fones de ouvido hoje. A correção nos fones de hoje é estática, mas a distorção da imagem virtual é dinâmica, mudando dependendo de onde se está olhando. Esse fenômeno, conhecido como natação da pupila, pode fazer com que a RV pareça menos real porque tudo se move um pouco quando o olho se move.
A equipe enfatizou a correção adequada da distorção varifocal logo no início, graças a um erro no estudo do usuário do Half Dome Zero em 2017 que acidentalmente desativou a correção da distorção para varifocal. Eles corrigiram esse erro, mas no processo aprenderam que o varifocal mostrava benefícios significativos apenas se a correção da distorção da lente fosse aplicada corretamente. Isso destacou a importância de corrigir a distorção, mas à medida que a equipe se aprofundava no tópico, rapidamente ficou claro que faltavam as ferramentas necessárias para fazer isso.
 
O problema era que os estudos de distorção demoravam muito para serem montados. Integrar as lentes em um headset personalizado sozinho pode levar semanas ou meses, e isso é apenas o começo do longo processo para criar uma tela de headset funcional que pode ser usada para testes. A DSR percebeu que precisava realizar estudos de distorção com a mesma velocidade do desenvolvimento do software de design óptico, em vez de hardware de fabricação de lentes, e decidiu resolver esse problema.
O simulador de distorção de lente VR da DSR emula fones de ouvido VR usando uma TV 3D. Isso permite que a equipe estude rapidamente novos projetos ópticos e algoritmos de correção de distorção de maneira repetível e confiável, ao mesmo tempo em que elimina o demorado processo de iteração em projetos usando protótipos completos de headset.
E eles conseguiram resolver. A equipe reaproveitou a tecnologia de TV 3D para criar um simulador de distorção de lente VR que pode induzir distorções controladas com precisão, permitindo que eles estudem instantaneamente algoritmos de correção de distorção para qualquer design de lente. A DSR apresentará a sua solução de prototipagem rápida na conferência anual SIGGRAPH em agosto.
 
Com esse recurso exclusivo de prototipagem rápida, a equipe conseguiu conduzir um estudo de usuário para investigar a correção de distorção rastreada pelo olho pela primeira vez. Ao contrário do software de correção dos headsets atuais, a correção de distorção dinâmica usa o rastreamento ocular para atualizar a correção renderizada para levar em conta o movimento dos olhos, que tem o potencial de produzir imagens sempre estáveis. Algo que a correção estática de hoje não consegue.
 
A prototipagem rápida promete acelerar bastante a pesquisa sobre distorção de lente VR e correção de todos os tipos, abrindo caminho para a redução de distorção em headsets de VR no futuro.
 

Starburst: visualizando headsets de alta faixa dinâmica

 
Resolução, correção de distorção e varifocal são elementos fundamentais para a realidade visual avançada, mas a alta faixa dinâmica (HDR) é a única tecnologia que tem sido mais consistentemente ligada a uma maior sensação de realismo e profundidade. A HDR refere-se ao suporte de amplas faixas de brilho, contraste e cor, e recentemente se destacou no espaço da televisão.
 
"Nits" são unidades que descrevem quanta luz um objeto emite, com valores típicos para um ambiente interno variando bem além de 10 mil nits, conforme mostrado abaixo. Até recentemente, uma televisão típica tinha um brilho de apenas algumas centenas de nits. No entanto, em 2013, pesquisadores do Dolby Labs realizaram um estudo de usuário com uma tela personalizada que atingiu um pico de 20 mil nits e descobriram que o ponto ideal para o brilho máximo era de cerca de 10 mil nits. Esse estudo pioneiro inspirou o setor de aparelhos de televisão a desenvolver e introduzir monitores HDR na última meia década, com grande sucesso.
A VR ainda não deu esse salto. O Quest 2 tem um brilho máximo de cerca de 100 nits. Ir muito além disso não será fácil dentro das restrições de energia, térmica e fator de forma dos headsets VR. Como Zuckerberg explicou em uma entrevista no ano passado, "provavelmente o desafio mais difícil em termos de telas e torná-las muito vívidas, [é] o problema do [HDR]. As TVs ficaram um pouco melhores no HDR recentemente. Mas a vivacidade das telas que comparamos com o que seu olho vê no mundo real [é] apenas uma ordem de magnitude ou mais." Os painéis LCD e as lentes usadas nos headsets de VR modernos resultam em contraste menor do que as telas de TV, reduzindo ainda mais o realismo, e o aumento do brilho tende a amplificar o problema, lavando as cores mais escuras, especialmente o preto. Finalmente, as telas de hoje podem mostrar apenas um subconjunto da gama de cores que o olho humano é capaz de perceber.
 
Pesquisadores da DSR estão criando protótipos de headsets HDR de VR. "Nosso mais recente, o Starburst, é grande, pesado e pouco prático", diz o cientista de pesquisa da DSR, Nathan Matsuda, "e as pessoas precisam segurá-lo próximo ao rosto como um par de binóculos enormes. Porém, ao usá-lo, elas experimentam algo que ninguém nunca experimentou antes: uma demonstração que reproduz toda a gama de brilho normalmente encontrada em ambientes internos ou noturnos."
O protótipo Starburst da DSR reconfigura as entranhas de um headset Quest 2, colocando uma lâmpada muito brilhante atrás dos painéis LCD. Essa “máquina do tempo” é uma das telas HDR mais brilhantes já construídas, atingindo um brilho máximo de 20.000 nits, e é o primeiro headset 3D HDR que a DSR conhece, permitindo que a equipe investigue a interação de HDR e percepção de profundidade 3D.
Não há um recurso substituto para experimentar diretamente o HDR com os seus próprios olhos, então a DSR fará uma demonstração do Starburst no SIGGRAPH em agosto. Enquanto isso, a DSR está seguindo o modelo de costume, criando headsets HDR aprimorados que podem servir como veículos para estudos de usuários. O trajeto para obter telas de VR verdadeiramente em HDR ainda é longo, mas a DSR começou essa jornada e fornecerá atualizações ao longo do caminho.
 

Percebendo os avanços

 
Após anos de demonstrações e estudos com usuários, a DSR está confiante de que resolução da retina, varifocal, correção de distorção precisa e HDR são elementos fundamentais para passar no teste visual de Turing em VR. Eles criaram e validaram protótipos que fornecem um avanço individual a cada um desses aspectos de realismo visual. Mas a resultado final desejado é praticamente combinar todos esses elementos em um único headset compacto, e isso amplia mais o desafio.
 
O problema é que os headsets de VR precisam ser compactos, leves e elegantes, e o hardware adicional necessário para implementar as tecnologias da DSR tende a impedir isso. Lanman observa: "após quase sete anos desenvolvendo headsets varifocais de alto desempenho, os nossos engenheiros mecânicos descobriram consistentemente que qualquer sistema varifocal atraente (pelo menos um baseado em lentes ou telas de tradução física) adiciona cerca de 40 a 50 gramas". Pode não parecer muito, mas adicionar o equivalente ao peso de duas pilhas AA faria com que as pessoas usassem um headset que seja pelo menos 10% mais pesado que o Quest 2.
 
É aí que entra o cientista de pesquisa da DSR, Andrew Maimone. A pesquisa de Maimone se concentra em reduzir o tamanho, o peso e o consumo de energia da VR existente o máximo possível. "Embora tenhamos aprendido muito com os nossos primeiros protótipos, passar no teste visual de Turing com bancos de teste que sejam problemáticos, desajustados e experimentais é apenas o primeiro passo no caminho para fornecer essas tecnologias em um formato leve e elegante que você desejará uso todos os dias", diz Maimone. "É por isso que também criamos protótipos arquitetônicos que exploram como podemos condensar todos esses elementos em algo que pode ser comercializado."
 

Holocake: o quanto podemos aprimorar?

 
Maimone liderou o desenvolvimento de um dos protótipos arquitetônicos que Zuckerberg e Bosworth experimentaram em Redmond no último outono, um headset supercompacto chamado Holocake 2.
O Holocake 2 foi projetado para testar o desempenho óptico de lentes holográficas panqueca em um headset totalmente funcional e conectado a um PC.
Combinando óptica holográfica e lentes pancake (uma abordagem que discutimos pela primeira vez na nossa publicação sobre o headset Holocake em 2020), o Holocake 2 é o headset VR mais fino e leve que já criamos. Ao contrário do Holocake original, que parecia um par de óculos de sol, mas não tinha componentes mecânicos e elétricos importantes, apresentando um desempenho óptico significativamente menor do que os headsets VR de hoje, o Holocake 2 é um headset funcional e conectado a computadores, capaz de executar qualquer título de VR de computador existente.
 
Entender como o Holocake 2 atingiu o seu formato ultracompacto requer uma rápida revisão sobre como os monitores VR são construídos. As telas VR de hoje contam com uma fonte de luz, um painel que forma imagens escurecendo ou aumentando a luz e uma lente que focaliza a luz da tela no olho. Normalmente, a lente precisa estar a alguns centímetros da tela para ter poder de foco suficiente para direcionar a luz para o olho.
As lentes Holocake reduzem a espessura e o peso com dobra ótica baseada em polarização que reflete a luz dentro da lente, semelhante às lentes pancake emergentes; e com filmes holográficos substituindo as lentes refrativas mais volumosas das lentes convencionais e designs refrativos, como o Quest 2. Com ambos, a luz de uma tela plana é focada no olho; apenas o fator de forma varia.
Mas, como ilustrado acima, existem maneiras de tornar possível colocar a lente muito mais perto da tela, reduzindo substancialmente o tamanho do headset. O Holocake 2 aplica duas tecnologias em conjunto para fazer isso. Primeiro, ele substitui a lente por uma óptica holográfica que desvia a luz como uma lente, mas tem o formato de uma placa de vidro fina e transparente. Em segundo lugar, ele implementa o dobramento óptico baseado em polarização (emulando uma lente pancake, mas com o formato muito menor de uma óptica holográfica) para encurtar drasticamente o caminho da luz da tela até o olho.
 
Isso soa como uma maneira quase mágica de reduzir tamanho e peso. Qual é o truque? O grande problema tem a ver com a fonte de luz. Os headsets Holocake exigem lasers especializados, em vez dos LEDs usados nos produtos de VR existentes. "Os lasers são comuns atualmente", diz Maimone, "mas eles não são encontrados em muitos produtos de consumo com o desempenho, tamanho e preço que precisamos. Portanto, precisaremos de muita engenharia para obter um laser viável para o consumidor, que atenda às nossas especificações, que seja seguro, de baixo custo e eficiente, e que possa caber em um headset de realidade virtual fino".
 
A partir de hoje, ainda estamos sem fontes de laser adequadas, mas se isso puder ser resolvido, haverá um caminho claro para criar telas de VR semelhantes a óculos de sol.
 

Mirror Lake: agregando todos os recursos

 
As múltiplas direções de pesquisa da DSR derivam de uma filosofia central. Como Lanman explica: "nós nos nomeamos a nossa pesquisa como Display Systems Research porque sabíamos que todas as demonstrações e estudos de usuários no mundo não valeriam nada a menos que desenvolvêssemos arquiteturas atraentes e práticas ao longo do caminho. Esse é o trabalho central da DSR: a busca constante por uma solução para o quebra-cabeça de como tudo pode se unir para criar uma experiência visual de última geração que permita a aprovação no teste visual de Turing. Não de uma maneira exagerada, mas de uma maneira elegante, que agregue verdadeiro valor ao usuário."
 
O Holocake 2 é um produto dessa filosofia, e há muito mais por vir. Hoje estamos revelando um sistema de telas que dá o próximo passo, o Mirror Lake. Esse é um conceito semelhante aos óculos de esqui, que começa com a arquitetura base do Holocake 2 e adiciona quase tudo o que a equipe incubou nos últimos sete anos.
Mirror Lake é um projeto conceitual com um formato semelhante a óculos de esqui que integra quase todas as tecnologias visuais avançadas que a DSR vem incubando nos últimos sete anos, incluindo varifocal e eye-tracking, em um formato compacto, leve e com baixo consumo de energia fator. Ele mostra como poderia ser um sistema de exibição completo de próxima geração.
O Mirror Lake ilustra as possibilidades que a arquitetura do Holocake (com as suas superfícies externas planas) oferece. Por exemplo, os módulos varifocais eletrônicos finos do Half Dome 3 podem ser adicionados para resolver o conflito de acomodação de vergência sem aumentar significativamente a espessura do headset. E, em vez de exigir acessórios volumosos para lentes de prescrição, a correção individualizada da visão é apenas questão de anexar outra lente fina à frente do headset ou até mesmo integrar a prescrição do usuário diretamente no holograma usado na lente Holocake principal. Há também um par de câmeras frontais integradas às têmporas que permite a visão do ambiente real orientada por aprendizado de máquina. Um trabalho que a DSR apresentará na SIGGRAPH.
 
O rastreamento ocular surgiu como um elemento crítico para passar no teste visual de Turing, porque é necessário para correção de distorção varifocal e dinâmica. A arquitetura do Mirror Lake é pioneira em uma nova abordagem, usando filmes holográficos para redirecionar a luz dos olhos para um par de câmeras montadas na alça do headset. Essa novidade também permite rastreamento ocular com visão múltipla, algo que aumenta muito a precisão.
 
A segredo é que, graças à holografia, tudo é fino e plano. Os módulos varifocais são planos, assim como todos os filmes holográficos usados para o Holocake, para correção de prescrição e rastreamento ocular. E é fácil continuar adicionando tecnologias finas e planas. Isso foi destacado com a recente invenção das telas de visão do ambiente real reversa, que a equipe percebeu que poderiam ser integradas ao design do Mirror Lake colocando outra tela 3D plana na pilha óptica.
 
O conceito do Mirror Lake é promissor, mas no momento é apenas um conceito, sem um headset funcional já construído para comprovar conclusivamente a arquitetura. Se der certo, porém, será um divisor de águas para a experiência visual de VR.
 

O longo caminho para aprovação no teste visual de Turing

 
Por mais que o Mirror Lake seja potencialmente transformador, é apenas mais um passo na longa jornada para aprovação no teste visual de Turing. Desenvolver a tecnologia necessária para passar nesse teste, e descobrir como ela pode ser transformada em headsets que atenderão às necessidades de milhões de pessoas, será uma jornada de muitos anos, com inúmeras armadilhas à espreita ao longo do caminho e muito a ser aprendido e descoberto. A DSR está bem ciente do desafio e está comprometida com a missão de alcançar o verdadeiro realismo visual. Seus esforços até agora convenceram a eles e a Zuckerberg de que esse objetivo está ao alcance.
 
Como Zuckerberg disse antes, "quando você considera um período de 10 anos, obviamente quer que o formato do [headset] fique menor. O ideal é chegar ao ponto em que você tenha quase algo como a tela de retina equivalente para VR… [Também é necessário criar] algum tipo de lente líquida ou de movimento mecânico ou algo que basicamente possa projetar coisas em distâncias diferentes… você também não vai querer abrir mão da vivacidade do que os seus olhos podem realmente ver em termos de contraste e brilho das cores se tudo estiver um pouco mais opaco em VR." Essa estrutura de importância da resolução da retina, varifocal e HDR veio de anos de trabalho com a DSR para investir nessas tecnologias, ver os benefícios delas em primeira mão e criar um caminho prático para cada uma.
 
Como Lanman finalizou: "lasers podem acabar se mostrando impraticáveis para a VR, pelo menos na forma necessária para o Holocake. E, nesse caso, todo o castelo de cartas que é o Mirror Lake desaba. Esse é o desafio de inventar novos sistemas de telas que dependem de tecnologias novas. Mas a melhor maneira de garantir que chegaremos onde queremos é ter vários caminhos para chegar lá, e o Mirror Lake é apenas uma das direções de pesquisa da DSR. De qualquer forma, qualquer que seja o caminho, a nossa equipe tem certeza de que passar no teste visual de Turing é o nosso destino, e que nada na física nos impede de chegar lá. Nos últimos sete anos, vislumbramos esse futuro e continuamos comprometidos em encontrar um caminho prático para um metaverso visualmente realista."

Latest Stories

To help personalize content, tailor and measure ads, and provide a safer experience, we use cookies. By clicking or navigating the site, you agree to allow our collection of information on and off Facebook through cookies. Learn more, including about available controls: Cookies Policy