Skip to Content

לעבור את מבחן טיורינג החזותי: סיפור המסע שלנו להשגת ריאליזם חזותי במציאות מדומה

בנובמבר 2020, מנכ"ל Meta מארק צוקרברג שלח דוא"ל לאנדרו "בוז" בוזוורת', מנהל הטכנולוגיות הראשי, ולמייקל אבראש, המדען הראשי של Reality Labs, ושאל שאלה פשוטה מאוד: "מה מונע מאיתנו ליצור צג מציאות מדומה (VR) שיהיה כמעט זהה למציאות, ומה נצטרך לפתור כדי להשיג זאת?"

Recommended Reading

זו הייתה האחרונה בסדרה של שיחות מפורטות על בניית מערכות תצוגה מתקדמות של מציאות מדומה שצוקרברג ואבראש ניהלו לאורך השנים, החל מביקור בחברה מבטיחה של מציאות רבודה (AR) ב-2015, דרך שרשורי דוא"ל תכופים, דיונים פנים אל פנים וסקירות טכנולוגיה, ועד הדגמות רבות ברדמונד ובמנלו פארק לאורך השנים.
 
התשובה הייתה יכולה להיות סתם ספקולציה בלתי מבוססת — אך היא הייתה רחוקה מכך מאוד, מכיוון שב-5 השנים האחרונות הצוות של מחקר מערכות התצוגה (DSR) ב-Reality Labs, שבראשו דגלאס לנמן, ערך מחקר מעמיק על כל הטכנולוגיות הדרושות כדי להשיב לשאלה הספציפית של צוקרברג. למעשה, זו הייתה בדיוק השאלה הנכונה שהגיעה בזמן הנכון כדי לזקק ולמפות את החזון של DSR לצגי VR לעשור הבא: לעבור את מבחן טיורינג החזותי.
 

הגביע הקדוש של מחקרי תצוגה

 
מבחן טיורינג נבנה על ידי אלן טיורינג ב-1950 כדי להעריך אם אנשים יכולים לחשוב שמחשב הוא אדם. מבחן טיורינג החזותי — כינוי ש-DSR אימצו ועזרו להפוך לפופולרי, יחד עם צוותים אקדמיים מובילים — מעריך בצורה דומה אם אנשים יכולים להבדיל בין מה שמוצג בקסדת VR לבין העולם האמיתי. זהו מבחן סובייקטיבי, ואף טכנולוגיית VR לא יכולה לעבור אותו כיום. VR כבר יוצר תחושה חזקה של נוכחות והימצאות במקומות וירטואליים בצורה משכנעת מאוד, אך הוא עדיין לא הגיע לרמה שבה אנשים עשויים לתהות אם מה שהם רואים אמיתי או וירטואלי.
 
השאלה של צוקרברג הניעה את לנמן לכתוב בדצמבר 2020 את מה שהפך למזכר פנימי בתפוצה רחבה — "לעבור את מבחן טיורינג החזותי". במסמך הזה הוא הציג מפת דרכים מפורטת להשגת היעד הזה — יעד שאם יושג בהצלחה, יפתח עולם שלם חדש של יכולות VR, החל מסביבות עבודה וירטואליות שמאפשרות עבודה מרחוק בצורה פרודוקטיבית לא פחות, ואפילו יותר, מעבודה במשרד אמיתי, ועד אינטראקציה חברתית וירטואלית שיוצרת תחושה אותנטית של הימצאות יחד עם אנשים אחרים, תיירות וירטואלית ולמעשה כל מה שאנחנו עושים כיום בעולם האמיתי. עבודה מרחוק על בסיס VR תאפשר להרבה יותר אנשים לגור בכל מקום שירצו, במקום לעבור למקום שבו נמצאת העבודה. מצב כזה ייצור הזדמנויות חדשות לאנשים פרטיים, שהמיקום הגאוגרפי כבר לא יגביל את הגישה שלהם למגוון רחב של משרות, וגם לעסקים, שיוכלו לנצל מאגר כישרונות גלובלי עצום. אך האפקטים הדרמטיים מגיעים מעבר לנושא הפרודוקטיביות. ל-VR, יחד עם AR, יש פוטנציאל לשנות את העולם לא פחות, או אפילו יותר, מהמיחשוב האישי, ולחוויות וירטואליות שאי אפשר להבדיל בינן לבין המציאות יהיה תפקיד עצום בכך.
 
בפוסט "בתוך המעבדה" היום נבחן באופן מעמיק את המסע של DSR לבניית חבילת טכנולוגיות התצוגה אשר יחד עם אווטארים של Codec, תחושת מגע אמינה, שמע מרחבי ועוד, יעזרו להעניק למטאברס העתידי תחושה אמיתית, כשיעמדו באתגר של מבחן טיורינג החזותי בכל מגוון החוויות החזותיות. נבחן את טכנולוגיות הליבה ש-DSR מפתחים, נדבר על הגישה ליצירת אב-טיפוס שמניעה את ההתקדמות של DSR, ונציג את התוצאות של מחקר תפיסתי ראשון מסוגו שזרז חלק גדול מהמחקר של הצוות. לסיום, נציג פרטים על כמה מאבות-הטיפוס של DSR ונחשוף את Mirror Lake, דגם אב-טיפוס שמשלב את העבודה של DSR בכמה תחומי מחקר לתוך קסדה מהדור הבא עם גורם צורה קל ונוח.
 
זהו סיפור של חקירה מדעית, שבו גרעין של רעיון מחקרי צומח לתוכנית בהיקף מלא שיש לה סיכוי טוב לשנות יום אחד את האופן שבו אנחנו עובדים, משחקים ומתקשרים. והמקום שבו הסיפור מתחיל הוא האתגר.

האתגר

 
אפשר לסכם בקלות את האתגר שעומד בפני DSR במסע להשגת ריאליזם חזותי: הטכנולוגיה הדרושה כדי לעבור את מבחן טיורינג החזותי, במיוחד בקסדה המיועדת לצרכנים פרטיים, עדיין לא קיימת. Quest ו-Quest 2 אמנם יוצרים חוויות חזותיות מרתקות בתלת-ממד, אך הם עדיין לא יכולים להתחרות בחוויות שלנו בעולם האמיתי. המגבלה הנוכחית הברורה היא רזולוציה, אך האתגרים עמוקים הרבה יותר. VR מביא איתו שפע של סוגיות חדשות שפשוט לא קיימות בצגים הדו-ממדיים של היום, כולל ההתנגשות שנקראת Vergence-Accommodation Conflict‏ (VAC), סטייה כרומטית, פרלקסה של העינית ושחיית אישונים. כתוצאה מכך, יש להתגבר על מכשולים רבים, לערוך מחקר רב ולנהל בדיקות משתמשים רבות לפני שנוכל להתקרב לחוויית VR חזותית ריאליסטית. החידושים הנדרשים כדי לגשר על הפער מתחלקים לכמה קטגוריות עיקריות.
 
בתור התחלה, יש להתמודד עם בעיית הרזולוציה. הבעיה היא ששדה הראייה של קסדות VR רחב בהרבה אפילו מזה של הצג הרחב ביותר, ולכן יש לפרוס את הפיקסלים הזמינים על שטח גדול בהרבה לעומת צג דו-ממדי. התוצאה היא רזולוציה נמוכה יותר לכל מספר נתון של פיקסלים. לדוגמה, ראייה של 20/20 בשדה הראייה האנושי המלא תחייב כ-13,000 פיקסלים אופקיים — הרבה יותר מכל צג קיים שזמין לצרכנים פרטיים. (המציאות אינה גרועה עד כדי כך, מכיוון שלעין אין יכולת לקלוט רזולוציה גבוהה בכל שדה הראייה, אך גודל האתגר עדיין קיים.) ולא רק שנדרשים יותר פיקסלים — גם האיכות של הפיקסלים האלה צריכה להשתפר. לקסדות ה-VR היום יש רמות נמוכות בהרבה של בהירות וחדות לעומת מחשבים ניידים, טלוויזיות וטלפונים ניידים. לכן VR אינו יכול עדיין להגיע לרמת הפרטים הקטנים והייצוג המדויק שהתרגלנו אליה בצגים דו-ממדיים.
 
בנוסף, העדשות המשמשות בצגי ה-VR הנוכחיים לעתים קרובות מעוותות את התמונה המדומה, וכך מפחיתות את הריאליזם, אלא אם העיוות מתוקן במלואו בתוכנה — וזה מאתגר מכיוון שהעיוות משתנה כאשר העין נעה כדי להביט בכיוונים שונים. מעבר לכך, למרות שזה לא חלק מנושא הריאליזם, קשה להשתמש בקסדות למשך זמן ארוך מכיוון שהעיוות הזה, וכן משקל הקסדה, יכולים לגרום לאי נוחות ולתשישות זמנית. יש גם מרכיב מרכזי נוסף, שיכול להיחשב לחלק מנושא הרזולוציה אבל הוא קריטי כל כך עד שהוא ראוי לקטגוריה משלו: היכולת להתמקד בצורה תקינה מכל מרחק. נסביר את הנקודה האחרונה הזו וניכנס לעומקה עוד מעט, מכיוון שהיא נמצאת בלב הסיפור שלנו היום.
 
כדי לתת מענה מלא לפערים שהצגנו, צוקרברג ולנמן מאמינים שעל מנת לעבור בהצלחה את בדיקת טיורינג החזותית יש לבנות חבילת טכנולוגיות חדשה שתכלול:
 
  • טכנולוגיית "אורך מוקד משתנה" שתספק עומק מוקד נכון (לעומת מוקד אחד קבוע) וכך תאפשר ראייה ברורה ונוחה יותר במרחק מה לפרקי זמן ממושכים
  • רזולוציה שתתקרב לראייה אנושית של 20/20 ובסופו של דבר תעבור אותה
  • תיקון עיוותים כדי לעזור להתמודד עם סטיות אופטיות, כמו שוליים צבעוניים סביב אובייקטים ועיקום תמונה, שציוד הצפייה יכול לגרום להן
  • וגם טכנולוגיית טווח דינמי גבוה (HDR) שמרחיבה את טווח הצבעים, הבהירות והחדות שאפשר ליהנות מהם ב-VR
 
פיתוח כל היכולות האלה הוא חיוני (וקשה!), אבל לא מספיק. כל זה צריך בסופו של דבר להיכנס לתוך קסדה נוחה יותר שתתאים לשימוש על ידי צרכנים פרטיים, וזה אומר ש-DSR צריכים לא רק להתקדם מעבר למצב הנוכחי של צירי תצוגה שונים, אלא גם לבנות מערכות תצוגה מלאות, הרבה מעבר למה שקיים היום — וזה כבר אתגר ברמה אחרת. אך זהו אתגר ש-DSR לוקחים על עצמם — ואתגר שצוקרברג מאמין שחיוני לפתור אותו כדי להגיע לדור הבא של VR.
 
לנמן מתאר את מורכבות המשימה: "עיצוב ובנייה של קסדות שמשלבות את אוסף הטכנולוגיות מחייב עבודה קשה וזמן רב, מכיוון שבצגי קסדות, כל המערכות הטכניות מחוברות ביניהן. כל הרכיבים מתחרים על אותם גודל, משקל, כוח ותקציב עלות, וגם צריכים להיכנס לתוך גורם צורה קומפקטי ולביש." הבעיה היא לא רק לדחוס את כל הטכנולוגיה לתוך תקציב מוגבל — כל רכיב בחבילה צריך גם להיות תואם לכל הרכיבים האחרים. לדוגמה, טכנולוגיות מסוימות למעקב אחר העין צריכות להשתלב עם סוגים ספציפיים של עדשות תצוגה כדי לפעול באופן תקין.
 
DSR ניגשו ישירות לאתגר הזה עם סדרה נרחבת של אבות-טיפוס, החל מטכנולוגיות נפרדות ועד למערכות מלאות, שממפות ופורצות את הגבולות של התחום העצום של עיצוב צגי VR. לאחר מכן הם ערכו מחקרי משתמשים על אבות-הטיפוס האלה כדי להעריך את ההתקדמות בדרך למעבר מוצלח של מבחן טיורינג החזותי. התוצאה המוחשית של העבודה הזו מוצגת ב-RL Research ברדמונד: קיר שלם של אבות-טיפוס המייצגים יחד מחקר של טווח רחב של טכנולוגיות עבור צגי VR מהדור הבא — היסטוריה חיה של המסע של DSR בדרך לריאליזם חזותי.
במהלך שבע השנים האחרונות, הצוות של Lanman בנה למעלה משני תריסר אוזניות מחקר AR/VR מתפקדות במלואן, שכל אחת מהן נועדה לפתוח הדגמות חדשות ומחקרי משתמשים.
בהמשך הפוסט הזה, נציג את ההיסטוריה הזו מתחילת הדרך ועד לרגע הנוכחי. נבחן כל אחד מארבעת צירי הטכנולוגיה העיקריים, כולל עדכון על התוכנית לטווח ארוך בנושא אורך מוקד משתנה שדיברנו עליה פעמים רבות לאורך השנים. נדון גם בשתי ארכיטקטורות עדכניות של מערכות תצוגה של DSR‏: Holocake 2 — שלמיטב ידיעתנו מציעה את המערכת האופטית הקומפקטית ביותר מכל קסדות ה-VR ברמת Quest 2, והיא הקסדה הראשונה מסוג זה עם אופטיקה הולוגרפית — ו-Mirror Lake, ארכיטקטורה מוצעת לדורות הבאים של החוויה החזותית ב-VR.
 
בואו נחזור ל-2015, לרגע שבו הכל התחיל.
 

אורך מוקד משתנה והתפקיד הבלתי צפוי של הידיים

 
ב-2015, הצוות החדש של לנמן הקדיש את שנתו הראשונה לחקירת טכנולוגיות התצוגה שעשויות להיות רלוונטיות כדי לעבור את מבחן טיורינג החזותי. במקביל, Meta (שנקראה אז פייסבוק) הייתה בעיצומו של תהליך ההשקה של Oculus Rift, וקצת לאחר מכן הציגה שיטת אינטראקציה חדשנית: בקרי מגע, שהביאו תחושה של נוכחות ידיים ב-VR.
 
לנמן היה בטוח ש-RL יתקדמו יום אחד אל מעבר למגע וישווקו את טכנולוגיית מעקב הידיים שנמצאה אז בפיתוח בצוות המחקר. (הוא צדק: ב-2020, הוספנו את Hands ל-Quest.) והמחשבה הזו הובילה את לנמן לתובנה חשובה.
Varifocal היא טכנולוגיה הכוללת התאמת המיקוד של התצוגה על סמך מה שאתה מסתכל עליו. בסרטון הזה דרך העדשה, אתה יכול לראות את ההבדל שהוא עושה - במיוחד כאשר מתמקדים באובייקטים קרובים.
התובנה הזו אמרה שכדי להשתמש בידיים באופן האפקטיבי ביותר, המשתמש צריך להיות מסוגל להתמקד בהן. זה אולי נשמע מובן מאליו ולא יוצא דופן, מכיוון שזה בדיוק מה שאנחנו עושים בעולם האמיתי, אך זה אחד המקרים שבהם הכללים משתנים ב-VR. בעולם האמיתי, אנחנו משנים כל הזמן את צורת העדשות בעיניים שלנו כדי להתמקד במרחק של מה שאנחנו מביטים בו, וכך מדמים בצורה נכונה את האור שמגיע מאותו מרחק. לעומת זאת, קסדות VR נוכחיות כוללות אופטיקה עם מוקד קבוע, בדרך כלל 1.5 עד 2 מטר (5 עד 6.5 רגל). זה אומר שלמרות שאנחנו לא מודעים לכך, האור מגיע תמיד מאותו מרחק ב-VR, ללא קשר למקום בסצינה שעליו אנחנו מסתכלים, וזוהי תופעה חדשה עבור המערכות החזותיות שלנו. הרמזים הלא תואמים שאתם מקבלים ב-VR בין המרחק המדומה של אובייקט וירטואלי תלת-ממדי לבין מרחק המיקוד — שכאמור, קבוע כמרחק של 1.5 - 2 מטר בקסדות של היום — יכול לגרום להתנגשות שנקראת vergence-accommodation conflict‏ (VAC). VAC הוא תופעה מוכרת בתחום ה-VR, והוא עלול להוביל לתשישות ולראייה מטושטשת באופן זמני. זה יכול להיות אחד המקורות לאי נוחות שאנשים סובלים ממנה כשהם מבלים פרקי זמן ארוכים ב-VR. "העיניים שלכם מנסות להתמקד ואתם לא מצליחים", אמר צוקרברג בשנה שעברה כשהסביר את היתרונות של אורך מוקד משתנה, "כי [הצג] מקרין [ב]מרחק אחד".
 
אחת האפשרויות להתמודד עם VAC היא לשנות באופן דינמי את עומק המוקד ב-VR בהתאם למרחק מאובייקט ההתעניינות, וכך לאפשר לעיניים שלנו להתמקד במרחק הנכון. אחת הדרכים הפוטנציאליות לעשות זאת, המכונה "אורך מוקד משתנה", היא להזיז את העדשות בהתאם כשהצופה משנה את האובייקט שהוא מביט בו. כדי לבדוק את התאוריה הזו, DSR יצרו ב-2016 אב-טיפוס מגושם להוכחת החוויה, והוא מוצג כאן. אנחנו מתייחסים לאבות-טיפוס כאלה, שרחוקים ממצב מוכן לצרכן, ונבנו כדי לבדוק מה אולי יהיה אפשרי אחרי שנים של מחקר ופיתוח, כאל "מכונות זמן". מכונות זמן הן חלק אינטגרלי מהגישה של DSR לבדיקת סביבת העיצוב של טכנולוגיות VR חזותיות עתידיות.
אב הטיפוס הווריפוקלי השלם הראשון של DSR, שנוצר ב-2016, שילב את כל הרכיבים הדרושים לחוויה משכנעת - מיקוד משתנה, מעקב עיניים חזק, תיקון עיוות בזמן אמת שהתעדכן עם שינויים במיקוד התצוגה, וטשטוש עיבוד שהתרחק ממישור המוקד , כמו שזה קורה בעולם האמיתי. ההדגמה של 2016 השתמשה בבקר מגע אב טיפוס כדי לאפשר לחברי המעבדה להעריך ישירות את יתרונות חדות הראייה עבור עצמים בטווח זרוע.

מחקר משתמשים ראשון מסוגו והאבולוציה של Half Dome

 
כשצוקרברג ביקר ב-RL Research ב-2017, הוא הגיע כדי לראות מגוון רחב של אבות-טיפוס ולקבל החלטות לגבי הכיוונים הטכנולוגיים שבהם החברה צריכה להתקדם בעתיד. הדגמת ה-VR הראשונה שהוא ניסה באותו יום הייתה אחד הניסיונות הראשונים שלנו עם אורך מוקד משתנה — חפץ ענק, שהוא הסכים במהירות שהביא לשיפור החדות של אובייקטים קרובים. האב-טיפוס הזה ואבות-טיפוס מוקדמים אחרים הראו שהעיקרון הבסיסי של אורך מוקד משתנה יכול לעבוד, ושהוא מספק חוויות חזותיות חדות יותר לפי הערכה סובייקטיבית. יחד עם זאת, העדויות שהתחילו להתגלות היו מבטיחות אך אנקדוטליות, ולא הייתה לצוות הוכחה מכריעה לכך שגרסת DSR של אורך מוקד משתנה תוכל להתגבר על VAC ולשפר את החדות והנוחות.
 
מרינה זנולי, שהייתה אז מדענית ראייה בצוות של DSR, לקחה יוזמה למצוא את התשובה על ידי עריכת מחקר משתמשים בנושא אורך מוקד משתנה. בשלב ראשון, היא הציבה אתגר הנדסי כבד: הצוות היה צריך ליצור קסדה חדשה קרובה בהרבה למשקל ולגורם הצורה של Oculus Rift, כדי למנוע ערפול של תוצאות המחקר על ידי תחושת אי-נוחות כללית כתוצאה משימוש באב-טיפוס מסורבל. זה חייב לצמצם את המסה פי 4, בהשוואה לקסדה הקיימת של הצוות ששקלה 2,450 גרם, ובמקביל ללטש את המכשיר כדי לסלק את הרעש והרטט שנוצרו על ידי המערכת של אורך המוקד המשתנה.
 
9 חודשים מאוחר יותר, הצוות הציג את Half Dome Zero — אב-טיפוס מחקרי של קסדה במשקל 680 גרם בעל תאימות מלאה לכל משחק VR ששווק עבור Rift באותה תקופה, אך עם יכולת נוספת של הצגת עומק מוקד הולם במשחקים האלה באמצעות אורך מוקד משתנה. הקסדה החדשה הייתה מעט כבדה יותר מקסדת Rift ששקלה 470 גרם, אך זנולי האמינה שהקסדה הזו קלה מספיק כדי לספק תובנות בעלות משמעות לגבי העדפות המשתמשים והיתרונות האמיתיים של אורך מוקד משתנה.
 
בשלב הבא, זנולי הייתה צריכה להחליט איך לבדוק את היתרונות המתוכננים של אורך מוקד משתנה, ובכלל זה לבדוק אם הוא משפר את החדות של אובייקטים קרובים, אם הוא עוזר לאנשים לקלוט סצנות תלת-ממדיות מהר יותר, אם הוא מגביר את הנוחות החזותית, וחשוב מכל - אם אנשים למעשה מעדיפים זאת.
 
כאן זנולי החליטה על גישה לבעיה שהייתה שונה למדי מהגישה הרגילה של מדעי הראייה, הכוללת שימוש בגירוי מוגבל, כגון לוחות אותיות ומספרים לבדיקת ראייה. היא בחרה לבסס את המחקר על חוויות VR עשירות, ועבדה יחד עם צוות של אמנים טכניים כדי לפתח אפליקציית הדגמה מותאמת אישית שהתבססה על טכנולוגיה של משחקי וידאו, אשר עודדה את המשתתפים להקדיש את רוב זמנם לצפייה באובייקטים קרובים — דבר שכרגע מומלץ למפתחי VR להימנע ממנו עקב המגבלות הידועות של VR עם מוקד קבוע.
מחקר המשתמשים של Half Dome Zero, שנערך ב-2017, כלל בילוי של 30 דקות ב-VR, שהתפרש על פני שלוש חוויות: גרסה שונה של First Contact שכללה אינטראקציה עם אובייקטים קרובים, סצנה שונה מ-Dreamdeck שבה המשתתפים נאלצו לחפש קטע קטן סמל, ומשימה שכללה התבוננות בסטריאוגרמות נקודות אקראיות והערכת כמה מהר יכלו המשתתפים להבין דפוסי תלת מימד בסצנה (הערה: הדפוסים גלויים רק ב-VR).
עכשיו, כשעמדו לרשותה קסדה מתאימה ופרוטוקול שתוכנן בקפידה, זנולי הביאה 63 משתתפים שביצעו ניסוי של יומיים כדי להעריך את מערכת אורך המוקד המשתנה של הצוות בהשוואה ל-VR עם מוקד קבוע. ביום הראשון אורך מוקד משתנה הופעל בצורה מלאה ב-Half Dome Zero, וביום השני הקסדה הופעלה במצב של מוקד קבוע, שהוא המצב הסטנדרטי בקסדות ה-VR הנוכחיות. המשתתפים התבקשו למלא סדרה של שאלונים כדי לתת הערכה סובייקטיבית לגבי מגוון של העדפות.
 
ממצאי המחקר היו חיוביים יותר מכפי שהצוות ציפה בתחילה. זנולי מסכמת כך: "כשהסתכלנו בתוצאות גילינו שכשאנשים משתמשים באורך מוקד משתנה, נוח להם יותר מכל בחינה. הם חוו פחות תשישות, בחילה וטשטוש ראייה, הצליחו לזהות אובייקטים קטנים בצורה טובה יותר, היה להם קל יותר לקרוא טקסט והם הגיבו מהר יותר לסביבתם החזותית." הנתון המבטיח ביותר היה שרוב המשתתפים העדיפו VR עם אורך מוקד משתנה על פני VR עם מוקד קבוע — תוצאה מבטיחה במיוחד, מכיוון ש-Half Dome Zero היה אב-טיפוס מוקדם עם תוכנה לא מושלמת למעקב אחר העיניים ולתיקון עיוותים.
וכך, בקיץ 2017 הייתה ל-DSR סוף סוף הוכחה מכרעת לכך שאורך מוקד משתנה יכול להוסיף ל-VR שפע של יתרונות בתחום הביצועים והנוחות, ומחקרים שנערכו באותה תקופה ב-Inria ובאוניברסיטת קליפורניה בברקלי ובסטנפורד תמכו במסקנה הזו. הצוות היה משוכנע עכשיו שיש לתת עדיפות עליונה לפתרון האתגרים ההנדסיים הרבים שנותרו, שכללו מעקב אחר העיניים, גרפיקה ממוחשבת, עיצוב אופטי, מערכות בקרה וכן משקל. לכן ב-5 השנים הבאות DSR בנו סדרה של אבות-טיפוס שהרחיבו את גבולות הטכנולוגיה של אורך מוקד משתנה.
Half Dome Zero שימש במחקר של 2017. עם Half Dome 1, הצוות הרחיב את שדה הראייה ל-140 מעלות. עם Half Dome 2, הם התמקדו בארגונומיה ונוחות, וחיתכו 200 גרם. ועם Half Dome 3, הם הציגו varifocal אלקטרוני, והקטינו עוד יותר את הגודל והמשקל של האוזניות.

מעבר לאורך מוקד משתנה: רזולוציית רטינה, צגים ללא עיוות ו-HDR

 
"סדרת Half Dome הייתה נקודת מפנה לצוות שלנו", אומר לנמן. "היא עזרה לנו לקדם את המצב הנוכחי של הטכנולוגיה של אורך מוקד משתנה, והיא גם סיפקה לנו תבנית לתוכניות המחקר האחרות שלנו בתחום הצגים." אחרי Half Dome‏, DSR התחילו להוביל את כל מאמצי המחקר שלהם באותו מסלול — תהליך שמתחיל מביסוס הדרישות הטכניות וההשערות, ולאחר מכן בניית מכונות זמן מגושמות להוכחת החוויה, יצירת אבות-טיפוס מלוטשים להוכחת הרעיון, ולסיום עריכת מחקרי משתמשים שמפיקים נתונים חשובים שעליהם יתבסס האב-טיפוס הבא.
 
"יישמנו את הדגם הזה באופן קפדני בממדים האחרים של מבחן טיורינג החזותי", מוסיף לנמן, "במיוחד רזולוציה, עיוותים אופטיים וטווח דינמי".
 
בואו ניכנס לעומקם של שלושת התחומים האלה ונגלה באיזה שלב נמצא כל אחד מהם במסלול המחקר של DSR.
 

Butterscotch: להבין את "רזולוציית רטינה"

 
רזולוציית רטינה (Retinal Resolution) היא מזה זמן רב סטנדרט הזהב למוצרים עם מסך. אין אמנם הגדרה אוניברסלית מקובלת, אך היא נחשבת בדרך כלל כ-60 פיקסלים למעלה (ppd), ערך מספיק להצגת הקו של 20/20 בלוח בדיקות ראייה. רוב המחשבים הניידים, הטלוויזיות והטלפונים הניידים עברו מזמן את הרמה הזו, אך ה-VR משתרך מאחור כי שדה הראייה האימרסיבי שלו פורס את הפיקסלים הזמינים על טווח חזותי גדול בהרבה. לדוגמה, הצגים של Quest 2 מספקים כ-‎20 ppd.
אם תרשים עיניים הוצג ב-VR, אז גם Rift וגם Quest 2 לא יכלו לפתור את הקו הנמוך ביותר, המייצג חדות ראייה של 20/20. לעומת זאת, אב הטיפוס Butterscotch של DSR תוכנן לעמוד בדרישות רזולוציית הרשתית המסורתיות ויכול לתאר את המאפיינים המשובחים ביותר בתרשים עיניים, כפי שניתן לראות מתמונות אלו שצולמו דרך העדשה של כל סוג של אוזניות.
זה כמובן מגביל את היכולת להציג טקסט קטן ופרטים נוספים, וזה יכול גם להגביל את המידה שבה הסצינה נתפסת כמציאותית. לדוגמה, חוקרים ביפן הראו שתחושת המציאות גוברת בהתמדה ככל שרזולוציית התמונה עולה, כל הדרך עד ל-‎120 ppd בערך, הרבה מעבר למה שנחשב לרזולוציית "רטינה". מכיוון שריאליזם חזותי ניצב בליבו של מבחן טיורינג החזותי, DSR בנו לאורך השנים סדרה של אבות-טיפוס ל-VR ברזולוציה גבוהה במטרה לבחון את החשיבות של רזולוציית רטינה בהקשר של VR, ולמצוא דרכים שבהן אוזניות נוחות לשימוש יוכלו להגיע לרמה הזו.
 
הערך של אבות-הטיפוס האלה גבר באופן בלתי צפוי כשצוקרברג ובוזוורת' ביקרו ב-RL Research בשנה שעברה. בנסיעה משדה התעופה, צוקרברג שאל את אבראש על ההתקדמות של הצוות בתחום של רזולוציית רטינה. אבראש השיב שהוא יוכל לראות בעצמו, מכיוון שבעוד כמה שעות הוא ינסה את Butterscotch, האב-טיפוס האחרון והמתקדם ביותר של DSR עבור רזולוציית רטינה.
צוות ה-DSR מציגים באופן קבוע למנהיגות Meta, ומספקים הצצה מוקדמת לטכנולוגיות חזותיות עתידיות של AR/VR. משמאל: מארק צוקרברג התנסה ב-varifocal לראשונה במהלך ביקור ב-2017 בצוות המחקר ברדמונד, וושינגטון, תוך שימוש באב טיפוס מוקדם של AR Varifocal (שברור שלא היה מותאם לארגונומיה!). מימין: בביקור ב-RL Research בשנה שעברה, צוקרברג חווה את אב הטיפוס האחרון של VR ברזולוציית הרשתית מ-DSR.
Butterscotch הוא דוגמה מצוינת לשימוש באב-טיפוס כדי לקבל תשובות בצורה מהירה וישירה ככל האפשר. אין כעת פאנלים שתומכים במשהו שמתקרב לרזולוציית רטינה עבור שדה הראייה הסטנדרטי ל-VR, ולכן הצוות השתמש בפאנלים של 3k LCD והגביל את שדה הראייה לבערך מחצית מזה של Quest 2 כדי להגדיל את הרזולוציה ל-‎55 ppd — פי 2.5 מ-Quest 2. לאחר מכן הם היו צריכים לפתח סוג חדש של עדשה היברידית כדי לפתור באופן מלא רזולוציה גבוהה שכזו.
 
התוצאה אפילו לא קרובה לטכנולוגיה שאפשר לשווק — היא הרבה יותר מדי כבדה ומסורבלת, עם שדה ראייה קטן מדי — אך היא איפשרה לצוקרברג לחוות רזולוציה ברמה של כמעט רטינה ולראות בעצמו איזה הבדל היא עושה, וזו בדיוק המטרה של מכונות הזמן של DSR. למעשה, לאחר ההדגמה של Butterscotch וההבנה שהטכנולוגיה של רזולוציית רטינה חיונית לעתיד ה-VR, צוקרברג הורה על בדיקה ברמת החברה לגבי מפת הדרכים שלנו בנושא רזולוציה.
 
יש לנו עדיין דרך ארוכה במסלול לרזולוציית VR שתתקרב למציאות, אך Butterscotch הוא צעד משמעותי בדרך הזו. הוא גם משמש כבסיס לאינטגרציה של טכנולוגיות אחרות של DSR לתוך מערכות תצוגה ברזולוציה גבוהה. לדוגמה, DSR בונים גרסה של Butterscotch עם אורך מוקד משתנה, שתציע רזולוציה גבוהה יותר מפי 3 לעומת הרזולוציה באב-טיפוס של Half Dome Zero. עם מוקד קבוע, מתרחש טשטוש הרחק ממישור המוקד — זה משנה יותר ככל שהרזולוציה גבוהה יותר, ו-Butterscotch עם אורך מוקד משתנה יאפשר להעריך את היתרונות המלאים של החדות החזותית של אורך מוקד משתנה בסמוך לגבול הראייה האנושית.
 
מניעת עיוותים אופטיים בקסדות VR
 
הרזולוציה של החוויה החזותית ב-VR חשובה, אך זהו רק רכיב אחד בחוויה המלאה. איכות התמונה חשובה לא פחות, ומסיבות טכניות שונות, אין אף עדשת VR שיכולה להיות חופשית לגמרי מסטיות אופטיות. יש סטיות שאפשר לתקן באמצעות עיקום של התמונה בתוכנה — זהו רכיב חיוני בכמעט כל קסדת VR כיום, וביצוע מוצלח שלו הוא המפתח לחוויות חזותיות נהדרות. יחד עם זאת, התוכנה לתיקון עיוותים בקסדות ה-VR הנוכחיות לא עובדת בצורה מושלמת — התיקון הוא סטטי, אך העיוות של התמונה הווירטואלית הוא דינמי, ומשתנה בהתאם למקום שאליו המשתמש מביט. כפי שמוצג כאן, תופעה זו, המכונה "שחיית אישונים", יכולה לגרום ל-VR להיראות פחות אמיתי כי הכל זז קצת כשהעין זזה. זה נעשה משמעותי עוד יותר עם אורך מוקד משתנה, מכיוון שהתמונה גדלה ומתכווצת מעט כשמרחק המוקד של התצוגה משתנה.
כדי שה-Varifocal יעבוד בצורה חלקה, יש לטפל בעיוות אופטי, בעיה שכיחה ב-VR, מעבר למה שנעשה בדיבוריות כיום. התיקון באוזניות של היום הוא סטטי, אבל העיוות של התמונה הוירטואלית הוא דינמי, משתנה בהתאם לאן מסתכלים. תופעה זו, המכונה שחיית אישונים, יכולה לגרום ל-VR להיראות פחות אמיתי מכיוון שהכל זז מעט כשהעין זזה.
הצוות למד בשלב מוקדם ובדרך הקשה את החשיבות של תיקון מדויק של עיוותי אורך מוקד משתנה, בזכות שגיאה במחקר המשתמשים של Half Dome Zero ב-2017 שבו תיקון עיוותים עבור אורך מוקד משתנה הושבת בטעות. הם תיקנו את הטעות, אך כחלק מהתהליך למדו שאורך מוקד משתנה מפגין יתרונות משמעותיים רק אם התיקון של עיוות העדשה מבוצע נכון. זה הדגיש את החשיבות של ביצוע נכון של תיקון העיוות, אך כשהצוות נכנס לעומק הנושא, התברר במהירות שהכלים הדרושים לשם כך אינם זמינים.
 
הבעיה הייתה שלוקח זמן רב מאוד להכין מחקרי עיוות. רק בניית העדשות בקסדה מותאמת אישית יכולה להימשך שבועות או חודשים, וזו רק תחילתו של התהליך הארוך לבניית צג קסדה מתפקד שיוכל לשמש לבדיקות. DSR הבינו שהם צריכים לערוך מחקרי עיוות במהירות של תוכנת עיצוב אופטית ולא במהירות של חומרת ייצור עדשות, והם יצאו לפתור את הבעיה הזו.
סימולטור עיוות עדשות VR של DSR מחקה אוזניות VR באמצעות טלוויזיית תלת מימד. זה מאפשר לצוות ללמוד במהירות עיצובים אופטיים חדשים ואלגוריתמים לתיקון עיוותים באופן שניתן לחזור עליו, אמין תוך ביטול התהליך שלוקח זמן של איטרציה על עיצובים תוך שימוש באבות טיפוס מלאים של אוזניות.
והם אכן פתרו אותה. הצוות מיחזר טכנולוגיה של טלוויזיה תלת-ממדית כדי ליצור סימולטור של עיוות עדשות VR שיוכל ליצור עיוותים תחת שליטה מדויקת. זה איפשר להם לחקור באופן מיידי אלגוריתמים של תיקון עיוותים לכל עיצוב עדשה. DSR יציגו את הפתרון שלהם ליצירה מהירה של אבות-טיפוס בכנס השנתי של SIGGRAPH באוגוסט.
 
בזכות היכולת הייחודית הזו ליצירה מהירה של אבות-טיפוס, הצוות הצליח לערוך לראשונה מחקר משתמשים כדי לבדוק את תיקון העיוותים במעקב אחר תנועות עיניים. בניגוד לתוכנת התיקון בקסדות של היום, תיקון עיוותים דינמי משתמש במעקב אחר העיניים כדי לעדכן את התיקון שנוצר כך שיביא בחשבון את תנועת העיניים, וכך יש אפשרות להפיק תמונות בעלות יציבות תמידית שהתיקון הסטטי של היום לא יכול להפיק.
 
יצירה מהירה של אבות-טיפוס מבטיחה להאיץ מאוד את המחקר לגבי עיוותי עדשות ב-VR ותיקונים מכל הסוגים, וכך לסלול את הדרך להפחתת העיוות בקסדות VR עתידיות.
 

Starburst: תצוגה מקדימה של קסדות בטווח דינמי גבוה

 
רזולוציה, תיקון עיוותים ואורך מוקד משתנה הם יסודות מרכזיים של מציאות חזותית מתקדמת, אך טווח דינמי גבוה (HDR) הוא הטכנולוגיה היחידה הקשורה באופן עקבי ביותר לתחושה מוגברת של ריאליזם ועומק. HDR מתייחס לתמיכה בטווחים רחבים של בהירות, ניגודיות וצבע, ולאחרונה הוא תופס מעמד בתחום הטלוויזיה.
 
"Nits" הן היחידות המתארות כמה אור נפלט על ידי אובייקט, כשהערכים הטיפוסיים עבור סביבה בתוך מבנה מגיעים הרבה מעבר ל-‎10,000 nits, כפי שמוצג כאן. עד לאחרונה, הבהירות של טלוויזיה טיפוסית הייתה רק כמה מאות nits. לעומת זאת, ב-2013 חוקרים ב-Dolby Labs ערכו מחקר משתמשים עם צג שנבנה בהתאמה אישית והגיע לשיא של ‎20,000 nits. הם גילו שהנקודה המושלמת לבהירות שיא הייתה סביב ‎10,000 nits. המחקר החלוצי הזה דחף את תעשיית הטלוויזיה לפתח ולהציג צגי HDR ב-5 השנים האחרונות, בהצלחה רבה.
ה-VR צריך עדיין לעשות את הקפיצה הזו. ל-Quest 2 יש בהירות שיא של כ-‎100 nits, ולא יהיה קל להשיג התקדמות משמעותית מעבר לכך במסגרת אילוצי הכוח, התנאים התרמיים וגורם הצורה של קסדות VR. כפי שצוקרברג הסביר בראיון בשנה שעברה, "כנראה שהאתגר הקשה ביותר מבחינת הצג והרצון שהוא יהיה חי במיוחד [הוא] [בעיית] HDR. הטלוויזיות השתפרו קצת מבחינת HDR לאחרונה. אבל רמת החיות... של המסכים שהשווינו למה שהעין רואה בעולם האמיתי [היא] פשוט רחוקה בסדר גודל או יותר." פאנלים של LCD ועדשות בקסדות ה-VR המודרניות גורמים לפחות ניגודיות מאשר מסכי טלוויזיה, וכך מפחיתים עוד יותר את הריאליזם, והגברת הבהירות נוטה להגביר את הבעיה מכיוון שהיא מטשטשת צבעים כהים, במיוחד שחור. לסיום, הצגים של היום יכולים להציג רק חלק מטווח הצבעים המלא שהעין האנושית יכולה לקלוט.
 
החוקרים של DSR בונים אבות-טיפוס של קסדות VR באיכות HDR. "הדגם האחרון שלנו, Starburst, הוא מסורבל, כבד ומחובר בכבל", אומר נתן מטסודה, מדען מחקר מ-DSR, "ואנשים צריכים להחזיק אותו מול הפנים כמו משקפת גדולה. אבל כשהם עושים זאת, הם נהנים ממשהו שאף אחד לא זכה לו עד כה: הדגמה שיכולה לשחזר את טווח הבהירות המלא שנתקלים בו בדרך כלל בסביבות בתוך מבנה או בלילה".
אב הטיפוס Starburst של DSR מגדיר מחדש את הקרביים של אוזניות Quest 2, ומציב מנורה בהירה מאוד מאחורי לוחות ה-LCD. "מכונת הזמן" הזו היא אחת מצגי ה-HDR הבהירים ביותר שנבנו אי פעם, ומגיעה לשיא בהירות של 20,000 ניטים, וזו אוזניות ה-3D HDR הראשונה ש-DSR מודע לה, המאפשרת לצוות לחקור את ההשפעה ההדדית בין HDR ותפיסת עומק תלת מימדית.
אין תחליף להתנסות ישירה ב-HDR בעיניים של המשתמש, ולכן DSR ידגימו את Starburst ב-SIGGRAPH באוגוסט. בינתיים, DSR פועלים לפי המודל הרגיל שלהם ובונים קסדות HDR משופרות שיוכלו לשמש כאמצעי למחקרי משתמשים. הדרך לצגי VR באיכות HDR של ממש עדיין ארוכה, אך DSR התחילו את המסע ויספקו עדכונים לאורך הדרך.
 

עוברים לשלב הבא

 
אחרי שנים של הדגמות ומחקרי משתמשים, DSR יודעים בביטחון שרזולוציית רטינה, אורך מוקד משתנה, תיקון עיוותים מדויק ו-HDR הם רכיבים חיוניים כדי לעבור את מבחן טיורינג החזותי ב-VR, והם בנו ואימתו אבות-טיפוס שמקדמים בנפרד כל אחד מההיבטים האלה של ריאליזם וירטואלי. אך המטרה הסופית היא שילוב מעשי של כולם בקסדה קומפקטית אחת, וכאן האתגר עולה לרמה 11.
 
הבעיה היא שקסדות VR צריכות להיות קומפקטיות, קלות ואלגנטיות, והחומרה הנוספת הדרושה כדי להטמיע את הטכנולוגיות של DSR נוטה להפריע לכך. לנמן מתאר: "אחרי כמעט 7 שנים של פיתוח קסדות עם אורך מוקד משתנה בעלות ביצועים גבוהים, מהנדסי המכניקה שלנו מוצאים באופן עקבי שכל מערכת מוצלחת של אורך מוקד משתנה — לפחות מערכת המבוססת על תרגום פיזי של עדשות או מסכים — מוסיפה 40 עד 50 גרם". זה אולי לא נשמע הרבה — זה בערך המשקל של שתי סוללות AA — אבל הוספת המשקל הזה תחייב אנשים לקבל קסדה כבדה ב-10% לפחות לעומת Quest 2.
 
כאן נכנס לתמונה אנדרו מיימון, מדען מחקר ב-DSR. המחקר של מיימון מתמקד בהפחתה רבה ככל האפשר של הגודל, המשקל והכוח של ה-VR הקיים. "אנחנו לומדים הרבה עם אבות-הטיפוס המוקדמים שלנו, אבל מעבר מוצלח של מבחן טיורינג החזותי עם גרסאות ניסוי גדולות ומסורבלות הוא רק צעד ראשון בדרך שבסופה נוכל לספק את הטכנולוגיות האלה בגורם צורה קל ואלגנטי שאנשים ירצו להשתמש בו מדי יום", אומר מיימון. "לכן אנחנו בונים גם אבות-טיפוס של ארכיטקטורה, שבודקים איך אפשר לרכז את כל הרכיבים האלה לתוך משהו שנוכל לשווק."
 

Holocake: כמה נמוך אפשר להגיע?

 
מיימון הוביל את פיתוחו של אחד מאבות-הטיפוס של הארכיטקטורה שצוקרברג ובוזוורת' ניסו ברדמונד בסתיו האחרון, קסדה קומפקטית במיוחד בשם Holocake 2.
Holocake 2 נועד לבדוק את הביצועים האופטיים של עדשות פנקייק הולוגרפיות באוזנייה פונקציונלית מלאה, מחוברת למחשב.
עם שילוב אופטיקה של הולוגרפיה ופנקייק — גישה שדנו בה לראשונה בפוסט שלנו על קסדת Holocake ב-2020 — Holocake 2 היא קסדת ה-VR הדקה והקלה ביותר שבנינו אי פעם. בניגוד ל-Holocake המקורית, שנראתה כמו זוג משקפי שמש אך לא היו בה רכיבים מכניים וחשמליים מרכזיים והביצועים האופטיים שלה היו נמוכים בהרבה מקסדות ה-VR לצרכנים פרטיים בימינו, Holocake 2 היא קסדה בעלת פונקציונליות מלאה המחוברת למחשב ויכולה להפעיל כל כותר VR קיים המיועד למחשבים אישיים.
 
כדי להבין איך Holocake 2 משיגה את גורם הצורה הקומפקטי במיוחד שלה, יש להיכנס בקצרה לנושא של בניית צגי VR. צגי ה-VR של ימינו מתבססים על מקור אור, פאנל תצוגה שיוצר תמונות על ידי עמעום או הבהרה של האור, ועדשה שממקדת את האור מהצג אל העין. בדרך כלל, העדשה צריכה להימצא במרחק של כמה אינצ'ים מהצג כדי שיהיה לה די כוח מיקוד להפניית האור אל העין.
עדשות הולוקייק מפחיתות את העובי והמשקל בשתי דרכים. ראשית, קיפול אופטי מבוסס קיטוב גורם לאור להחזיר את הפנים של העדשה, בדומה לעדשות פנקייק המתעוררות. שנית, סרטים הולוגרפיים מחליפים את עדשות השבירה הכבדות והגדולות יותר המשמשות הן בעדשות פנקייק והן בעיצובים שבירה קונבנציונליים, כמו Quest 2. בכל מקרה, האור המגיע מצג שטוח ממוקד לכיוון העין; רק גורם הצורה משתנה.
אך כפי שהראינו למעלה, יש דרכים לאפשר לעדשה להימצא הרבה יותר קרוב לצג, וכך לצמצם מאוד את גודל הקסדה. Holocake 2 משתמשת ב-2 טכנולוגיות במקביל כדי להשיג זאת. קודם כל, היא מחליפה את העדשה באופטיקה הולוגרפית שמכופפת את האור כמו עדשה, אך מעוצבת כמו חתיכת זכוכית דקה ושקופה. שנית, היא משתמשת בקיפול אופטי המבוסס על קיטוב (וכך מדמה עדשת פנקייק, אך עם גורם הצורה הקטן בהרבה של אופטיקה הולוגרפית) כדי לקצר באופן דרמטי את נתיב האור מהצג אל העין.
 
זה נשמע כמעט כמו קסם שמצמצם את הגודל והמשקל, אז איפה הבעיה? הבעיה הגדולה קשורה למקור האור — קסדות Holocake מחייבות לייזרים מיוחדים, במקום נורות ה-LED המשמשות במוצרי VR קיימים. "לייזרים הם לא דבר אקזוטי במיוחד היום", אומר מיימון, "אבל הם לא נמצאים במוצרים רבים לצרכנים ברמת הביצועים, הגודל והמחיר שאנחנו צריכים. לכן אנחנו צריכים לעשות הרבה עבודה הנדסית כדי להשיג לייזר מתאים לצרכנים פרטיים שיעמוד במפרטים שלנו, שיהיה בטוח, חסכוני ויעיל, ושיוכל להיכנס לתוך קסדת VR דקה".
 
נכון להיום, עדיין אין מקורות לייזר מתאימים, אך אם יוכח שזה מעשי, ייפתח נתיב ברור לצגי VR דמויי משקפי שמש.
 

Mirror Lake: משלבים הכל יחד

 
כל כיווני המחקר המרובים של DSR נובעים מפילוסופיית ליבה אחת. כפי שלנמן מנסח זאת: "בחרנו לעצמנו את השם Display Systems Research (מחקר מערכות תצוגה) מכיוון שידענו שכל ההדגמות ומחקרי המשתמשים בעולם לא שווים כלום אם לא נוכל לפתח ארכיטקטורות מעשיות ויעילות לאורך הדרך. זוהי עבודת הליבה של DSR: החיפוש המתמיד אחר פתרון לשאלה איך הכל יכול להשתלב יחד כדי ליצור חוויה חזותית מהדור הבא, בדרך למעבר מוצלח של מבחן טיורינג החזותי. לא בגישה של "הכל כלול", אלא בצורה אלגנטית שתספק ערך אמיתי למשתמשים".
 
Holocake 2 היא תוצר של הפילוסופיה הזו, ויש עוד דברים רבים לצפות להם. היום אנחנו חושפים מערכת תצוגה שמתקדמת לשלב הבא — Mirror Lake. זהו קונספט דמוי משקפי סקי, שמתחיל מארכיטקטורת הבסיס של Holocake 2 ומוסיף כמעט את כל מה שהצוות עבד עליו ב-7 השנים האחרונות.
מירור לייק הוא עיצוב קונספט עם גורם צורה דמוי משקפי סקי המשלב כמעט את כל הטכנולוגיות החזותיות המתקדמות ש-DSR דגרה בשבע השנים האחרונות, כולל וריפוקל ומעקב אחר עיניים, לצורה קומפקטית, קלת משקל וחסכונית בחשמל. גורם. זה מראה איך יכולה להיראות מערכת תצוגה שלמה מהדור הבא.
Mirror Lake ממחיש את האפשרויות שנפתחות על ידי ארכיטקטורת Holocake, עם המשטחים החיצוניים השטוחים שלה. לדוגמה, אפשר להוסיף את המודולים האלקטרוניים הדקים של אורך מוקד משתנה מ-Half Dome 3 כדי לפתור את vergence-accommodation conflict מבלי להוסיף באופן משמעותי לעובי של הקסדה. ובמקום לחייב אביזרים מתחברים מסורבלים של עדשות מרשם, אפשר לבצע תיקון ראייה אישי פשוט על ידי חיבור עדשה דקה נוספת לחזית הקסדה, או אפילו הטבעת המרשם של המשתמש ישירות בהולוגרמה המשמשת בעדשה הראשית של Holocake. יש גם זוג מצלמות קדמיות הטמונות ברקות, שמאפשרות העברה המבוססת על למידת מכונה – עבודה ש-DSR יציגו ב-SIGGRAPH.
 
מעקב אחר תנועות עיניים התגלה כרכיב קריטי במעבר מוצלח של מבחן טיורינג החזותי, מכיוון שהוא דרוש גם עבור אורך מוקד משתנה וגם עבור תיקון עיוותים דינמי. הארכיטקטורה של Mirror Lake מציגה גישה חדשה וחלוצית של שימוש בסרטים הולוגרפיים כדי להפנות אור מהעיניים אל זוג מצלמות המורכבות ברצועת הקסדה, והגישה החדשנית הזו מאפשרת גם מעקב עיניים מרובה תצוגות, שמשפר מאוד את הדיוק.
 
המפתח כאן הוא העובדה שבזכות ההולוגרפיה, הכל דק ושטוח. המודולים של אורך מוקד משתנה הם שטוחים, וכך גם כל הסרטים ההולוגרפיים המשמשים עבור Holocake, תיקון לפי מרשם ומעקב אחר תנועות העיניים. ואפשר להמשיך להוסיף בקלות עוד טכנולוגיות דקות ושטוחות. זה הודגש עם ההמצאה האחרונה של צגי העברה הפוכה, שהצוות הבין שאפשר לשלב אותם עם העיצוב של Mirror Lake פשוט על ידי הכנסת עוד צג תלת-ממדי שטוח לחבילה האופטית.
 
Mirror Lake הוא קונספט מבטיח, אך בשלב זה זהו רק קונספט, ולא נבנתה עדיין קסדה בעלת תפקוד מלא שתוכל להוכיח את הארכיטקטורה באופן חד-משמעי. אם הקונספט הזה יתממש, הוא ישנה את כללי המשחק של החוויה החזותית ב-VR.
 

הדרך הארוכה למעבר מבחן טיורינג החזותי

 
ל-Mirror Lake יש פוטנציאל מהפכני רב, אך למרות זאת זהו רק שלב אחד במסע הארוך למעבר מוצלח של מבחן טיורינג החזותי. יידרש מסע של שנים רבות כדי לפתח את הטכנולוגיה הדרושה על מנת לעבור את המבחן וכדי להבין איך אפשר להפוך אותה לקסדות שיתנו מענה לצרכים של מיליוני אנשים. לאורך הדרך אורבים מכשולים רבים, ויש הרבה דברים שנצטרך ללמוד ולהבין. אנשי DSR מודעים היטב לאתגר הזה, ומחויבים למשימה של השגת ריאליזם חזותי אמיתי. המאמצים שלהם עד כה הצליחו לשכנע אותם ואת צוקרברג שהיעד הזה נמצא בטווח השגה.
 
כפי שצוקרברג אמר בעבר, "כשאתם מסתכלים על תקופה של 10 שנים, ברור שאתם רוצים שגורם הצורה [של האוזניות] יהיה קטן יותר. האידיאל הוא להגיע לנקודה שבה יש לכם משהו שהוא כמעט שווה ערך לצג רטינה עבור VR… [חיוני גם] [ליצור] סוג כלשהו של עדשה נוזלית או עדשות שנעות באופן מכני או משהו שיכול להקרין דברים במרחקים שונים…. אתם גם לא רוצים לוותר על רמת החיות של מה שהעיניים שלכם יכולות לראות בפועל מבחינת חדות ובהירות של הצבעים אם הכל קצת עמום יותר ב-VR". המסגרת הזו שמבהירה את החשיבות של רזולוציית רטינה, אורך מוקד משתנה ו-HDR הגיעה בעקבות שנים של עבודה עם DSR כדי להשקיע בטכנולוגיות האלה, לראות את היתרונות שלהן ממקור ראשון ולאחר מכן ליצור מסלול מעשי להתקדמות עבור כל אחת מהן.
 
ניתן ללנמן לומר את המילה האחרונה: "ייתכן שלייזרים יתגלו בסופו של דבר כבלתי מעשיים עבור VR, לפחות בצורה הדרושה ל-Holocake. במקרה זה, כל בית הקלפים של Mirror Lake יתמוטט. זהו האתגר של המצאת מערכות תצוגה חדשות שמתבססות על טכנולוגיות מתפתחות. אך הדרך הטובה ביותר להבטיח שתגיעו ליעד הרצוי היא למצוא נתיבים רבים להגיע לשם, ו-Mirror Lake הוא רק אחד מכיווני המחקר של DSR. בכל מקרה, ובכל נתיב שנתקדם בו, הצוות שלנו בטוח שהיעד שלנו הוא לעבור את מבחן טיורינג החזותי, ושאין שום דבר בפיזיקה שמונע מאיתנו להגיע לשם. ב-7 השנים האחרונות הצצנו לעתיד הזה, ואנחנו ממשיכים במחויבות מלאה למצוא נתיב מעשי למטאברס בעל ריאליזם חזותי אמיתי."

Latest Stories

To help personalize content, tailor and measure ads, and provide a safer experience, we use cookies. By clicking or navigating the site, you agree to allow our collection of information on and off Facebook through cookies. Learn more, including about available controls: Cookies Policy