告別VR噩夢(mèng)！Meta Reality Labs破解虛擬痛點(diǎn)，重塑全新VR世界
【新智元導(dǎo)讀】在SIGGRAPH 2023大會(huì)上，來(lái)自Meta Reality Labs的兩個(gè)原型機(jī)讓我們看到了「未來(lái)的一瞥」。
「世界上有兩種人： 認(rèn)為VR將改變世界的人，以及還沒(méi)嘗試過(guò)VR的人。 」
這是VR界宣傳自己的一句陳詞濫調(diào)了。
但對(duì)于第一次體驗(yàn)VR的人來(lái)說(shuō)，那一刻帶來(lái)的沖擊力是毋庸置疑的。
未來(lái)VR很有可能成為我們生活那種的一部分，8月6日至10日在洛杉磯舉行的SIGGRAPH 2023大會(huì)上，來(lái)自Meta Reality Labs Research的兩個(gè)原型機(jī)將會(huì)給我們機(jī)會(huì)看到這「未來(lái)的一瞥」。
Yang Zhao和Grace Kuo
第一個(gè)是Butterscotch Varifocal，它將Half Dome系列原型的變焦技術(shù)與我們?cè)?022年首次亮相的視網(wǎng)膜分辨率VR顯示器結(jié)合了起來(lái)。
Yang Zhao佩戴Butterscotch變焦研究原型機(jī)
第二個(gè)是Flamera，它是一款計(jì)算相機(jī)，采用光場(chǎng)技術(shù)實(shí)現(xiàn)無(wú)需再投影的VR穿透（passthrough）。
就像我們?cè)?021年首次分享的反向穿透（reverse passthrough）演示一樣，它的外觀和功能與現(xiàn)代頭戴式設(shè)備迥然不同，甚至看上去有些奇怪，但仔細(xì)研究后會(huì)發(fā)現(xiàn)它并不像乍看之下奇異。
Grace Kuo佩戴Flamera研究原型機(jī)
現(xiàn)在，Butterscotch Varifocal和Flamera都還處于研究階段。
Butterscotch 變焦鏡頭：聚焦細(xì)節(jié)
現(xiàn)今的頭戴式設(shè)備在虛擬世界的沉浸感方面做得非常出色，但仍受限于固定的焦距。
大部分人能夠識(shí)別距離眼睛約1米左右的物體，但物體與我們的臉部靠得太近，就很難清晰進(jìn)行視覺(jué)聚焦。
大多數(shù)VR開(kāi)發(fā)者設(shè)計(jì)時(shí)都會(huì)考慮到這一點(diǎn)，調(diào)整虛擬場(chǎng)景中的物體和動(dòng)作的距離，讓用戶在一個(gè)較為自然和舒適的距離內(nèi)看到虛擬世界中的事物，并保持清晰的視覺(jué)焦點(diǎn)。
但在使用VR進(jìn)行工作時(shí)，有時(shí)會(huì)需要在虛擬屏幕上閱讀文本，或者是觀察一個(gè)有趣的物體，欣賞其中的細(xì)節(jié)。
這時(shí)傳統(tǒng)VR頭顯通常具有的固定焦距就成為了阻礙。
Butterscotch Varifocal中的「varifocal」 即「變焦」。它利用眼動(dòng)追蹤技術(shù)，能夠在用戶接近物體或虛擬屏幕時(shí)，根據(jù)用戶的視覺(jué)焦點(diǎn)動(dòng)態(tài)調(diào)整焦距。
同時(shí)，Butterscotch Varifocal還結(jié)合了視網(wǎng)膜分辨率顯示屏（retinal-resolution），確保保用戶能夠清晰地看到近距離的細(xì)節(jié)，也能在遠(yuǎn)距離看到整個(gè)虛擬場(chǎng)景。
Butterscotch Varifocal致力于提高分辨率和增強(qiáng)視覺(jué)舒適性，實(shí)現(xiàn)了變焦技術(shù)并配備了視網(wǎng)膜級(jí)別的分辨率顯示屏，大約每度顯示60個(gè)像素（PPD），這足以達(dá)到人眼視力分辨的極限。
Flamera：穿透功能（Passthrough）的全新嘗試
一般來(lái)說(shuō)，VR頭顯的帶來(lái)的沉浸感越強(qiáng)越好。但完全與現(xiàn)實(shí)切斷聯(lián)系也會(huì)帶來(lái)許多麻煩。
混合現(xiàn)實(shí)（MR）和穿透功能（Passthrough）能夠讓虛擬世界與物理現(xiàn)實(shí)融合。
這樣一來(lái)，虛擬內(nèi)容可以帶到物理環(huán)境中。同時(shí)，用戶在沉浸式的虛擬空間中也可以捕捉到現(xiàn)實(shí)世界的畫面。
這個(gè)功能主要是通過(guò)VR頭顯上的攝像頭實(shí)現(xiàn)的，它通常在眼睛前方幾英寸的地方。
即當(dāng)用戶啟用穿透功能時(shí)，頭顯上的攝像頭就會(huì)捕捉周圍的實(shí)際環(huán)境，并將圖像傳遞到虛擬現(xiàn)實(shí)環(huán)境中，使用戶可以在虛擬世界中看到現(xiàn)實(shí)世界的畫面。
但這里存在著一個(gè)問(wèn)題：
攝像頭捕捉到的視圖與人眼看到的不同，盡管圖像在返回時(shí)會(huì)重新計(jì)算并投影給用戶，但這很可能會(huì)在這個(gè)過(guò)程中發(fā)生視覺(jué)異常。
為了解決這一挑戰(zhàn)，Grace Kuo表示：他們?cè)O(shè)計(jì)了一種光學(xué)架構(gòu)，可以直接捕捉與肉眼看到的光線相同的光線。
為了讓這個(gè)具有特殊架構(gòu)適配VR頭顯，Reality Labs Research團(tuán)隊(duì)從頭開(kāi)始設(shè)計(jì)頭顯，最終得到了能夠?qū)崿F(xiàn)更好的穿透圖像質(zhì)量和更低的延遲的攝像頭。
Grace Kuo
Demo or Die：通往SIGGRAPH之路
長(zhǎng)久以來(lái)，團(tuán)隊(duì)一直秉持著「要么展示，要么死亡」（Demo or Die）的精神。
Lanman介紹說(shuō)，「Demo or D ie」一詞起源于MIT媒體實(shí)驗(yàn)室，成千上萬(wàn)的研究人員在那里學(xué)會(huì)了這個(gè)口頭禪。
他表示，關(guān)鍵是要使用demo來(lái)解釋「為什么」，而不是「什么」，比如為什么他們想要變焦、光場(chǎng)直通和HDR。
SIGGRAPH技術(shù)的核心，就是演示新興的、硬件驅(qū)動(dòng)的技術(shù)，鼓勵(lì)SIGGRAPH社區(qū)用他們的才能解決計(jì)算機(jī)圖形和交互方面的問(wèn)題。
Starburst取得了令人振奮的成功，并斬獲了SIGGRAPH 2022的新興技術(shù)最佳展示獎(jiǎng)。
以下是一些團(tuán)隊(duì)希望告訴讀者的話——
直通是一項(xiàng)重要的技術(shù)，可以讓人們?cè)诖髦^顯時(shí)與周圍環(huán)境保持聯(lián)系。
通過(guò)構(gòu)建不受商業(yè)化產(chǎn)品限制的demo，我們可以測(cè)試新技術(shù)，展示VR中的不同體驗(yàn)。
我希望，嘗試過(guò)我們demo的人能夠一窺未來(lái)的VR會(huì)是什么樣子——即使頭顯的外觀與我們今天習(xí)慣的外觀大不相同。
——Grace Kuo
通過(guò)我們的工作，我希望人們可以從第一人稱的角度看到，VR可以為他們解鎖哪些體驗(yàn)和能力。
——Yang Zhao
雖然這種VR不會(huì)立即在商店里買到，但如果需求存在，技術(shù)繼續(xù)進(jìn)步，就很可能會(huì)有那樣一天。
——Olivier Mercier
「VR的可能性與目前市場(chǎng)上可用的功能之間存在很大區(qū)別。我們的兩個(gè)SIGGRAPH新興技術(shù)demo提供了一個(gè)獨(dú)特的機(jī)會(huì)，讓我們看到如果每個(gè)軸都被推到更高的質(zhì)量，在不考慮實(shí)際生產(chǎn)限制的情況下，可以創(chuàng)造出多么逼真的虛擬體驗(yàn)。
我希望那些計(jì)劃參加SIGGRAPH的人仔細(xì)看這兩個(gè)demo。SIGGRAPH是一個(gè)非常有才華的學(xué)術(shù)社區(qū)，如果只有一小部分成員將注意力轉(zhuǎn)移到這些挑戰(zhàn)上，都會(huì)推動(dòng)時(shí)間線，在VR/MR中開(kāi)發(fā)更好的視覺(jué)體驗(yàn)。
對(duì)于那些SIGGRAPH以外的人，我希望他們從中尋求解決方案，來(lái)應(yīng)對(duì)這些跨越硬件和軟件的艱巨挑戰(zhàn)。
——Douglas Lanman
One More Thing...
那么，我們應(yīng)該選擇去工業(yè)界還是去研究實(shí)驗(yàn)室呢？
Lanman認(rèn)為，在研究團(tuán)隊(duì)中，可以構(gòu)建任何給定概念的原型。
但必須承認(rèn)，這些原型中的大多數(shù)并不會(huì)成為消費(fèi)產(chǎn)品，它們對(duì)于大規(guī)模生產(chǎn)是不切實(shí)際的，比如需要妥協(xié)產(chǎn)品尺寸、重量、成本或功率，或者需要等待幾種技術(shù)成熟。
以變焦為例，團(tuán)隊(duì)從1990年代的論文中了解了這個(gè)概念，2015年才首次開(kāi)始研究，2018年開(kāi)始公開(kāi)談?wù)摗?/p>
在那段時(shí)間里，Oculus（現(xiàn)在的Meta Quest）作為一家初創(chuàng)公司快速發(fā)展，并推出了三代頭顯。
產(chǎn)品團(tuán)隊(duì)的責(zé)任是快速行動(dòng)，而只有研究界才擁有特權(quán)考慮未來(lái)某一天的事情，而不是現(xiàn)在需要發(fā)生的事情。
因此，在作為一名研究界科學(xué)家工作了二十年后，我的看法是：研究的主要職責(zé)是指出產(chǎn)品還欠缺什么。
沒(méi)有人要求變焦或解決會(huì)聚-調(diào)節(jié)沖突，光場(chǎng)直通或反向直通。
我們需要和更廣泛的SIGGRAPH社區(qū)儀器，實(shí)現(xiàn)計(jì)算成像概念，拉動(dòng)時(shí)間表。
近十年來(lái)，我們一直在討論新興的顯示技術(shù)，比如變焦。
雖然無(wú)法說(shuō)出，何時(shí)這些技術(shù)能應(yīng)用于產(chǎn)品，但demo會(huì)說(shuō)服大多數(shù)人：這些挑戰(zhàn)值得解決。
參考資料：