首頁>資訊 >
世界快資訊:擊碎次元壁:Google 發(fā)布 3D 全息通話黑科技,視頻通話要被顛覆了 2022-10-18 19:47:40  來源:36氪

如果你的異地戀對象過生日,你會怎么給他/她慶祝?

發(fā)一段微信消息?單純的文字好像略顯冰冷。

打一通電話?真切的情感似乎釋放得不夠徹底。


(資料圖)

撥一個(gè)視頻電話?總有點(diǎn)看得見碰不著的缺失感。

這個(gè)時(shí)候,我們總會想:如果能夠第一時(shí)間出現(xiàn)在對方的身旁,那就最好了。

然而,多啦 A 夢的任意門對于 21 世紀(jì)的人類科技來說還是過于超前,但先別急著氣餒,至少現(xiàn)在我們已經(jīng)可以傳送一個(gè)虛擬的自己到對方的面前。

什么?你以為我又要講玄之又玄的元宇宙了?

我所說的可不是一個(gè)沒有腳的漫畫卡通化身,而是與你長得幾乎一模一樣,并且全息立體的「你」。

與「真人」對話

在去年的 5 月 Google I/O 大會上,Google 的 CEO Sundar Pichai 發(fā)布了可以不需要依靠頭戴設(shè)備就能實(shí)現(xiàn) 3D 全息視頻通話項(xiàng)目—— Project Starline。

Project Starline 是 Google 內(nèi)部高度保密的實(shí)驗(yàn)項(xiàng)目之一,根據(jù) Google 的研究員透露,項(xiàng)目小組在 6 年前就已經(jīng)開始做相關(guān)的技術(shù)研究,一直到 2021 年才向公眾發(fā)布,而在此之后又沉寂了幾乎一整年。

就在人們以為這是 Google 又一「畫大餅」項(xiàng)目時(shí),Project Starline 在最近邀請了包括 The Verge 在內(nèi)的媒體和合作伙伴前往實(shí)驗(yàn)室親身體驗(yàn)。

The Verge 編輯 Jay Peters 在體驗(yàn)后感嘆稱,這是他迄今體驗(yàn)過最真實(shí)的一次虛擬現(xiàn)實(shí)交互,「感覺就像是科幻小說照進(jìn)了現(xiàn)實(shí)」。

人類通訊手段一直緊跟信息技術(shù)的發(fā)展在不斷升級。從古早的電報(bào)文到電話、再到視頻通話,人類傳遞信息的維度不斷升級,信息傳遞的及時(shí)性和內(nèi)容也在不斷提高。

如果以這兩個(gè)維度作為發(fā)展的坐標(biāo)軸的話,我們不難想象,通訊技術(shù)的下一個(gè)階段將會涵蓋聲音、影像、空間位置等更豐富的內(nèi)容,并能以幾乎無延遲的方式瞬時(shí)傳輸。

在很多科幻電影中,科幻創(chuàng)作者認(rèn)為全息立體影像通話便是符合這一定義的下一代通信手段。

也就是說,繼人類成功地把熟悉的人臉帶到身邊之后,下一步就是把「本人」帶來現(xiàn)場。

于是乎,Project Starline 項(xiàng)目應(yīng)運(yùn)而生。

Project Starline 的產(chǎn)品管理總監(jiān) Andrew Nartker 在接受媒體采訪時(shí)提到,他們在通信技術(shù)方面取得的突破,能讓用戶與世界各地的人們變得更加親密,彼此之間的聯(lián)系也更加緊密。

從 Project Starline 的裝置外表來看,它似乎和「3D」「全息影像」等高科技詞匯不太沾邊——要知道在科幻電影里,主角們都是通過一個(gè)充滿未來感的金屬圓形底座進(jìn)行全息立體投影通話,與之相比,Project Starline 更像是一個(gè)精致一點(diǎn)的梳妝臺。

當(dāng) Project Starline 的大屏亮起時(shí),遲到的科技感才慢慢地鋪陳開來。

Jay Peters 稱,Project Starline 就像是一塊具有魔法的窗戶,將兩間房間連在了一起,坐在他對面的谷歌研究員看起來和真人的高度、長相幾乎一致,當(dāng)他遞過來一個(gè)蘋果時(shí),他甚至能通過畫面上的陰影感受到近似真實(shí)世界的空間距離感。

這像是一場發(fā)生在同一張桌子上的面對面交流,其擬真程度幾乎讓人忘了兩間測試房實(shí)際上相隔甚遠(yuǎn)。

之所以用「擬真」來形容這場別開生面的會談(你平時(shí)一定不會聽到有人說視頻通話里的人長得好逼真),是因?yàn)楫嬅娼K端顯示的畫面其實(shí)并非是單純的影像畫面,而是根據(jù)圖像、深度等信息重新渲染的「虛擬人」,而這是營造超現(xiàn)實(shí)臨場感的關(guān)鍵。

3D 的秘密

將真人虛擬化為什么反而會更加真實(shí)?要理解這個(gè)問題先要從 Project Starline 的工作原理下手。

坐在這張精致「梳妝臺」面前,最矚目的莫過于這塊 65 寸的大屏幕,這可不是普通的家用電視,而是一塊 8K/60Hz 的 3D 光場顯示器,Google 的研究員稱其單眼可觀測的像素密度是 Oculus Quest 等 VR 設(shè)備的兩倍,可以有更精細(xì)的立體顯示效果。

要讓這塊光場顯示器顯示出立體效果,就需要采集物體的深度信息。研究員在屏幕的上方和底部都安置了多個(gè)雙目立體相機(jī)和紅外相機(jī),這樣就能結(jié)合多角度的深度信息還原出人物的空間距離感。

在屏幕的兩側(cè)和上方還安裝了多個(gè)單色跟蹤攝像頭,用于對人物臉部五官的實(shí)時(shí) 3D 定位,這樣當(dāng)人物在移動(dòng)時(shí)也能精準(zhǔn)地還原人物模型。

真人照片

渲染效果

當(dāng)這些采集到的位置和畫面信息傳輸?shù)搅私邮斩耍到y(tǒng)會根據(jù)觀眾左右眼的位置渲染出三個(gè)深度流,與紋路流混合渲染出逼真的「虛擬人」。

這時(shí)候,當(dāng)觀眾的眼睛位置改變,圖像的位置也會跟隨眼球移動(dòng)做細(xì)微的位置偏轉(zhuǎn),這是傳統(tǒng) 2D 影像所不能提供的空間真實(shí)感。

Project Starline 除了要在視覺上打破「次元壁」外,在聽覺上也下了不少功夫。

在輸入端,麥克風(fēng)可以配合臉部追蹤的數(shù)據(jù)形成具有指向性的動(dòng)態(tài)波束,以實(shí)現(xiàn)降噪和抗干擾。在輸出端,追蹤系統(tǒng)則能定位觀眾的耳朵,模擬出對話的空間方位感,讓聲音聽起來就像是屏幕中的嘴巴說出來一樣。

試想一下,當(dāng)你要與同事、合作伙伴舉行重要的視頻會議時(shí),與會者不再需要全神貫注地盯著狹小的屏幕,眼神不用再迷離在攝像頭之外,而是可以與你做自然的眼神接觸,甚至能用一些肢體語言輔助表達(dá),這樣的參會體驗(yàn)將會是一種質(zhì)的飛躍。

不過現(xiàn)階段 Project Starline 距離實(shí)際應(yīng)用仍然有很長一段路要走。

Wired 的編輯 Lauren Goode 在體驗(yàn)過 Project Starline 后表示,雖然全息視頻的視覺效果在大多數(shù)時(shí)間都很棒,但當(dāng)人物移動(dòng)幅度過大時(shí),原本立體的圖像就會短暫變回平面,體驗(yàn)不甚完美。

Google 的研究員也提到,在處理形狀復(fù)雜(例如蓬松的毛發(fā)、光學(xué)眼鏡)或者運(yùn)動(dòng)物體時(shí),時(shí)常會有錯(cuò)誤的「偽影」出現(xiàn),其團(tuán)隊(duì)目前正致力于提高影像處理的準(zhǔn)確性。

除了技術(shù)上的障礙,布設(shè)一整套 Project Starline 的成本也相當(dāng)高昂,昂貴的光場顯示器和各種光學(xué)攝像頭注定了 Project Starline 在目前只能是實(shí)驗(yàn)室產(chǎn)品,要想打入消費(fèi)者市場幾乎不太可能。

Andrew Nartkerct 在接受 The Verge 采訪時(shí)坦誠說道,Project Starline 是一項(xiàng)振奮人心的全新技術(shù),是空間交互領(lǐng)域的一次突破性的探索,但目前它仍很難稱得上是一件「產(chǎn)品」。

海內(nèi)存知己,天涯若比鄰

那么,Project Starline 花這么大力氣到底是要解決些什么呢?項(xiàng)目組給出的答案也很簡單:讓你感覺到你和一個(gè)真正的人在一起。

在過去的一年里,以 Zoom 為代表的遠(yuǎn)程會議軟件在企業(yè)、學(xué)校得到了廣泛的使用,人們因?yàn)楦鞣N原因分隔開,不得不通過這些視頻軟件協(xié)同工作,甚至組織一次難得見面,人與人之間的聯(lián)系也因此被沖淡。

微軟在一份關(guān)于視頻會議對工作效率的影響的報(bào)告中提到,人們在視頻會議中會比現(xiàn)實(shí)溝通更容易分心,這是人們在面對高壓力的視頻會議下的自然應(yīng)對反應(yīng)。

而能提供真人對話體驗(yàn)的 Project Starline,似乎能消除這種妨礙溝通的壓力感。

雖然 Project Starline 布滿各式各樣的攝像器材,但當(dāng)其工作起來后,這些冷冰冰的技術(shù)都會被參會者拋到腦后,因?yàn)檫@時(shí)候在他面前與之溝通坐著的是一個(gè)近乎真實(shí)的「人」。

Google 的研究員經(jīng)過對比實(shí)驗(yàn)后發(fā)現(xiàn),相比于傳統(tǒng)視頻溝通,使用 Project Starline 溝通的參會者會有更多的眼神接觸和肢體語言,在溝通結(jié)束后能夠回憶的內(nèi)容也要多出 28%。這也許就是自然溝通的魅力。

目前 Project Starline 僅在 Google 內(nèi)部給員工們做小范圍的實(shí)驗(yàn),Google 稱從今年開始會陸續(xù)地向包括 Salesforce,WeWork,T-Mobile 在內(nèi)的合作伙伴開放測試,推動(dòng)人與人建立更深的聯(lián)系。

Project Starline 未來會得到普及,成為 3D 時(shí)代的電話亭嗎?

對于這樣一個(gè)技術(shù)超前的項(xiàng)目來說,這個(gè)問題在目前很難給出一個(gè)定論,Project Starline 可能會成功成為一個(gè)真正的產(chǎn)品,也被過高的成本拖垮導(dǎo)致胎死腹中,甚至可能成為 Google 未來 AR、VR 技術(shù)的一部分。

但無論怎樣,這種呼應(yīng)人們真實(shí)需求的未來科技,值得科技圈投入更多的關(guān)注。

畢竟,在人們習(xí)慣分離的當(dāng)下,沒什么比親眼見上一面更加珍貴。

關(guān)鍵詞: 視頻會議 視頻通話 合作伙伴

相關(guān)閱讀:
熱點(diǎn)
圖片 圖片