11月3日-4日，2021年騰訊數(shù)字生態(tài)大會(huì)在武漢中國(guó)光谷科技會(huì)展中心舉行。在今年大會(huì)的門(mén)口，騰訊云用6萬(wàn)塊積木建起的一個(gè)6米高的大logo格外吸睛，成為一個(gè)熱門(mén)打卡點(diǎn)，而用戶(hù)得到的不只是一張靜態(tài)的“游客照”，而是一段可以在終端自由切換觀看角度的視頻，這仿佛在現(xiàn)實(shí)生活中打開(kāi)了王者榮耀的“自由視角”—— 而這個(gè)特殊的體驗(yàn)環(huán)節(jié)背后也是騰訊多媒體實(shí)驗(yàn)室自主研發(fā)的自由視角空間視頻技術(shù)的支撐。

“產(chǎn)業(yè)數(shù)字化對(duì)于很多客戶(hù)而言是一個(gè)理解過(guò)于繁復(fù)的過(guò)程。騰訊云希望像積木一樣實(shí)現(xiàn)自由組合，即插即用，助力客戶(hù)‘化繁為簡(jiǎn)，以小建大’，”積木云項(xiàng)目負(fù)責(zé)人之一，多媒體實(shí)驗(yàn)室業(yè)務(wù)負(fù)責(zé)人Jeff告訴36氪，“這也是我們?yōu)槭裁床邉澾@樣一個(gè)打卡體驗(yàn)的原因。自由視角背后原理很復(fù)雜，適應(yīng)場(chǎng)景很多元，但這樣一個(gè)專(zhuān)屬的個(gè)人體驗(yàn)，能更簡(jiǎn)單直接感受自由視角的魅力，也有機(jī)會(huì)去讓大家暢想它未來(lái)更‘大‘的魅力與前景應(yīng)用?！?/strong>

沒(méi)有人走過(guò)的路

早在2018年，騰訊多媒體實(shí)驗(yàn)室就在騰訊杰出科學(xué)家劉杉博士帶領(lǐng)下開(kāi)始了對(duì)沉浸式媒體（包括自由視角、VR/AR等）技術(shù)的研發(fā)工作。作為一個(gè)提升用戶(hù)沉浸式體驗(yàn)感的技術(shù)，但最開(kāi)始，自由視角在國(guó)內(nèi)似乎沒(méi)什么關(guān)注度。

彼時(shí)，VR/AR領(lǐng)域經(jīng)過(guò)幾年的熱炒，因?yàn)樯袩o(wú)法為用戶(hù)帶來(lái)較好的沉浸式體驗(yàn)，熱度驟減，不論是投資機(jī)構(gòu)還是科技公司都尚未清晰意識(shí)到構(gòu)建沉浸式體驗(yàn)的價(jià)值。2018全年VR/AR領(lǐng)域的融資總額還不及2017年下半年融資數(shù)額的一半。

而相比VR技術(shù)，自由視角在技術(shù)難度上更大了。VR是固定觀察者位置，從中心向四周看，模擬人在特定位置轉(zhuǎn)動(dòng)頭部的觀察體驗(yàn)。而自由視角則是相反，是從四周向中心看，即觀察者除了可以通過(guò)轉(zhuǎn)動(dòng)頭部變換視角，還可以變換位置進(jìn)行視角切換。更多的視角自由度意味著需要更多的數(shù)據(jù)和更復(fù)雜的算法，因此自由視角在技術(shù)上更具挑戰(zhàn)性。

在自由視角技術(shù)概念尚處于早期階段，騰訊多媒體實(shí)驗(yàn)室就已經(jīng)發(fā)現(xiàn)了這項(xiàng)技術(shù)背后的巨大潛力，將其作為沉浸式媒體產(chǎn)品線的一部分開(kāi)始進(jìn)行研發(fā)。同時(shí)，實(shí)驗(yàn)室標(biāo)準(zhǔn)團(tuán)隊(duì)還深度參與了國(guó)際自由視角相關(guān)技術(shù)的國(guó)際和國(guó)內(nèi)標(biāo)準(zhǔn)制定。

2020年，5G技術(shù)開(kāi)始逐步進(jìn)入商用階段，5G建設(shè)和應(yīng)用持續(xù)推進(jìn)，作為新一代的移動(dòng)通訊技術(shù)，5G在傳輸速率、資源利用率方面相比4G均實(shí)現(xiàn)了較大提升。高可靠、低時(shí)延的5G技術(shù)滿(mǎn)足了自由視角對(duì)網(wǎng)絡(luò)帶寬的要求，輔以顯示技術(shù)的發(fā)展與成熟，自由視角又再次走到了臺(tái)前。

經(jīng)過(guò)3年的技術(shù)打磨，在2021年的騰訊數(shù)字生態(tài)大會(huì)，騰訊多媒體實(shí)驗(yàn)室研發(fā)的端到端自由視角解決方案“閃亮登場(chǎng)”，為頗為火熱的“全真互聯(lián)”概念邁出了實(shí)踐性的一步。

《黑客帝國(guó)》如何從電影走入現(xiàn)實(shí)

相信許多80和90后關(guān)于科幻的最初概念都來(lái)自于《黑客帝國(guó)》系列電影。電影中由基努·里維斯飾演的主角尼奧在傾身躲子彈時(shí)仿佛時(shí)間靜止，展現(xiàn)出的360度旋轉(zhuǎn)全景場(chǎng)面過(guò)去了20年還是讓人印象深刻。

通過(guò)多機(jī)位快速連續(xù)捕捉拍攝目標(biāo)，并對(duì)拍攝內(nèi)容進(jìn)行處理是《黑客帝國(guó)》視覺(jué)效果總監(jiān)約翰·蓋特首先應(yīng)用的， 2013年火遍全國(guó)的韓劇《來(lái)自星星的你》中都教授暫停時(shí)間時(shí)的全景視角應(yīng)用的也是這種方法。而這也是自由視角技術(shù)的最初的原型。

（《黑客帝國(guó)》拍攝現(xiàn)場(chǎng)機(jī)位設(shè)置，和下圖通過(guò)側(cè)滑的形式呈現(xiàn)）

（《來(lái)自星星的你》拍攝現(xiàn)場(chǎng)機(jī)位設(shè)置，和上圖通過(guò)側(cè)滑的形式呈現(xiàn)）

自由視角技術(shù)鏈條較長(zhǎng)，大致可以分為圖像數(shù)據(jù)采集、網(wǎng)絡(luò)傳輸、處理分析和客戶(hù)端顯示等多個(gè)環(huán)節(jié)。由于需要實(shí)現(xiàn)實(shí)時(shí)的視角切換，自由視角在技術(shù)實(shí)現(xiàn)難度上比后期制作時(shí)間充足的電影拍攝更勝一籌：

現(xiàn)實(shí)中的自由視角與王者榮耀等游戲中的自由視角模式最大的不同就在于需要對(duì)現(xiàn)實(shí)中的圖像進(jìn)行實(shí)時(shí)采集。在圖像數(shù)據(jù)采集環(huán)節(jié)，需要圍繞被拍攝物等距離放置攝像裝置，以保證能夠捕捉到拍攝物多角度的圖像信息。由于需要在顯示時(shí)實(shí)現(xiàn)實(shí)時(shí)切換，自由視角對(duì)攝像終端的同步性要求極高。如果數(shù)十、甚至上百臺(tái)的終端設(shè)備傳回的數(shù)據(jù)有時(shí)間差，則一個(gè)固定時(shí)間點(diǎn)上的圖像信息則難以進(jìn)行整合，為后續(xù)的圖像渲染帶來(lái)了巨大的困難，從而不能流暢切換。

在網(wǎng)絡(luò)傳輸環(huán)節(jié)，由于終端設(shè)備的數(shù)量較多、單個(gè)設(shè)備采集的數(shù)據(jù)量也較大，保證終端采集的數(shù)據(jù)能夠高質(zhì)量、快速的傳輸?shù)綌?shù)據(jù)處理中心是網(wǎng)絡(luò)傳輸環(huán)節(jié)的最大難點(diǎn)。隨著5G技術(shù)的普及和6G技術(shù)時(shí)代的即將到來(lái)，自由視角在網(wǎng)絡(luò)傳輸環(huán)節(jié)的難點(diǎn)正在逐漸被克服。

“面對(duì)超長(zhǎng)的技術(shù)鏈條和眾多關(guān)鍵節(jié)點(diǎn)的技術(shù)難題，騰訊多媒體實(shí)驗(yàn)室選擇了端到端、從編解碼器到上層實(shí)現(xiàn)的純自研解決方案，以保障用戶(hù)在應(yīng)用自由視角技術(shù)時(shí)的完整順滑體驗(yàn)?！倍嗝襟w實(shí)驗(yàn)室專(zhuān)家介紹。

從采集、傳輸，到云端處理、拼接畫(huà)面，再到圖像渲染、顯示，騰訊均實(shí)現(xiàn)了技術(shù)突破，全流程保證了自由視角的體驗(yàn)質(zhì)量。在畫(huà)面采集與傳輸流程，該解決方案通過(guò)算法高效保證了攝像頭信號(hào)的高效同步；在畫(huà)面處理和渲染環(huán)節(jié)，騰訊多媒體實(shí)驗(yàn)室花費(fèi)了較大的努力，對(duì)鏡頭間的畫(huà)面畸變進(jìn)行校準(zhǔn)和優(yōu)化，并利用深度學(xué)習(xí)自動(dòng)的對(duì)多幅畫(huà)面進(jìn)行校準(zhǔn)和匹配、拼接。結(jié)合視角預(yù)測(cè)、預(yù)加載優(yōu)化等多種算法，該解決方案實(shí)現(xiàn)了多視角的實(shí)時(shí)切換。同時(shí)，針對(duì)不同的應(yīng)用場(chǎng)景，騰訊的自由視角解決方案提供了不同的特異性?xún)?yōu)化算法，使得個(gè)性化場(chǎng)景下的處理效果更優(yōu)；在顯示方面，騰訊自研的播放器也可以為自由視角提供助力，多項(xiàng)技術(shù)結(jié)合，為用戶(hù)提供低延時(shí)、高畫(huà)質(zhì)的視頻觀看體驗(yàn)。

隨著未來(lái)硬件技術(shù)的進(jìn)一步發(fā)展和迭代，騰訊將持續(xù)將更低成本、端到端的自由視角技術(shù)推向賽事直播、演唱會(huì)、活動(dòng)直播、在線教學(xué)等各種側(cè)重臨場(chǎng)感和沉浸感的場(chǎng)景，讓沉浸式體驗(yàn)走入生活，從而給從游戲、影視制作、社交、多人協(xié)作等各個(gè)領(lǐng)域帶來(lái)全新改變和更深遠(yuǎn)的影響。

“元宇宙”很遠(yuǎn)，全真互聯(lián)在當(dāng)下

雖然今年“元宇宙”的熱潮似乎概念大過(guò)實(shí)質(zhì)，但追求沉浸式的“全真互聯(lián)”技術(shù)卻是共識(shí)的未來(lái)互聯(lián)網(wǎng)技術(shù)的發(fā)展方向。馬化騰在2020年底為騰訊年度特刊《三觀》撰寫(xiě)的前言中，就提到了“全真互聯(lián)網(wǎng)”的概念。

在未來(lái)，隨著人們對(duì)于更沉浸、更自由的“全真”觀看體驗(yàn)的需求不斷增加，自由視角技術(shù)將成為很多場(chǎng)景中的首選甚至是必選。如在線上演唱會(huì)場(chǎng)景中，自由視角可以讓觀眾無(wú)需出門(mén)，即獲得比vip座位更接近舞臺(tái)、比在現(xiàn)場(chǎng)座位更自由的觀看角度，將大大提升觀看體驗(yàn)，降低觀眾參與和欣賞表演的成本，實(shí)現(xiàn)千里之外，猶如身臨其境，實(shí)現(xiàn)對(duì)舞臺(tái)更還原、立體、忠實(shí)的影音記錄。

在向“全真互聯(lián)”時(shí)代邁進(jìn)時(shí)，騰訊作為國(guó)內(nèi)音視頻領(lǐng)域的領(lǐng)導(dǎo)者，也一直走在沉浸式相關(guān)技術(shù)的研究前沿，穩(wěn)步前行。騰訊多媒體實(shí)驗(yàn)室專(zhuān)家們?cè)谥С之a(chǎn)品研發(fā)的同時(shí)，也積極參與20余項(xiàng)多媒體領(lǐng)域國(guó)際和國(guó)內(nèi)標(biāo)準(zhǔn)制定，目前已有已有超過(guò) 500項(xiàng)專(zhuān)利技術(shù)被多個(gè)國(guó)際標(biāo)準(zhǔn)采納，為中國(guó)企業(yè)贏得了國(guó)際聲譽(yù)。

當(dāng)然，自由視角技術(shù)只是騰訊邁向“全真互聯(lián)”一小步。在未來(lái)，騰訊多媒體實(shí)驗(yàn)室將能不斷進(jìn)行技術(shù)優(yōu)化迭代，推動(dòng)“自由視角”和其他提升用戶(hù)體驗(yàn)感的沉浸式多媒體技術(shù)的創(chuàng)新，并提出更好的解決方案，促進(jìn)“全真互聯(lián)網(wǎng)”在更多應(yīng)用場(chǎng)景下的落地，為用戶(hù)、開(kāi)發(fā)者和合作伙伴提供更有效的服務(wù)和支持。