文 | 王毓嬋 編 | 張信宇
11 月 7 日,“進(jìn)入外太空”將近 5 個(gè)月后,小諍傳回了她行走在火星表面的視頻。這條視頻展示了火星地表的景色和氣象變化,在 B 站獲得了 15 萬(wàn)播放和 700 多條評(píng)論。
小諍的身份是“新華社數(shù)字記者”、“全球首位數(shù)字航天員”,她由新華社媒體融合生產(chǎn)技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室與騰訊互娛旗下 NExT Studios 聯(lián)合打造,首次亮相于 6 月 17 日神舟十二號(hào)載人飛船發(fā)射的當(dāng)天。按照規(guī)劃,她未來(lái)會(huì)替代真人記者,完成在火星的新聞報(bào)道任務(wù)。
火星上的小諍
“這次火星之旅,是在多場(chǎng)景數(shù)字人資產(chǎn)運(yùn)用取得了一定積累之后,面向下一階段——‘大規(guī)??山换?shù)字場(chǎng)景’開(kāi)展的關(guān)鍵嘗試。你可以說(shuō)它面向全真互聯(lián)網(wǎng)的超級(jí)數(shù)字場(chǎng)景雛形?!盢ExT Studios 新技術(shù)研發(fā)中心副總監(jiān)葛誠(chéng)說(shuō)。
為小諍提供技術(shù)支持的 NExT Studios (官方稱作“騰訊互娛新體驗(yàn)與技術(shù)部”)是一家騰訊互娛旗下的電子游戲開(kāi)發(fā)商,于 2017 年 4 月在中國(guó)上海成立。NExT Studios在創(chuàng)作超寫(xiě)實(shí)數(shù)字航天員之前,還發(fā)布過(guò)實(shí)時(shí)高保真數(shù)字人 Siren(塞壬)等。
NExT Studios 新技術(shù)研發(fā)中心副總監(jiān)葛誠(chéng)參與了對(duì)小諍和塞壬等數(shù)字人的塑造工作,也見(jiàn)證了近兩年來(lái)該領(lǐng)域技術(shù)水平的提升——2017 年,為了創(chuàng)作塞壬,NExT Studios 花了四個(gè)跨國(guó)團(tuán)隊(duì)將近一年的時(shí)間。而今年,小諍從無(wú)到有,只用了 NExT Studios 15 名工程師的 3 個(gè)月。
小諍
以下為 36 氪與葛誠(chéng)的采訪實(shí)錄:
從代碼到火星——小諍的異世界之旅
36氪:小諍在火星的這一期視頻是如何誕生的?Next Studios 做了哪些工作?
葛誠(chéng):這期高沉浸火星場(chǎng)景視頻主要圍繞小諍探秘火星展開(kāi),新華社負(fù)責(zé)總策劃、腳本分鏡設(shè)計(jì)以及人工智能語(yǔ)音合成等工作;NExT Studios 負(fù)責(zé) 3D 資產(chǎn)制作,場(chǎng)景搭建,特效仿真,音頻制作,渲染合成等。
36氪:你們 2017 年創(chuàng)作塞壬時(shí)投入了很大的時(shí)間和人力成本,今年創(chuàng)作小諍就快了很多,效率是怎么提升的?
葛誠(chéng):可以從兩個(gè)方面解釋:一是塞壬追求的是和真人一模一樣,而小諍是超寫(xiě)實(shí),即 Artist 以真人為基礎(chǔ)加以創(chuàng)作,所以她其實(shí)并不需要像某個(gè)真人,省去了不少 LookDev 的工程量;二是我們 2018 年做完塞壬之后,搭建了一條數(shù)字人制作管線 xFaceBuilder?。
從建模、綁定到動(dòng)畫(huà),這條管線貫穿了數(shù)字人最關(guān)鍵的人臉制作的流程。xFaceBuilder? 幫我們省下了很多時(shí)間,所以我們僅僅花了兩個(gè)半月,就為小諍做出了第一個(gè)視頻。
36氪:在新華社的 B 站視頻封面上寫(xiě)著一行字“按任意鍵進(jìn)入游戲”,這是什么意思?未來(lái)普通人能夠跟小諍有更多互動(dòng)嗎?
B站視頻封面截圖
葛誠(chéng):高沉浸互動(dòng)數(shù)字場(chǎng)景是個(gè)有魅力的方向,借助 AI 和實(shí)時(shí)圖形技術(shù),我們希望能讓普通人也能和高沉浸的數(shù)字內(nèi)容互動(dòng)。
36氪:小諍此次傳回的行走在火星表面的視頻看起來(lái)比之前復(fù)雜得多,Next Studios 是如何完成場(chǎng)景制作的?
葛誠(chéng):這次是我們第一次使用 UE5 實(shí)時(shí)出片,主要探索的是大場(chǎng)景、海量高解析度模型在 UE5 中的極限表現(xiàn)。角色資產(chǎn)的制作流程上,我們還是依靠自研的 xFaceBuilder 和 xMoCap(基于光學(xué)動(dòng)捕的動(dòng)畫(huà)生產(chǎn)管線)兩套管線,場(chǎng)景制作我們引入了 Houdini 過(guò)程化資產(chǎn)生成(PCG)能力,加速了場(chǎng)景資產(chǎn)的生產(chǎn)效率。
這次整個(gè)場(chǎng)景和角色資產(chǎn)從無(wú)到有,用了不到 3 個(gè)月時(shí)間,而且大量資產(chǎn)是可復(fù)用的,可能會(huì)用于未來(lái)的實(shí)時(shí)互動(dòng)場(chǎng)景。
中國(guó)虛擬人的發(fā)展現(xiàn)狀
36氪:xFaceBuilder 可以被應(yīng)用在游戲開(kāi)發(fā)中嗎?
葛誠(chéng):可以。我們本身就是希望這套流程既可以生產(chǎn)數(shù)字人,也可以生產(chǎn)游戲角色。實(shí)際上,騰訊已經(jīng)有項(xiàng)目開(kāi)始使用 xFaceBuilder 完成了游戲角色的建模、綁定和動(dòng)畫(huà)制作等工作。
36氪:未來(lái) xFaceBuilder 有可能會(huì)被開(kāi)放出來(lái)嗎?
葛誠(chéng):目前在騰訊內(nèi)部它其實(shí)已經(jīng)是一個(gè)開(kāi)放狀態(tài)了。但我們還需要打磨,因?yàn)樗粌H要支持虛擬人,還要支持游戲角色,這個(gè)打磨的過(guò)程可能需要一兩年。
36氪:從技術(shù)角度來(lái)說(shuō),創(chuàng)造虛擬人的底層基礎(chǔ)設(shè)施已經(jīng)比較完善了。最近有不少虛擬人網(wǎng)紅出現(xiàn),其中有些虛擬人甚至是只靠一個(gè)人的力量被創(chuàng)作出來(lái)的。未來(lái)創(chuàng)作和運(yùn)營(yíng)虛擬人會(huì)成為一件沒(méi)有技術(shù)門(mén)檻的事情嗎?
葛誠(chéng):整個(gè)虛擬人的制作分兩個(gè)階段,先是模型和綁定的制作,再是動(dòng)畫(huà)制作。前一個(gè)階段相當(dāng)于把模具做好,后一個(gè)階段相當(dāng)于用模具來(lái)生產(chǎn)產(chǎn)品。
把靜態(tài)模型做到“好看”并不難。在電影 CG 行業(yè),一些資深的模型師一個(gè)人就能調(diào)出非常好看、非常像真人的模型,吃的是模型師的手上功夫。更難的還是讓它動(dòng)起來(lái)也很自然傳神,這就需要精細(xì)的動(dòng)畫(huà)技術(shù),比如:物理仿真,綁定,動(dòng)捕。我們?cè)陔娪袄锝?jīng)常能看到很像真人的CG角色,但讓它實(shí)時(shí)地動(dòng)起來(lái)就很困難。
小諍的面部細(xì)節(jié)
其次是動(dòng)畫(huà)制作。如果你想獲得非常寫(xiě)實(shí)的畫(huà)面,就需要有比較好的動(dòng)捕設(shè)備、算法流程、動(dòng)畫(huà)TA、動(dòng)畫(huà)師。所以要讓動(dòng)畫(huà)做出足夠高的可信度也是一件很高成本的事。
今年四月,英偉達(dá)在發(fā)布會(huì)上展示了“虛擬黃仁勛”,但畫(huà)面僅有約 15 秒。有人問(wèn):既然他們大費(fèi)周章做了數(shù)字人,為什么不把老黃的整個(gè)演講用虛擬畫(huà)面呈現(xiàn)出來(lái)呢?科技目前還沒(méi)有進(jìn)步到可以非常快速且低成本地生產(chǎn)出電影級(jí)的動(dòng)畫(huà)。
當(dāng)然,國(guó)內(nèi)外很多 Researcher 和工程師都在為這個(gè)目標(biāo)努力。比如 Epic 的 Metahuman 可以快速定制出高質(zhì)量的角色,但是目前 Metahuman 有限的模板庫(kù)還是很難滿足模型師的創(chuàng)作需求。比如用 Metahuman 就很難捏出數(shù)字航天員小諍。
36氪:跨越恐怖谷(注:恐怖谷,由于機(jī)器人與人類相似,兩者的細(xì)微差別會(huì)顯得非常刺眼恐怖,使人有面對(duì)僵尸的感覺(jué)。)還是一個(gè)困難的工作嗎?
葛誠(chéng):實(shí)時(shí)互動(dòng)的寫(xiě)實(shí)向數(shù)字人,跨越恐怖谷依然是件很困難的工作,即便塞壬也就是剛跨過(guò)了恐怖谷的邊緣。專業(yè)人士仔細(xì)看,還是可以看出來(lái)她不像真人的地方。當(dāng)數(shù)字人趨近恐怖谷邊緣時(shí),普通人對(duì)數(shù)字人的恐懼感就趨向輕微。
36氪:小諍可以算是 NExT Studios 第一個(gè)投入實(shí)用場(chǎng)景的虛擬人,之前為什么沒(méi)有對(duì)塞壬進(jìn)行商業(yè)化運(yùn)營(yíng)?虛擬人的商業(yè)化時(shí)機(jī)已經(jīng)成熟了嗎?
葛誠(chéng):我們小團(tuán)隊(duì)在做前沿探索的時(shí)候,不會(huì)特別去考慮它的應(yīng)用場(chǎng)景,因?yàn)檫@會(huì)限制探索的方向和深度。一旦確定某個(gè)方向具備了未來(lái)商業(yè)化的可能,我們會(huì)用 3-5 年的時(shí)間去打磨這條線上的技術(shù)。之前做塞壬和 Matt(NExT Studios 的另一個(gè)虛擬人)的時(shí)候,其實(shí)都沒(méi)有過(guò)于糾結(jié)商業(yè)化,但是接下來(lái)做的一些新角色,我們會(huì)優(yōu)先考慮跟商業(yè)化、運(yùn)營(yíng)相關(guān)的技術(shù)。
從 2017 年開(kāi)始,國(guó)內(nèi)已經(jīng)有不少企業(yè)加入了虛擬偶像賽道,這個(gè)賽道目前來(lái)看是紅紅火火,但實(shí)際上平均利潤(rùn)率還是比較低的。大家并沒(méi)有找到特別好的方式可以讓一個(gè)角色像真人 IP 一樣運(yùn)轉(zhuǎn)起來(lái),這受限于技術(shù)、內(nèi)容,更多的是商業(yè)模式還需要進(jìn)一步探索。
但是我相信虛擬偶像產(chǎn)業(yè)目前還處在非常初級(jí)的階段。接下來(lái)一定會(huì)有一個(gè)世界,可能是Metaverse(元宇宙),來(lái)承載風(fēng)格各異的虛擬偶像。在那個(gè)世界里,每位虛擬人都擁有自己的 ID,也許還會(huì)有建立在 NFT(非同質(zhì)化代幣)上的交易。這樣虛擬人就能與真人、真實(shí)世界建立更完整的商業(yè)關(guān)系和情感紐帶。
現(xiàn)在各家單打獨(dú)斗做虛擬人,今天做個(gè)屏保,明天做個(gè)直播,后天帶個(gè)貨……從 IP 角度來(lái)說(shuō),其實(shí)尚未形成虛擬 IP 成長(zhǎng)的最好土壤,也就是“如同真實(shí)世界的數(shù)字世界”。
36氪:目前來(lái)看,虛擬人還是被集中應(yīng)用在了娛樂(lè)產(chǎn)業(yè)中。除了當(dāng)偶像,虛擬人未來(lái)可能還會(huì)有什么樣的應(yīng)用場(chǎng)景?
葛誠(chéng):未來(lái)虛擬人可能會(huì)成為人們遠(yuǎn)程溝通的媒介,但它不是現(xiàn)有視頻聊天軟件的衍生品。因?yàn)楫?dāng)一個(gè)可信的虛擬世界徐徐展開(kāi)的時(shí)候,虛擬 IP 不再是現(xiàn)實(shí)世界中的一個(gè)附加品,而是虛擬世界中“實(shí)實(shí)在在”的存在。兩個(gè)世界的界限也會(huì)漸漸打破。當(dāng)下,最重要的是精進(jìn)數(shù)字內(nèi)容技術(shù),在大眾間打造高可信度的社交紐帶。我們?cè)诔@個(gè)方向努力。
關(guān)鍵詞: 專訪
- 濕地之美|廣州海珠濕地
- (熱點(diǎn)觀察 漫評(píng))美國(guó)對(duì)歐洲盟友“下狠手”
- 全球微動(dòng)態(tài)丨德媒文章:政治極化愈演愈烈,美國(guó)民主面臨墮落
- 每日觀察!海河觀津丨百萬(wàn)候鳥(niǎo)來(lái)“息”,它們?yōu)楹纹珢?ài)北大港?
- 焦點(diǎn)!一起來(lái)拍中國(guó)空間站!
- 焦點(diǎn)播報(bào):北京新增本土感染者16例 詳情公布
- 天天快看點(diǎn)丨遼寧匯聚高校校友資源 引青年人才在遼創(chuàng)新創(chuàng)業(yè)
- 每日熱文:夢(mèng)天成功發(fā)射!天空飄來(lái)一個(gè)字:6
- 環(huán)球最資訊丨長(zhǎng)圖丨“院士天團(tuán)”做優(yōu)“湖南飯”,該是什么味?
- 常益懷等5市州明早有大霧 出行請(qǐng)注意安全
- 環(huán)球動(dòng)態(tài):11月全省溫高干旱持續(xù)發(fā)展
- 【全球獨(dú)家】10月制造業(yè)PMI為49.2% 建筑業(yè)景氣水平較高
- 環(huán)球今日訊!亞馬遜營(yíng)業(yè)利潤(rùn)率下降至2% 國(guó)內(nèi)頭部電商或進(jìn)一步搶占海外市場(chǎng)
- 國(guó)家藥監(jiān)局:促進(jìn)彩色隱形眼鏡生產(chǎn)經(jīng)營(yíng)企業(yè)規(guī)范化發(fā)展
- 即時(shí)焦點(diǎn):智慧芽升級(jí)科創(chuàng)力評(píng)估平臺(tái) 累計(jì)上線12條產(chǎn)業(yè)技術(shù)鏈
- 【世界熱聞】?jī)?nèi)蒙古啟動(dòng)人力資源誠(chéng)信服務(wù)示范機(jī)構(gòu)評(píng)選
- 環(huán)球觀焦點(diǎn):內(nèi)蒙古:這5項(xiàng)職業(yè)資格考試暫停
- 全球熱門(mén):飛天圓夢(mèng)|靜待夢(mèng)天,中國(guó)空間站在軌建造收官在即
- 飛天圓夢(mèng)|“夢(mèng)天”已就位!楊利偉動(dòng)情講述“初代”航天人故事
- 對(duì)標(biāo)保時(shí)捷Taycan?大眾中國(guó)功勛蘇偉銘親自下場(chǎng)造車(chē)
- 北京石景山開(kāi)展冬季供暖前特種設(shè)備安全專項(xiàng)檢查
- 陜西延安:開(kāi)展兒童化妝品專項(xiàng)檢查 規(guī)范化妝品市
- 北京海淀開(kāi)展商品條碼專項(xiàng)監(jiān)督檢查 努力打造穩(wěn)定
- 金華推進(jìn)網(wǎng)絡(luò)直播營(yíng)銷(xiāo)治理顯成效 培育放心消費(fèi)直
- 北京延慶對(duì)重點(diǎn)行業(yè)開(kāi)展格式條款專項(xiàng)檢查 做好市
- 北京海淀開(kāi)展電動(dòng)自行車(chē)整治夜查行動(dòng) 全力保障轄
- 江蘇昆山全力規(guī)范大閘蟹市場(chǎng)秩序 營(yíng)造安全放心消
- 福建寧化開(kāi)展“兩品一械”網(wǎng)絡(luò)銷(xiāo)售專項(xiàng)檢查 保障
- 北京懷柔:開(kāi)展市場(chǎng)綜合執(zhí)法監(jiān)督檢查 督導(dǎo)各類經(jīng)
- 天津河?xùn)|:多措并舉推進(jìn)企業(yè)信用修復(fù)工作 助力轄
- 1 濕地之美|廣州海珠濕地
- 2 (熱點(diǎn)觀察 漫評(píng))美國(guó)對(duì)歐洲盟友“下狠手”
- 3 全球微動(dòng)態(tài)丨德媒文章:政治極化愈演愈烈,美國(guó)民主
- 4 每日觀察!海河觀津丨百萬(wàn)候鳥(niǎo)來(lái)“息”,它們?yōu)楹纹?/a>
- 5 焦點(diǎn)!一起來(lái)拍中國(guó)空間站!
- 6 焦點(diǎn)播報(bào):北京新增本土感染者16例 詳情公布
- 7 天天快看點(diǎn)丨遼寧匯聚高校校友資源 引青年人才在遼
- 8 每日熱文:夢(mèng)天成功發(fā)射!天空飄來(lái)一個(gè)字:6
- 9 環(huán)球最資訊丨長(zhǎng)圖丨“院士天團(tuán)”做優(yōu)“湖南飯”,該
- 10 常益懷等5市州明早有大霧 出行請(qǐng)注意安全