《好聲音》、《蒙面歌王》這些音樂比賽，大家應(yīng)該已經(jīng)耳熟能詳了，但你有看過用虛擬形象參加歌唱比賽的電視節(jié)目嗎？

近期，曾舉辦美版《蒙面歌王》的Fox電視臺，推出了一檔基于AR和虛擬人像技術(shù)的“真人歌唱比賽”：《Alter Ego》。與《蒙面歌王》相比，《Alter Ego》不需要真人上舞臺，選手在后臺可以自己獨(dú)立控制虛擬形象，最后獲勝的選手才會與評委見面。觀眾和評委都是通過屏幕觀看表演，舞臺上沒有人，只是通過AR將虛擬選手疊加在舞臺上。實(shí)際上，以虛擬形象舉辦演唱會是疫情期間興起的一種趨勢，不過現(xiàn)在看來虛擬形象與現(xiàn)場真人觀眾、評委結(jié)合，效果看起來更加逼真。

其形式類似于AR洛天依表演、英雄聯(lián)盟K/DA表演等等，觀眾只能跟隨現(xiàn)場直播攝像頭的角度查看AR，AR表演顯示在2D屏幕上。這與AR移動應(yīng)用有所不同，觀眾不能通過移動手機(jī)來從多角度查看。

《Alter Ego》比此前大多數(shù)AR表演規(guī)模更大，時(shí)間更長，20名選手可分別在后臺通過全身和面部動捕技術(shù)，來控制舞臺上的AR來進(jìn)行表演。在這個節(jié)目中，表演者可以扮成各種具有未來感的虛擬形象，比如藍(lán)色皮膚、粉色頭發(fā)等等，他們還可以做出摸頭發(fā)等逼真的動作。

簡單來講，線上觀眾看到的《Alter Ego》節(jié)目是提前錄制好的，但是在錄制現(xiàn)場，觀眾和評委看到的AR形象是實(shí)時(shí)渲染的，由后臺的選手用動捕控制。也就是說，我們在視頻中看到評委看向舞臺與選手對視，是因?yàn)樵u委在看舞臺上視線高度的屏幕。而舞臺上的主持人Rocsi Diaz，幾乎是唯一需要假裝和空氣說話的人，她表示：這就像是小時(shí)候跟想象中的朋友聊天一樣，很有趣。

虛擬演出背后采用的技術(shù)

據(jù)了解，《Alter Ego》在舞臺上配備了14臺攝像機(jī)，其中8臺采用了高端攝像頭追蹤技術(shù)。此外，攝影棚頂上設(shè)置了數(shù)千個紅外光反射的標(biāo)記（2.54x2.54厘米的銀色方塊），幫助攝像頭定位。

代表選手的虛擬形象由Silver Spoon設(shè)計(jì)，是根據(jù)選手的喜好為他們量身定做的。去年，Silver Spoon曾為美國職棒大聯(lián)盟賽開發(fā)AR虛擬觀眾。除了Silver Spoon外，AR公司Lulu曾協(xié)助《Alter Ego》設(shè)計(jì)舞臺布局。

在選手表演過程中，現(xiàn)場的攝像機(jī)實(shí)時(shí)定位舞臺場景，并通過Unreal引擎在舞臺上實(shí)時(shí)渲染和疊加AR虛擬形象。

《Alter Ego》創(chuàng)意制作人Michael Zinman表示：5年前，制片公司還不能做出這種實(shí)時(shí)渲染的AR舞臺，這種技術(shù)從去年才開始初見成效，不過直到今年才達(dá)到優(yōu)質(zhì)效果。如果沒有使用實(shí)時(shí)AR，而是采用后期制作，那將需要6個月時(shí)間完成。而現(xiàn)在，只需要三個月。盡管如此，在開拍之前，我們用了至少一年時(shí)間去開發(fā)節(jié)目中使用的技術(shù)。

近年來，3D圖像渲染的質(zhì)量在不斷提升，因此《Alter Ego》的團(tuán)隊(duì)也利用最新的技術(shù)，為虛擬形象設(shè)計(jì)出更加逼真、自然的動態(tài)。比如：它們能夠捕捉并模擬選手哭泣的表情，而且身上的反光、陰影，以及地上的影子等效果可跟隨位置移動或光線變化而變化。

細(xì)節(jié)方面，選手在后臺會穿上全身動捕裝，面前還固定了用來追蹤面部表情的手機(jī)，因此全身動作幾乎都能模擬。因此，《Alter Ego》中虛擬形象的動作比以往技術(shù)看起來更有生命力，觀眾看起來不會很假。

在第一集中，有一個小細(xì)節(jié)，就是第二位選手胳膊上的文身是動態(tài)變化的，而這種效果是真人表演無法實(shí)現(xiàn)的。

與此同時(shí)，為了進(jìn)一步提升AR與物理空間的融合，還需要避免真人伴奏、主持人與AR形象的位置關(guān)系。因?yàn)楝F(xiàn)有技術(shù)只能讓AR位于最前端，因此物理場景中的人、物體在視覺上看起來都在AR后面，如果與實(shí)際位置關(guān)系出現(xiàn)偏差，會容易失真。于是在拍攝時(shí)，需要注意不要將表演者移動時(shí)與鋼琴產(chǎn)生的重疊拍進(jìn)去。此外，舞臺上加入煙霧特效時(shí)，可能也會出現(xiàn)視覺上的位置不匹配。

虛擬形象可以解決表演者們此前無法上臺表演的許多難題，比如：怯場、容貌/年齡焦慮、從演藝行業(yè)失業(yè)等等。Diaz表示：這種虛擬形象技術(shù)，將有望改變音樂表演行業(yè)。

大家對虛擬形象的看法

對于這種全新形式的表演，《Alter Ego》的評委、選手和觀眾紛紛表達(dá)了與以往不同的感受。

比如，60歲的Matthew Lord此前是茱莉亞歌劇中心的演員，后來他開始和樂隊(duì)進(jìn)行全國巡演，直到疫情終止了他的唱歌生涯，他只能以為工廠開卡車維生。來到《Alter Ego》后，他可以更加自信的繼續(xù)唱歌，因?yàn)樗挥靡驗(yàn)樽约旱慕?jīng)歷、自己的年齡而自卑，可以扮演藍(lán)色的狼人來唱歌。他表示：我是光頭，但是虛擬形象讓我有了頭發(fā)，即使我上了年紀(jì)，也能和其他年輕選手比賽。

Yasmin Shawamreh認(rèn)為自己比別的歌手胖，因此在音樂行業(yè)常常被拒絕。通過定制的虛擬形象，她覺得更能顯示出自己堅(jiān)強(qiáng)的內(nèi)心。

除此之外，參加表演的選手還包括擁有音樂夢的母親、想改變音樂類型的歌手等等。

而觀眾對這檔節(jié)目則褒貶不一，有的認(rèn)為有趣、驚艷，有的認(rèn)為虛擬形象不夠生動、效果低于預(yù)期，也有的人用搞笑的方式扮演節(jié)目選手。

虛擬偶像的興起

《Alter Ego》的目標(biāo)是：不以形象外表為重點(diǎn)，尋找美國下一代音樂明星?！逗寐曇簟废盗泄?jié)目最初的目標(biāo)也是這樣，不過由于需要真人表演，最后的冠軍難免也會遇到音樂行業(yè)存在的一些高要求、偏見等等。

相比之下，《Alter Ego》的冠軍用虛擬形象就能表演，虛擬形象在觀眾腦海中的印象會更加深刻。

2016年就出現(xiàn)Lil Miquela等虛擬的平面網(wǎng)紅，在Instagram上已經(jīng)獲得300萬粉絲。虛擬網(wǎng)紅受粉絲們喜歡的原因有很多，比如外表、聲音和性格可以比普通人更“完美化”，同時(shí)看起來足夠人性化，可以給粉絲帶來不遜于真人網(wǎng)紅的體驗(yàn)。而在今年，說唱歌手Travis Scott在游戲《堡壘之夜》中的表演，最高峰時(shí)期吸引了1230萬人同時(shí)觀看。

這些例子說明，和真人表演相比，虛擬偶像、線上虛擬表演也同樣具有吸引力，而隨著《Alter Ego》在主流電視臺亮相，這種形式的表演在未來有望得到更多應(yīng)用。

與此同時(shí)，以AR形式將真人搬上舞臺的應(yīng)用也有望更加廣泛。演唱會設(shè)計(jì)師兼MR專家Cory Fitzgeral就看好AR表演的前景，并認(rèn)為它的發(fā)展會比原先預(yù)期更快，可能會在幾個月內(nèi)普及。

而Zinman則認(rèn)為，未來人們會在AR眼鏡中觀看虛擬形象的表演，AR將成為虛擬演唱會的未來?；蛘撸珹R眼鏡可以為線下演唱會帶來基于AR的特效，豐富線下表演形式。

總之，《Alter Ego》才剛開播，節(jié)目最后選出的冠軍將如何繼續(xù)自己的虛擬演出事業(yè)，是值得關(guān)注的。

參考：

https://www.rollingstone.com/pro/features/alter-ego-singing-competition-augmented-reality-tv-show-virtual-avatars-1228045/ 

本文來自微信公眾號“青亭網(wǎng)”（ID:qingtinwang），編輯：Esther，36氪經(jīng)授權(quán)發(fā)布。

關(guān)鍵詞： 虛擬 有多 到底 表演