7
| 本文作者： 李旭旭 | 2015-10-09 17:04 |
Sebastian Marino是一個(gè)略微有點(diǎn)陌生的名字，但你肯定看過詹姆斯·卡梅隆的經(jīng)典之作《阿凡達(dá)》。Marino曾憑借在《阿凡達(dá)》中出色的特效工作為影片贏得奧斯卡金像獎(jiǎng)。
某夜，他化身一名導(dǎo)演，在他的公寓拍攝了一段電影片段。他與他的團(tuán)隊(duì)架起一排攝像機(jī)，在一個(gè)綠色的熒幕前對(duì)兩名女演員進(jìn)行拍攝。只有其中一人有臺(tái)詞，她略帶神秘地說，“我猜你現(xiàn)在心情應(yīng)該有點(diǎn)像歷險(xiǎn)記中掉進(jìn)兔子洞的愛麗絲，我建議你謹(jǐn)慎選擇”。她指向一個(gè)方向，又指指另一個(gè)方向。拍攝內(nèi)容結(jié)束后，大家卸掉熒幕回家了。
但Marino的工作還沒有完成，接下來他需要將這個(gè)片段進(jìn)行后期制作。
經(jīng)過一夜的處理，早上他把生成的文件載入Unity 3D游戲引擎中，并將這兩名女演員置身于一間公寓中。在一個(gè)房間中，一面墻上有霓虹燈，另一面墻上的掛燈發(fā)出的光芒投射到女演員的右側(cè)。在另一間房間中，他使屋內(nèi)的燈昏暗地發(fā)出紅光，使人看不清另一名演員身上的穿著。
事實(shí)上，這并不僅僅是個(gè)電子游戲，它是一個(gè)電影。確切來說，它極有可能是第一部真正加入真人角色的虛擬現(xiàn)實(shí)電影。之前講話的女演員看起來一點(diǎn)都不像電子游戲角色，她看起來跟本人一模一樣。她穿著同樣的衣服，臉部動(dòng)作十分逼真，行為舉止流暢。然而，她正站在一個(gè)實(shí)際上根本不存在的房間中。
Marino與其初創(chuàng)虛擬現(xiàn)實(shí)公司Uncorporeal想要通過現(xiàn)實(shí)途徑，解決虛擬電影制作中的難題。更加令人吃驚地是，他與另外兩位聯(lián)合創(chuàng)辦人（他們?cè)诒R卡斯影業(yè)，WETA，歐洲太空屬，Google X，微軟和Electronic Arts工作）已經(jīng)秘密地完成了這項(xiàng)工作。他們獨(dú)立完成了公司的種子投資，并從未在現(xiàn)身于任何虛擬現(xiàn)實(shí)會(huì)議，并且各項(xiàng)對(duì)外聯(lián)系均利用母公司的電子郵箱，所以沒有任何人捕捉到Uncorporeal存在的信息。Marino說，“知道我們的工作的人數(shù)，用手指跟腳趾就能數(shù)過來”。
隨著時(shí)間駛向2016年，期待已久的虛擬現(xiàn)實(shí)技術(shù)投入市場(chǎng)的日子也越來越近，但仍有一個(gè)現(xiàn)實(shí)難題急需解決。這個(gè)難題并不是模擬器性能不足，分辨率不高之類；這些硬件問題目前都已被有效解決，雖然仍稱不上完美，但其性能相比于18個(gè)月之前，其變化已經(jīng)超乎想象了。這個(gè)難題亦不是輸入問題，即將出現(xiàn)的三種用戶系統(tǒng)（Oculus Rift，HTC Vive和Playstation VR）均有不俗的表現(xiàn)。此難題也無關(guān)內(nèi)容：從開發(fā)中的幾十款游戲到Netflix公司的虛擬影院，再到虛擬博物館之旅，這些都保證了其適用性。
Uncorporeal相機(jī)抓取實(shí)時(shí)幾何數(shù)據(jù)
難題是電影。
具體來說，是真實(shí)動(dòng)作視頻捕捉。消費(fèi)級(jí)虛擬現(xiàn)實(shí)依靠外部攝像頭追蹤頭盔的環(huán)境，并將其移動(dòng)和位置轉(zhuǎn)化成虛擬環(huán)境。這稱為位置跟蹤，而在虛擬現(xiàn)實(shí)游戲中，正是這項(xiàng)技術(shù)讓你可以通過蹲下、斜靠和彎身，在游戲中實(shí)現(xiàn)在椅子后蹲伏、障礙物后側(cè)窺視以及在桌下巡查這些動(dòng)作。但，現(xiàn)在還不能將位置追蹤加入到視頻中。
試想一下：你將一系列攝像頭放置于一個(gè)中心點(diǎn)周圍，作為頭戴頭盔的人的眼睛，那么你只能看到這點(diǎn)周圍360度的視野。在虛擬現(xiàn)實(shí)中最佳的“六自由度”中——左右點(diǎn)頭、轉(zhuǎn)頭、歪頭，并向三個(gè)方向移動(dòng)——虛擬現(xiàn)實(shí)視頻在移動(dòng)中有極大的限制。換句話說，你可以在即有位置上任意活動(dòng)，但不管你怎樣蹲伏或者傾斜身體都不能改變位置，這會(huì)在使用時(shí)造成很大不便。
為了解決位置追蹤這一問題，數(shù)個(gè)虛擬現(xiàn)實(shí)電影公司都選擇制作皮克斯那樣的CGI電影，即使用為虛擬現(xiàn)實(shí)優(yōu)化的游戲引擎，如Unity 3D和Unreal 4，制作像游戲一樣的視頻。（這種奇怪的混合模型正是為什么在虛擬現(xiàn)實(shí)界，“體驗(yàn)”與“敘事”正在逐漸取代“電影”這一詞。）但是實(shí)現(xiàn)位置跟蹤和所有六個(gè)自由度，你將會(huì)同時(shí)失去一些東西：現(xiàn)實(shí)。在常規(guī)的非虛擬現(xiàn)實(shí)游戲中制作逼真的人類，已經(jīng)夠嚇人了，如果再進(jìn)行虛擬現(xiàn)實(shí)的處理，這完全是無用的。
Uncorporeal的幾何數(shù)據(jù)可被用于游戲引擎制作的虛擬環(huán)境
這就是Uncorporeal要解決的關(guān)鍵。他們像其他虛擬現(xiàn)實(shí)視頻公司一樣，使用一系列相機(jī)組合拍攝影片。然而，他們的鏡頭可以捕捉到房間的所有光場(chǎng)，像Lytro相機(jī)的視頻版那樣。簡(jiǎn)單來說，這意味著該公司擁有如此多的光樣本，足夠通過在亞毫米精度創(chuàng)建幾何模型，處理畫面?！拔覀儾粏螁文芰私馀臄z物體的幾何結(jié)構(gòu)，”Marino說，“也捕捉這些相機(jī)所能捕捉到的所有的光，我們能捕捉到每一個(gè)像素，無論你在哪個(gè)方向看物體?！?/span>
這聽起來可能有點(diǎn)像動(dòng)作捕捉，但事實(shí)上它不是。在動(dòng)作捕捉時(shí)，你制作一個(gè)人物的靜態(tài)三維模型，然后讓骨骼結(jié)構(gòu)和其他底層動(dòng)起來，形成動(dòng)作效果；它可能看起來逼真，甚或是基于一個(gè)穿了內(nèi)置追蹤設(shè)備的服裝的演員的動(dòng)作生成的，但這仍然是CG。Uncorporeal的技術(shù)更像是“逐像素動(dòng)作捕捉”，每個(gè)像素都有3D效果，可以完美實(shí)現(xiàn)數(shù)字化，但它本質(zhì)上是一個(gè)人類演員在做表演。
不過，這只是一個(gè)人物而已。所以一旦相機(jī)捕捉到了人的動(dòng)作，Uncorporeal會(huì)合成所有數(shù)據(jù)，生成一個(gè)專有的編解碼器u3d，它包含有被捕捉對(duì)象的所有幾何信息，以及光場(chǎng)信息。u3d編碼文件能直接用在Unity 3D游戲引擎制作的場(chǎng)景。得到的結(jié)果就是，在虛擬環(huán)境中出現(xiàn)一個(gè)真實(shí)的人。光場(chǎng)信息讓兩者的結(jié)合變得天衣無縫，Marino將自家技術(shù)稱為10DVR——六個(gè)自由度加三維信息再加時(shí)間。
明確地說，Uncorporeal并不是唯一一家有所行動(dòng)的公司。在今年早些時(shí)候，Lytro籌款五千萬美元，欲用于光場(chǎng)攝影機(jī)的虛擬現(xiàn)實(shí)應(yīng)用，目前尚未有成果公布。OTOY公司對(duì)一個(gè)空房間進(jìn)行了光場(chǎng)渲染，但沒有人類動(dòng)作。而Uncorporeal貌似是將圖像捕捉和視覺效果結(jié)合起來的第一人。通過捕捉真人舉動(dòng)和表情，它能為虛擬現(xiàn)實(shí)影像保有親密感。通過對(duì)人物進(jìn)行渲染，并引入可進(jìn)行位置追蹤的虛擬空間中，它又能達(dá)到只能在CGI中才能體驗(yàn)到的臨場(chǎng)感。
好萊塢也對(duì)這項(xiàng)研究時(shí)時(shí)跟進(jìn)。Marino證實(shí)，Uncorporeal正低調(diào)地同數(shù)個(gè)工作室進(jìn)行密切聯(lián)系。“因?yàn)樵诜N子投資期間，我們是自食其力的，所以我們并不需要大張旗鼓引人耳目。在聯(lián)系人方面，我們可以自由選擇”。盡管他們向來避免在虛擬現(xiàn)實(shí)活動(dòng)中露面，他們將參加今天于紐約開幕的Future of Storytelling（未來敘事）大會(huì)，并使用DK2向眾人展示真正的電影敘事的未來是什么樣的。
Via wired
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
