虛擬現(xiàn)實(shí)（VR）帶來(lái)的，可以是恢弘、壯觀、嘆為觀止，也可以是刺激、熱血、激情澎湃——2月底，英國(guó)廣播公司（BBC）發(fā)布的VR紀(jì)錄片《筑壩尼羅河》屬于前者，帶觀眾真正鳥瞰尼羅河的現(xiàn)狀，甚至預(yù)繪未來(lái)，將擬建大壩置于河上；皇馬足球俱樂(lè)部日前開(kāi)播的360°全景虛擬現(xiàn)實(shí)頻道屬于后者，期望讓觀眾在場(chǎng)外也能體會(huì)到競(jìng)技現(xiàn)場(chǎng)的血脈賁張。

身臨其境的感覺(jué)依賴于虛擬場(chǎng)景的構(gòu)建能否騙過(guò)大腦。“讓觀看者獲得沉浸感是現(xiàn)在VR科技攻關(guān)的主課題”，北京理工大學(xué)教授黃華說(shuō)，現(xiàn)在的VR設(shè)備很多時(shí)候讓人頭暈，也是因?yàn)槌两胁怀浞郑沟么竽X“看到”的東西和過(guò)往真實(shí)的東西不一樣，又被告知是真實(shí)的，這種認(rèn)識(shí)上的“分歧”讓大腦感覺(jué)“別扭”，引起心理上的不適，表現(xiàn)為頭暈。“不過(guò)真實(shí)的機(jī)理還沒(méi)有被科學(xué)證明，但如果模擬的水平能達(dá)到大腦無(wú)法分辨的程度，不適感會(huì)消失。”黃華強(qiáng)調(diào)。

通俗地說(shuō)，虛擬現(xiàn)實(shí)“擬得不真”是目前VR領(lǐng)域的“痛點(diǎn)”。解決痛點(diǎn)有兩個(gè)關(guān)鍵，一是頭戴顯示系統(tǒng)，二是內(nèi)容。在黃華擔(dān)任項(xiàng)目負(fù)責(zé)人的國(guó)家重點(diǎn)研發(fā)計(jì)劃《支持大數(shù)據(jù)理解的頭戴式無(wú)障礙呈現(xiàn)技術(shù)、裝備與云服務(wù)平臺(tái)》中，著重突破的也是這兩個(gè)問(wèn)題。

打開(kāi)一些VR視頻APP，手機(jī)更像一個(gè)窗口，能夠隨著轉(zhuǎn)動(dòng)探出窗外觀看，但視頻資源相對(duì)匱乏，大多十幾分鐘，可選擇片源不多、幾乎無(wú)情節(jié)。

“使用200毫米焦距的鏡頭拍攝不低于1000張，每張圖片3500萬(wàn)像素……”VR數(shù)字內(nèi)容制作的復(fù)雜程度從這段數(shù)字博物院籌備工作的描述中可見(jiàn)一斑。

靜態(tài)物體如此，動(dòng)態(tài)的捕捉難上加難。人工徒手的繪制工作復(fù)雜繁瑣，“物體的三維立體結(jié)構(gòu)進(jìn)行數(shù)據(jù)采集后是一個(gè)二維的數(shù)字影像，數(shù)字影像的平面要在系統(tǒng)中還原為現(xiàn)實(shí)中的立體，再根據(jù)三維立體結(jié)構(gòu)得到所需視點(diǎn)的影像（不同視點(diǎn)有不同的影像），人腦才會(huì)感受到立體。”黃華拆解了立體圖像在虛擬現(xiàn)實(shí)中走進(jìn)人腦的采集、還原、重構(gòu)的“三步走”。

“如果通過(guò)算法讓計(jì)算機(jī)自行捕捉和計(jì)算將大大降低內(nèi)容制作的難度與工作量。”黃華介紹，“三步走”的高保真需要“兩方面”的支撐。在國(guó)家重點(diǎn)研發(fā)計(jì)劃支持下，項(xiàng)目組將虛實(shí)融合的實(shí)現(xiàn)分為幾何一致性和光照一致性，即捕捉重構(gòu)物體，感知重現(xiàn)光線。

黃華解釋：“為了重構(gòu)逼真的物體，我們的系統(tǒng)支持多源傳感信息的融合，能實(shí)現(xiàn)像素級(jí)別地精確定位，完成三維空間注冊(cè)的精確性與實(shí)時(shí)性，這是虛實(shí)融合景象沉浸感的關(guān)鍵。”

重構(gòu)光線是因?yàn)椋瑢?shí)體之外，遮擋關(guān)系、光線變化等是真實(shí)的一部分。“我們研究自然場(chǎng)景重光照方法，簡(jiǎn)化虛實(shí)物體遮擋關(guān)系和復(fù)雜材質(zhì)函數(shù)，實(shí)現(xiàn)真實(shí)感景物的快速繪制計(jì)算。”黃華說(shuō)，項(xiàng)目完成的實(shí)時(shí)高保真繪制引擎，使得攝像機(jī)自己能夠?qū)崟r(shí)地計(jì)算出相對(duì)位置變化，只要“拍照”不需“畫像”，就能實(shí)時(shí)自動(dòng)呈現(xiàn)物體，讓VR內(nèi)容的制作更簡(jiǎn)單。“只有無(wú)延時(shí)地實(shí)時(shí)地將虛擬物呈現(xiàn)在真實(shí)場(chǎng)景中、并與真實(shí)場(chǎng)景互動(dòng)，才能‘以假亂真’。”黃華強(qiáng)調(diào)。

在頭戴顯示系統(tǒng)方面，項(xiàng)目組提出視場(chǎng)無(wú)縫拼接方法，克服了傳統(tǒng)頭顯“大視場(chǎng)、高分辨、小畸變”之間的矛盾。沉浸式頭顯雙目視場(chǎng)達(dá)到162°，重疊視場(chǎng)90°，預(yù)計(jì)樣品將在年底完成。新的頭顯甚至可以做到動(dòng)動(dòng)眼睛就能實(shí)現(xiàn)“交互”。黃華介紹，傳統(tǒng)的基于手柄等外設(shè)的交互方式效率低下，項(xiàng)目組研究自動(dòng)校正及手眼協(xié)同交互方法，通過(guò)多模傳感數(shù)據(jù)融合分析獲取用戶的精確交互語(yǔ)義，實(shí)現(xiàn)手眼協(xié)同交互。

除了具體的技術(shù)和產(chǎn)品，國(guó)家重點(diǎn)研發(fā)計(jì)劃中探索往往會(huì)為行業(yè)形成標(biāo)準(zhǔn)與規(guī)范。黃華介紹，如果有一款便捷的虛實(shí)融合環(huán)境創(chuàng)作“工具”，將高沉浸感的虛實(shí)融合環(huán)境中幾何、光照、語(yǔ)義等信息的構(gòu)建工作“模塊化”，將幫助“徒手”的行業(yè)開(kāi)發(fā)者提供“趁手”的工具，大大加速VR產(chǎn)業(yè)高質(zhì)量發(fā)展。為此，項(xiàng)目還將構(gòu)建跨平臺(tái)、跨服務(wù)的虛實(shí)融合環(huán)境統(tǒng)一描述語(yǔ)言與解析器，并搭建面向不同應(yīng)用的統(tǒng)一框架。