自由視點(diǎn)視頻合成

自由視點(diǎn)視頻（Free Viewpoint Videos，也稱為 Volumetric Performance Capture）依賴于多相機(jī)條件下對(duì)于3D形狀和紋理的捕捉。但先前的方法得到的結(jié)果不夠真實(shí)，因?yàn)楦哳l細(xì)節(jié)的缺失或紋理的失真使任意場(chǎng)景中精確的重光照困難重重。此外，不精確的幾何估計(jì)使得紋理圖像變得模糊；最后，由于真實(shí)場(chǎng)景中構(gòu)建時(shí)間連續(xù)的三維模型十分困難，對(duì)于頭發(fā)和透明物質(zhì)的重建還有很多問(wèn)題需要解決。

不過(guò)好在研究人員通過(guò)結(jié)合傳統(tǒng)的重光照方法和高速高精度的深度傳感器，最終克服了上述困難。下圖展示了最新的Relightable系統(tǒng)：其捕捉了人體自由視點(diǎn)，重建出幾何模型和反射率圖，并最終實(shí)現(xiàn)了能在任意場(chǎng)景中進(jìn)行合成的視覺(jué)效果。

此外，神經(jīng)渲染技術(shù)還可用于演員表演的LookinGood系統(tǒng)。通過(guò)實(shí)時(shí)地重渲染，該技術(shù)大幅提升了圖像采集系統(tǒng)的性能：

為了從多視角視頻數(shù)據(jù)中實(shí)現(xiàn)自動(dòng)化的創(chuàng)造、渲染，模擬高質(zhì)量的模擬目標(biāo)模型，研究人員還提出了Neural Volumes系統(tǒng)：先把多視角的視頻序列輸入編碼器，將其解碼為半透明的RGB體和對(duì)應(yīng)的透明權(quán)重；然后再基于相機(jī)穿過(guò)這一體積的視線來(lái)對(duì)模型進(jìn)行渲染，累積出顏色和透明度，完成最終的輸出工作。

學(xué)習(xí)重新打光的神經(jīng)渲染

在新的光照下重新渲染逼真的圖像被稱為relighting，其對(duì)于視覺(jué)應(yīng)用和虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)具有重要作用。目前工業(yè)界使用的方法是基于圖像的重光照，這需要采集不同光照條件下場(chǎng)景的圖像，并基于這些來(lái)合成出新光照下的結(jié)果。這種方法被廣泛用于好萊塢視覺(jué)特效中，但需要耗費(fèi)大量的財(cái)力、物力、人力、以及定制化的設(shè)備，不便于野外使用。

這時(shí)，神經(jīng)渲染技術(shù)就派上了大用途。在該技術(shù)的驅(qū)動(dòng)下，研究者利用渲染或真實(shí)采集的反射場(chǎng)數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，讓工作人員在應(yīng)用少數(shù)圖像的情況下，還能給場(chǎng)景重新打光。

此種方法的實(shí)現(xiàn)原理很好理解：通過(guò)神經(jīng)渲染技術(shù)，研究者能讓系統(tǒng)從少數(shù)幾張圖像中學(xué)習(xí)出場(chǎng)景的光照方向和重光照函數(shù)。在此基礎(chǔ)上，人們也可利用多視角來(lái)學(xué)習(xí)場(chǎng)景幾何構(gòu)成以實(shí)現(xiàn)更好的重光照。

事實(shí)上，該技術(shù)不僅可以應(yīng)用于光照不足的場(chǎng)景，即使在光照條件尚可的環(huán)境下，其對(duì)于反射場(chǎng)的學(xué)習(xí)也可達(dá)到提升環(huán)境表現(xiàn)力的渲染效果。比如像下圖這樣：

人體重建渲染

這一部分的研究包括人臉和肢體的重現(xiàn)。針對(duì)人臉來(lái)說(shuō)其主要包括生成新的表情、位姿或者語(yǔ)言嘴形等等。而針對(duì)人體來(lái)說(shuō)主要包括行為克隆，交互控制等等，來(lái)操作目標(biāo)視頻中人物的姿態(tài)、行為和動(dòng)作等等。

其中一個(gè)有趣的應(yīng)用是修改視頻中人說(shuō)話內(nèi)容的同時(shí)，將人物的口型也進(jìn)行相應(yīng)的修改。下圖顯示了Text－based Editing of Talking－h(huán)ead Video，視頻中說(shuō)話人的文字被改變，對(duì)應(yīng)的嘴形也被改變并渲染出了逼真的結(jié)果。

類似的應(yīng)用還包括通過(guò)Deferred neural rendering，實(shí)現(xiàn)3D情況下的新視角合成與場(chǎng)景編輯：

而在人體重渲染方面，該技術(shù)可以控制目標(biāo)對(duì)象的位置、渲染和身體位姿：既可以從源視頻中抽取動(dòng)作信息控制目標(biāo)姿態(tài)，也可利用人體關(guān)節(jié)模型來(lái)控制目標(biāo)視頻中主體的行為。

雖然神經(jīng)渲染技術(shù)在各個(gè)方面已經(jīng)取得了巨大的突破，成為了圖形學(xué)領(lǐng)域和計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)領(lǐng)域交融共生的新興方向，但其目前還面臨著泛化性、規(guī)�；�、可編輯性以及多模態(tài)數(shù)據(jù)場(chǎng)景表達(dá)能力的限制，還有很大的發(fā)展空間。相信隨著技術(shù)的進(jìn)步，會(huì)有更多通用、易用、高效穩(wěn)定的方法被提出，讓神經(jīng)渲染達(dá)到與現(xiàn)代圖形學(xué)一樣的適用范圍的同時(shí)，還能激發(fā)其深度學(xué)習(xí)的強(qiáng)大能力。