本文是加拿大滑鐵盧大學(xué)CogDrive實(shí)驗(yàn)室對(duì)當(dāng)前最新的基于深度學(xué)習(xí)的相機(jī)－激光雷達(dá)融合（camera－LiDAR Fusion）方法的綜述。

本篇綜述評(píng)價(jià)了基于相機(jī)－激光雷達(dá)融合的深度補(bǔ)全，對(duì)象檢測，語義分割和跟蹤方向的最新論文，并根據(jù)其融合層級(jí)進(jìn)行組織敘述并對(duì)比。最后討論了當(dāng)前學(xué)術(shù)研究與實(shí)際應(yīng)用之間的差距和被忽視的問題�；�于這些觀察，我們提出了自己的見解及可能的研究方向。

01．背景

基于單目視覺的感知系統(tǒng)以低成本實(shí)現(xiàn)了令人滿意的性能，但卻無法提供可靠的3D幾何信息。雙目相機(jī)可以提供3D幾何信息，但計(jì)算成本高，且無法在高遮擋和無紋理的環(huán)境中可靠的工作。此外，基于視覺的感知系統(tǒng)在光照條件復(fù)雜的情況下魯棒性較低，這限制了其全天候能力。而激光雷達(dá)不受光照條件影響，且能提供高精度的3D幾何信息。但其分辨率和刷新率低，且成本高昂。

相機(jī)－激光雷達(dá)融合感知，就是為了提高性能與可靠性并降低成本。但這并非易事，首先，相機(jī)通過將真實(shí)世界投影到相機(jī)平面來記錄信息，而點(diǎn)云則將幾何信息以原始坐標(biāo)的形式存儲(chǔ)。此外，就數(shù)據(jù)結(jié)構(gòu)和類型而言，點(diǎn)云是不規(guī)則，無序和連續(xù)的，而圖像是規(guī)則，有序和離散的。這導(dǎo)致了圖像和點(diǎn)云處理算法方面的巨大差異。在圖1中，我們比較了點(diǎn)云和圖像的特性。

圖1．點(diǎn)與數(shù)據(jù)和圖像數(shù)據(jù)的比較

圖2． 論文總體結(jié)構(gòu)

02．趨勢，挑戰(zhàn)和未來研究方向

無人駕駛汽車中的感知模塊負(fù)責(zé)獲取和理解其周圍的場景，其輸出直接影響著下游模塊（例如規(guī)劃，決策和定位）。因此，感知的性能和可靠性是整個(gè)無人駕駛系統(tǒng)的關(guān)鍵。通過攝像頭－激光雷達(dá)融合感知來加強(qiáng)其性能和可靠性，改善無人駕駛車輛在復(fù)雜的場景下的感知（例如城市道路，極端天氣情況等）。因此在本節(jié)中，我們總結(jié)總體趨勢，并討論這方面的挑戰(zhàn)和潛在影響因素。如表IV所示，我們將討論如何改善融合方法的性能和魯棒性，以及與工程實(shí)踐相關(guān)的其他重要課題。如下是我們總結(jié)的圖像和點(diǎn)云融合的趨勢：

2D到3D：隨著3D特征提取方法的發(fā)展，在3D空間中定位，跟蹤和分割對(duì)象已成為研究的熱點(diǎn)。

單任務(wù)到多任務(wù)：一些近期的研究［64］ ［80］結(jié)合了多個(gè)互補(bǔ)任務(wù)，例如對(duì)象檢測，語義分割和深度完成，以實(shí)現(xiàn)更好的整體性能并降低計(jì)算成本。
信號(hào)級(jí)到多級(jí)融合：早期的研究經(jīng)常利用信號(hào)級(jí)融合，將3D幾何圖形轉(zhuǎn)換到圖像平面以利用現(xiàn)成的圖像處理模型，而最近的模型則嘗試在多級(jí)融合圖像和點(diǎn)云（例如早期融合，晚期融合）并利用時(shí)間上下文。

表I． 當(dāng)前的挑戰(zhàn)

A．與性能相關(guān)的開放研究問題

1）融合數(shù)據(jù)的（Feature／Signal Representation）特征／信號(hào)表示形式：

融合數(shù)據(jù)的Feature／Signal Representation是設(shè)計(jì)任何數(shù)據(jù)融合算法的基礎(chǔ)。當(dāng)前的特征／信號(hào)表示形式包括：

a） 在RGB圖像上的附加深度信息通道（RGB－D）。此方法由于可以通過現(xiàn)成的圖像處理模型進(jìn)行處理，因此早期的信號(hào)級(jí)融合常使用這種表達(dá)形式。但是，其結(jié)果也限制于2D圖像平面，這使其不適用于自動(dòng)駕駛。

b） 在點(diǎn)云上的附加RGB通道。此方法可以通過將點(diǎn)投影到像平面進(jìn)行像素點(diǎn)關(guān)聯(lián)來實(shí)現(xiàn)。但是，高分辨率圖像和低分辨率點(diǎn)云之間的分辨率不匹配會(huì)影響此方式的效率。

c） 將圖像和點(diǎn)云特征／信號(hào)均轉(zhuǎn)換為（intermediate data representation）其他的數(shù)據(jù)表示形式。當(dāng)前的intermediate data representation包括：（voxelized point cloud）體素化點(diǎn)云［75］，（lattice）晶格［88］。未來的研究可以探索其他新穎的中間數(shù)據(jù)結(jié)構(gòu)，例如（graph）圖，（tree）樹等，從而提高性能。

2）（Encoding Geometric Constraint）加入幾何約束：

與其他三維數(shù)據(jù)源（如來自立體相機(jī)或結(jié)構(gòu)光的RGBD數(shù)據(jù)）相比，LiDAR有更長的有效探測范圍和更高的精度，可提供詳細(xì)而準(zhǔn)確的3D幾何形狀。幾何約束已成為圖像和點(diǎn)云融合流程中的常識(shí)，其提供了額外的信息來引導(dǎo)深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)更好的性能。將點(diǎn)云以RGBD圖像的形式投影到圖像平面似乎是最自然的解決方法，但是點(diǎn)云的稀疏性會(huì)產(chǎn)生空洞。深度補(bǔ)全和點(diǎn)云上采樣可以在某種程度上解決該問題。除此之外利用單眼圖像預(yù)測深度信息以及在連續(xù)幀之間引入自我監(jiān)督學(xué)習(xí)，也有望緩解這個(gè)問題。但是，如何將這種幾何信息加入到融合流程中仍是當(dāng)前研究實(shí)踐中尚需解決的問題。

3）（Encoding Temporal Context）加入時(shí)間上下文：

還有一些工程問題阻礙了無人駕駛汽車的實(shí)際部署，例如LiDAR與攝像頭之間的時(shí)間不同步，LiDAR的低刷新率導(dǎo)致車速高時(shí)的點(diǎn)云變形，LiDAR傳感器測距誤差。這些問題將導(dǎo)致圖像與點(diǎn)云，點(diǎn)云與實(shí)際環(huán)境之間的不匹配。根據(jù)深度補(bǔ)全方面的經(jīng)驗(yàn)，可以采用連續(xù)幀之間的時(shí)間上下文來改善姿態(tài)估計(jì)，從而改善特征融合的性能并使得下游的的header網(wǎng)絡(luò)受益。在自動(dòng)駕駛中，準(zhǔn)確估算周圍車輛的運(yùn)動(dòng)狀態(tài)至關(guān)重要，時(shí)間上下文有助于獲得更平滑，更穩(wěn)定的結(jié)果。此外，時(shí)間上下文可能有益于在線自校準(zhǔn)。因此，應(yīng)對(duì)加入時(shí)間上下文進(jìn)行更多的研究。 

4）深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)：

要回答這個(gè)問題，我們首先需要回答點(diǎn)云的最佳深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)是什么。對(duì)于圖像處理，CNN是最佳選擇，并已被廣泛接受。但點(diǎn)云處理仍然是一個(gè)開放的研究問題。同時(shí)沒有點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)的設(shè)計(jì)原則，被廣泛的接受或被證明是最有效的。當(dāng)前大多數(shù)傳感器融合網(wǎng)絡(luò)都是基于對(duì)應(yīng)的圖像的網(wǎng)絡(luò)結(jié)構(gòu)，或者是基于經(jīng)驗(yàn)或?qū)嶒?yàn)來進(jìn)行設(shè)計(jì)的。因此，采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索（NAS）［95］的方法可能會(huì)帶來進(jìn)一步的性能提升。