在自動(dòng)駕駛的技術(shù)路線中，純視覺(jué)方案因其模仿人類駕駛邏輯與低廉的硬件成本，一直是很多車企的選擇。但這種高度依賴攝像頭的感知方式，在夜幕降臨、車輛駛?cè)胗陌档乃淼�，或是遭遇�?qiáng)烈的逆光直射、漫天的雨雪濃霧時(shí)，感知能力會(huì)發(fā)生斷崖式下跌。為什么光照對(duì)純視覺(jué)自動(dòng)駕駛影響較大？

被動(dòng)感知的物理天花板

純視覺(jué)感知系統(tǒng)本質(zhì)上是一個(gè)基于環(huán)境光反射的被動(dòng)測(cè)量系統(tǒng)。這一特性的核心在于，攝像頭本身并不向外發(fā)射能量，它所獲取的所有信息都來(lái)源于外界光源，都是太陽(yáng)、路燈或其他車輛的燈光照射到物體表面后反射回來(lái)的光子。

這種工作模式與人類的眼睛如出一轍，當(dāng)環(huán)境光線充足且分布均勻時(shí)，攝像頭能夠捕捉到極為豐富的顏色、紋理和語(yǔ)義信息，這些信息對(duì)于識(shí)別交通標(biāo)志、判斷路面標(biāo)線以及理解復(fù)雜的交通意圖具有不可替代的優(yōu)勢(shì)。但一旦光源缺失或光環(huán)境變得極端，被動(dòng)感知的弊端便暴露無(wú)遺。

相比之下，激光雷達(dá)等有源傳感器則是“自帶手電筒的視覺(jué)”。激光雷達(dá)通過(guò)主動(dòng)向外發(fā)射受控的激光脈沖，并接收從目標(biāo)反射回來(lái)的能量，利用飛行時(shí)間原理直接計(jì)算物體的空間坐標(biāo)。這種主動(dòng)探測(cè)機(jī)制使得激光雷達(dá)在全黑的夜晚依然能維持極高的感知精度，且?guī)缀醪皇墉h(huán)境光干擾。

在低光照環(huán)境下，攝像頭傳感器面臨的首要挑戰(zhàn)是信噪比（SNR）的急劇下降。當(dāng)光子稀少時(shí)，傳感器捕捉到的有效信號(hào)可能被電路產(chǎn)生的熱噪聲所淹沒(méi)。為了在黑暗中“看清”物體，系統(tǒng)必須延長(zhǎng)曝光時(shí)間或增加感光度（ISO）。

延長(zhǎng)曝光時(shí)間在動(dòng)態(tài)駕駛場(chǎng)景中是極其危險(xiǎn)的，因?yàn)檐囕v與目標(biāo)的相對(duì)運(yùn)動(dòng)會(huì)導(dǎo)致圖像出現(xiàn)嚴(yán)重的運(yùn)動(dòng)模糊，使得原本清晰的目標(biāo)輪廓變得如同虛影。

而盲目提高感光度則會(huì)引入大量隨機(jī)噪聲，使畫(huà)面充滿雜質(zhì)，嚴(yán)重干擾后端神經(jīng)網(wǎng)絡(luò)對(duì)物體特征的提取。這種在物理層面就已受損的“原始材料”，注定了純視覺(jué)方案在暗光下的步履維艱。

環(huán)境介質(zhì)對(duì)光波的攔截與扭曲

自動(dòng)駕駛車輛并不是在真空中行駛，光線從物體表面反射回?cái)z像頭的過(guò)程中，必須穿過(guò)復(fù)雜的大氣環(huán)境。雨、雪、霧等惡劣天氣本質(zhì)上是改變了光波的傳播路徑，通過(guò)散射、折射和吸收等物理現(xiàn)象，對(duì)視覺(jué)感知構(gòu)成了多重封鎖。

霧氣對(duì)視覺(jué)的影響主要源于米氏散射（Mie Scattering）。霧滴的直徑通常與可見(jiàn)光的波長(zhǎng)相當(dāng)，當(dāng)光波遇到這些微小水滴時(shí)，會(huì)向四面八方發(fā)生強(qiáng)烈的散射。

這種散射效應(yīng)會(huì)產(chǎn)生兩個(gè)嚴(yán)重后果，一是光線在傳播過(guò)程中的強(qiáng)度迅速衰減，導(dǎo)致遠(yuǎn)距離物體在圖像中消失；二是背景光和環(huán)境光被散射成了白茫茫的“幕簾”，大大降低了目標(biāo)的對(duì)比度。

從信號(hào)處理的角度看，霧氣相當(dāng)于在圖像上疊加了一個(gè)大尺寸的低通濾波器，濾除了大部分的高頻細(xì)節(jié)。神經(jīng)網(wǎng)絡(luò)在處理這類圖像時(shí)，很難識(shí)別出被霧氣遮蔽的行人邊緣或車道線，這會(huì)導(dǎo)致識(shí)別置信度大幅下降，甚至完全漏檢。

雨天場(chǎng)景則會(huì)帶來(lái)另一個(gè)問(wèn)題。下落的雨滴具有極高的透明度和特殊的幾何形狀，每一顆雨滴都像是一個(gè)微小的球形透鏡，會(huì)對(duì)穿過(guò)的光線產(chǎn)生折射和全反射。這會(huì)導(dǎo)致攝像頭捕捉到的畫(huà)面出現(xiàn)局部的扭曲和偽影。

更嚴(yán)重的問(wèn)題發(fā)生在攝像頭表面的保護(hù)玻璃上，粘附的雨滴會(huì)造成大面積的畫(huà)面模糊。由于這些雨滴處于攝像頭的近焦位置，它們會(huì)形成嚴(yán)重的散焦，使畫(huà)面中的關(guān)鍵區(qū)域變得不可見(jiàn)。

在雪天環(huán)境下，視覺(jué)系統(tǒng)還會(huì)面臨對(duì)比度缺失與物理覆蓋的雙重考驗(yàn)。雪花具有極高的光反射率，在強(qiáng)光照射下會(huì)導(dǎo)致圖像大面積過(guò)曝；而在陰天，白色的雪地與同樣色系的白色車輛、路標(biāo)之間缺乏足夠的對(duì)比度，導(dǎo)致感知算法難以區(qū)分目標(biāo)與背景。此外，粘滯的積雪可能會(huì)直接覆蓋在攝像頭鏡頭上，這種物理層面的“致盲”是任何軟件算法都無(wú)法挽回的。

這些物理層面的干擾直接挑戰(zhàn)了純視覺(jué)系統(tǒng)對(duì)空間幾何結(jié)構(gòu)的建模能力。由于攝像頭無(wú)法像激光雷達(dá)那樣通過(guò)精確的脈沖返回時(shí)間來(lái)剝離環(huán)境噪聲，它必須在雜亂無(wú)章的像素點(diǎn)中通過(guò)概率預(yù)測(cè)來(lái)猜測(cè)物體的存在。在這種情況下，物理規(guī)律對(duì)光線的攔截，實(shí)際上切斷了視覺(jué)系統(tǒng)賴以生存的信息源。

圖像信號(hào)處理器，被忽視的信息損耗環(huán)節(jié)

即便光線成功穿透大氣并被攝像頭傳感器捕捉，從感光單元輸出的原始電信號(hào)（RAW數(shù)據(jù)）到最終進(jìn)入自動(dòng)駕駛大腦的彩色圖像（RGB圖像），中間還隔著一個(gè)復(fù)雜的環(huán)節(jié)，那就是圖像信號(hào)處理器（ISP）。

長(zhǎng)期以來(lái)，車載ISP的調(diào)優(yōu)目標(biāo)都是為了服務(wù)于“人眼觀看”，即追求色彩鮮艷、對(duì)比度高、噪點(diǎn)少的視覺(jué)效果。但這種追求“美感”的處理流程，對(duì)于機(jī)器視覺(jué)算法來(lái)說(shuō)，其實(shí)是一場(chǎng)災(zāi)難。

ISP的處理流程包含去馬賽克、白平衡校正、去噪、伽馬校正和色調(diào)映射等多個(gè)階段。在低光照或高動(dòng)態(tài)（HDR）場(chǎng)景下，ISP的副作用尤為明顯。為了抑制暗光下的噪點(diǎn)，ISP會(huì)采用強(qiáng)力的空間域或頻率域去噪算法。這些算法在抹除隨機(jī)噪聲的同時(shí)，也會(huì)無(wú)差別地抹掉微小的紋理細(xì)節(jié)，導(dǎo)致圖像呈現(xiàn)出一種“油畫(huà)感”。

對(duì)于人類駕駛員來(lái)說(shuō)，這種平滑處理可能提升視覺(jué)舒適度，但對(duì)于依賴像素級(jí)特征梯度進(jìn)行物體檢測(cè)的深度學(xué)習(xí)模型來(lái)說(shuō)，這意味著丟失了判斷物體邊緣的關(guān)鍵高頻信息。

還有一個(gè)問(wèn)題在于動(dòng)態(tài)范圍的處理。自然界的亮度跨度可能超過(guò)140dB，而主流車載攝像頭傳感器的動(dòng)態(tài)范圍一般在120dB左右。當(dāng)車輛駛出黑暗隧道突然面對(duì)刺眼的陽(yáng)光時(shí)，ISP必須在極短的時(shí)間內(nèi)調(diào)整曝光參數(shù)。

傳統(tǒng)的HDR技術(shù)通過(guò)多幀曝光合成來(lái)實(shí)現(xiàn)高動(dòng)態(tài)顯示，但這在高速行駛中會(huì)引入嚴(yán)重的運(yùn)動(dòng)偽影。由于不同曝光幀之間存在時(shí)間差，快速移動(dòng)的物體在合成后的畫(huà)面中會(huì)出現(xiàn)重影或虛影，導(dǎo)致自動(dòng)駕駛算法無(wú)法準(zhǔn)確判斷物體的邊界位置。

此外，ISP執(zhí)行的色調(diào)映射（Tone Mapping）和伽馬校正（Gamma Correction）本質(zhì)上是一種非線性的信息壓縮過(guò)程。為了將傳感器捕獲的20位或24位高動(dòng)態(tài)RAW數(shù)據(jù)映射到8位或10位的RGB空間，ISP會(huì)強(qiáng)行壓縮陰影和高光區(qū)域的對(duì)比度。

在這個(gè)過(guò)程中，原本在RAW域中清晰可辨的微小亮度差異被強(qiáng)行歸并為同一個(gè)像素值。這種數(shù)學(xué)上的不可逆損耗，會(huì)讓感知網(wǎng)絡(luò)失去在極端光影場(chǎng)景下進(jìn)行“微秒級(jí)察覺(jué)”的可能性。

這種“人眼導(dǎo)向”與“機(jī)器導(dǎo)向”的錯(cuò)位，是純視覺(jué)方案在極端場(chǎng)景下表現(xiàn)不佳的重要誘因。目前有技術(shù)方案正嘗試跳過(guò)傳統(tǒng)的ISP，直接利用RAW域數(shù)據(jù)進(jìn)行端到端的物體檢測(cè)訓(xùn)練，以保留光電傳感器的所有原始信息，這從側(cè)面證明了傳統(tǒng)處理流程在光影難題中的局限性。

深度學(xué)習(xí)在極端場(chǎng)景下的認(rèn)知邊界

純視覺(jué)自動(dòng)駕駛離不開(kāi)深度學(xué)習(xí)算法，然而，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）或Transformer的物體檢測(cè)模型，其性能高度依賴于訓(xùn)練數(shù)據(jù)的分布。在面對(duì)光照顯著惡化的場(chǎng)景時(shí)，算法層面的“認(rèn)知”也會(huì)出現(xiàn)嚴(yán)重的偏差。

神經(jīng)網(wǎng)絡(luò)提取物體特征的基礎(chǔ)在于像素間的對(duì)比度梯度。在強(qiáng)逆光或夜間遠(yuǎn)光燈直射的情況下，光線會(huì)產(chǎn)生嚴(yán)重的“眩光”和“溢出”（Blooming）效應(yīng)。當(dāng)一個(gè)極亮的點(diǎn)光源（如對(duì)向車的遠(yuǎn)光燈）照射到傳感器上時(shí)，產(chǎn)生的電荷會(huì)溢出到相鄰的像素中，導(dǎo)致圖像中出現(xiàn)大面積的亮斑。

這種現(xiàn)象不僅遮蓋了障礙物本身的紋理，還徹底破壞了物體的幾何輪廓。當(dāng)特征圖中的高頻分量由于過(guò)曝或極低亮度而消失時(shí)，卷積核將無(wú)法捕捉到有效的激活信號(hào)，導(dǎo)致系統(tǒng)在邏輯上“無(wú)視”了障礙物的存在。

此外，單目純視覺(jué)系統(tǒng)獲取深度的唯一途徑是依靠算法猜測(cè)。模型通過(guò)識(shí)別物體的類型，結(jié)合“近大遠(yuǎn)小”的經(jīng)驗(yàn)值或路面紋理的變化來(lái)推算距離。但在光照極差的夜晚，路面紋理幾乎不可見(jiàn)，物體的視覺(jué)特征由于噪聲干擾而失真。

此時(shí)，算法的深度推算將變得極不穩(wěn)定。即使系統(tǒng)識(shí)別出了前方有一個(gè)行人，也可能因?yàn)闊o(wú)法準(zhǔn)確判斷其距離而導(dǎo)致緊急制動(dòng)的決策失靈。在高速場(chǎng)景下，幾米的距離偏差就足以決定一場(chǎng)事故的發(fā)生。

還有一個(gè)更深層次的問(wèn)題，目前的純視覺(jué)模型本質(zhì)上是在進(jìn)行一種“模式匹配”。當(dāng)訓(xùn)練數(shù)據(jù)集中99%的場(chǎng)景都是晴天、光照良好的公路時(shí)，模型會(huì)形成一種先驗(yàn)偏見(jiàn)。

當(dāng)它在夜間隧道口遇到由于劇烈光影交替而產(chǎn)生的怪異輪廓時(shí)，模型可能會(huì)將其錯(cuò)誤地分類為不具威脅的陰影或路面雜質(zhì)。這種對(duì)長(zhǎng)尾場(chǎng)景（Edge Cases）的泛化能力缺失，是純視覺(jué)方案通往L4及以上自動(dòng)駕駛時(shí)必須跨越的鴻溝。

最后的話

從被動(dòng)感知的低信噪比，到大氣介質(zhì)對(duì)光子的攔截，再到ISP處理中的數(shù)據(jù)裁剪，最后到神經(jīng)網(wǎng)絡(luò)在特征缺失面前的認(rèn)知無(wú)力，每一個(gè)環(huán)節(jié)都在累加純視覺(jué)自動(dòng)駕駛感知的誤差。雖然隨著更大動(dòng)態(tài)范圍傳感器的應(yīng)用、端到端RAW域感知的引入以及跨模態(tài)訓(xùn)練數(shù)據(jù)的補(bǔ)齊，純視覺(jué)方案的邊界正在不斷擴(kuò)展，但其物理屬性決定的“光影死角”，依然是行業(yè)在平衡安全性與成本時(shí)必須慎重對(duì)待的核心議題。

-- END --

       原文標(biāo)題 : 為什么光照對(duì)純視覺(jué)自動(dòng)駕駛影響較大？