在自動駕駛的技術路線之爭中，純視覺方案憑借其更接近人類駕駛邏輯、更低的成本以及更具擴展性等優(yōu)勢，成為很多主機廠的主要選擇。但純視覺系統(tǒng)在隧道進出的明暗劇變、夜晚逆光下的強光直射、以及城市街道隨處可見的LED信號燈頻閃等極端光照條件下表現有時不盡人意，這也成為很多人推崇激光雷達方向的原因。

最近在討論極端光照條件對攝像頭影響時（相關閱讀：極端光照條件如何影響自動駕駛攝像頭？），就有小伙伴提出了橫向溢出積分電容（Lateral Overflow Integration Capacitor，簡稱LOFIC）技術，今天就帶大家來聊一聊。

光電轉換的物理邊界與傳統(tǒng)HDR的短板

在聊LOFIC技術之前，我們必須先了解攝像頭傳感器捕捉光線的原理。圖像傳感器的每一個像素，實際上都可以被看作是一個用來收集光子并將其轉化為電荷的“蓄水桶”。在理想狀態(tài)下，光線越強，桶里的電荷就越多，轉化出的圖像信號也就越明亮。

然而，這種物理結構存在一個天然的限制，即“滿阱容量”（Full Well Capacity,FWC）。當光線極其強烈時，像素桶中的電荷會迅速填滿并溢出，導致圖像出現大面積的過曝和細節(jié)丟失。在自動駕駛的場景中，有一個場景可以很好地體現這一特征，那就是車輛從黑暗的隧道駛向陽光刺眼的出口時，攝像頭會經歷短暫的“失明”，無法識別前方的路況或障礙物。

為了應對這種極端的光照場景，行業(yè)內普遍采用高動態(tài)范圍（High Dynamic Range,HDR）技術。最常見的做法是“多重曝光合成”，即讓傳感器在極短的時間內連續(xù)拍攝幾張曝光時間長短不一的照片，然后再通過后期算法將它們拼接在一起。通過這種方式，曝光時間短的照片保留了高光細節(jié)，曝光時間長的照片則看清了暗部陰影。

但在自動駕駛這種高速運動場景中，這種合成方式帶來了一個致命的缺陷，即運動偽影（Ghosting）。由于多張照片的拍攝存在時間差，即使只是幾毫秒，對于時速百公里的車輛來說，畫面中的物體已經發(fā)生了顯著的位移。合成后的圖像邊緣會出現重影、虛影，這會嚴重干擾自動駕駛神經網絡模型對物體邊緣、深度和運動軌跡的判斷，甚至可能導致算法對前方障礙物識別失誤。

除了運動偽影，自動駕駛還面臨著另一個由于曝光邏輯產生的難題，那就是LED信號燈的頻閃�，F如今，交通信號燈、路牌以及汽車尾燈幾乎全部采用LED光源。由于LED是通過脈沖寬度調制（PWM）來控制亮度的，它們實際上是在極高頻率下不斷閃爍，只是人眼無法察覺。如果攝像頭的曝光時間太短，恰好抓拍到了LED燈熄滅的那個瞬間，那么在系統(tǒng)輸出的畫面里，信號燈看起來就是滅的，或者在持續(xù)跳動。這種不穩(wěn)定的視覺輸入，對于依賴視覺信號進行紅綠燈識別和車距保持的感知算法而言，無疑是巨大的干擾源。

下表展示了不同動態(tài)范圍技術在處理高速自動駕駛場景時的表現差異，從中可以清晰地看到傳統(tǒng)方案的局限性。

LOFIC技術的物理機制

LOFIC技術，其實是對圖像傳感器像素結構進行了一次重組。它的全稱是“橫向溢出積分電容”，顧名思義，就是在每個像素的光電二極管（PD）旁邊，額外增加了一個用來承接“溢出電荷”的高密度電容。

如果把傳統(tǒng)的像素桶比作一個容易裝滿的水箱，那么LOFIC技術就是在主水箱的側面開了一個溢流口，并連接了一個容量大得多的備用蓄水桶。當外界光線變強、主水箱的電荷快要滿溢時，多出來的電子會通過一個受控的晶體管開關，流進這個側向的積分電容中，而不會導致信號丟失白或信號飽和。

從電路層面上看，這種設計允許傳感器在單次曝光的過程中，同時利用兩種不同的模式來采集光信號。在光線較暗的區(qū)域，傳感器關閉溢流開關，利用高轉換增益（HCG）模式捕捉極其微弱的光信號，確保暗部圖像純凈、噪聲降低。而在光線極強的區(qū)域，傳感器開啟溢流路徑，讓電容介入工作，進入低轉換增益（LCG）模式，從而大幅度擴充像素能夠容納的電子總數。這種“單次曝光、雙路并行”的處理邏輯，使得單個像素的滿阱容量（FWC）可以從傳統(tǒng)的3萬個電子，躍升至27萬個甚至更多。

這種物理電荷收集方式帶來的最直接好處就是，傳感器在極強光下不再需要縮短曝光時間。既然有了“副蓄水池”來承載溢出的電子，完全可以延長快門時間，讓攝像頭在每一幀中都能捕捉到一個完整的LED閃爍周期。這意味著，LOFIC從物理層面上完美解決了LED頻閃的問題（LFM），讓交通信號燈在視頻流中始終保持穩(wěn)定的常亮狀態(tài)。

由于所有亮部和暗部的信息都是在同一次快門開合的過程中完成收集的，圖像中就不存在任何的時間錯位，從而徹底消除了運動重影。對于時速超過100公里的自動駕駛車輛而言，這種“時空一致”的高清畫面是感知算法進行精確決策的前提。

在實際應用中，這種動態(tài)范圍的擴展是極其驚人的。衡量動態(tài)范圍的單位是分貝（dB），傳統(tǒng)車載傳感器的動態(tài)范圍通常在60dB到90dB之間。而采用LOFIC技術的傳感器，單次曝光下的動態(tài)范圍可以輕松突破120dB，甚至達到140dB。從視覺效果上看，意味著在同一個畫面里，既能看清隧道內黑暗處的墻壁紋理，也能看清隧道外陽光下遠方車輛的牌照。這種對真實世界的極致還原，為純視覺系統(tǒng)在復雜光影環(huán)境下的安全駕駛提供了堅實的保障。

我們可以通過動態(tài)范圍的數學定義來更直觀地理解這種提升。動態(tài)范圍DR通常定義為最大可測信號（即飽和信號N_{sat}）與最小可測信號（即暗噪聲N_{dark}）的比值：

在LOFIC結構下，N_{sat}因為電容的引入而增加了近一個數量級，同時配合雙轉換增益技術（DCG）降低了N_{dark}，雙管齊下可以讓結果實現了指數級的跨越。這種硬件層面的進化，讓原本依賴后期復雜算法修補的視覺方案，回歸到了“獲取高質量原始信號”的初心上。

LOFIC對自動駕駛算法的深度優(yōu)化

高質量的硬件數據輸入是算法模型的營養(yǎng)來源。在自動駕駛感知的架構中，基于Transformer的BEV（Bird's Eye View，鳥瞰圖）模型已成為主流。這類算法的核心邏輯是將安裝在車身周圍的多個攝像頭捕獲的2D圖像特征提取出來，然后通過一個復雜的空間變換網絡，把它們“縫補”到一個統(tǒng)一的、俯視角的3D空間中。如果把這個過程比作拼圖，那么攝像頭提供的每一張照片就是拼圖的碎塊。如果碎塊本身是模糊的、過曝的或帶有頻閃干擾的，那么最后拼出來的3D感知結果就會出現各種邏輯漏洞。

LOFIC技術對感知算法的賦能，首先體現在特征提取的穩(wěn)定性上。在進入神經網絡的骨干網絡（Backbone）之前，圖像數據需要經過預處理。如果傳感器輸出的數據在明暗交替處有明顯的“底噪”，或者在高光區(qū)域細節(jié)全無，那么神經網絡在提取車道線、路沿或者行人輪廓等特征時，置信度就會大幅下降。

特別是在BEV架構下，系統(tǒng)需要對不同視角的畫面進行融合，LOFIC提供的高線性度、無運動偽影的圖像，使得各視角之間在特征對齊時變得異常平滑。這顯著提升了系統(tǒng)對遠距離物體的檢測精度，使車輛能夠在更遠的地方提前預判前方光照異常區(qū)域的潛在危險。

對于3D占位網絡（Occupancy Network）這種前沿算法，LOFIC的重要性更是不言而喻。占位網絡的目標是判斷空間中每一個體積單位（Voxel）是否被占據。這需要模型對場景的深度信息有極強的感知力。深度感知在很大程度上依賴于圖像中的紋理和對比度細節(jié)。當視覺傳感器在強光下發(fā)生飽和時，圖像中的紋理會消失，變成一團白色，導致算法無法推算出那塊區(qū)域的深度。LOFIC保留了高光區(qū)域的精細紋理，使得算法在處理諸如“正午陽光直射下的雪地”或“濕滑路面的強光反射”等場景時，依然能準確識別出路面的起伏和障礙物的形狀，避免感知系統(tǒng)出現“真空區(qū)”。

此外，自動駕駛系統(tǒng)的實時性要求極其嚴苛。多重曝光合成HDR不僅會增加傳感器的功耗，還會給后端圖像信號處理器（ISP）帶來巨大的計算負荷。每一幀圖像的合成都需要消耗寶貴的計算資源，并產生一定的處理延遲。對于每秒鐘需要處理數十幀畫面、車速極快的自動駕駛系統(tǒng)來說，毫秒級的延遲就可能導致危險。LOFIC技術通過硬件電路一次性完成了高動態(tài)范圍信息的收集，極大地簡化了后端的處理邏輯，降低了系統(tǒng)整體的功耗和延遲，讓算力能夠更多地分配給更高級的規(guī)劃和控制任務。

產業(yè)趨勢與未來展望

隨著自動駕駛技術向L3、L4級別演進，行業(yè)對視覺感知的容錯率正在趨近于零。在這一背景下，傳感器廠商的技術競賽已經從單純的“比拼像素多少”轉變?yōu)椤氨绕聪袼刭|量”。LOFIC技術在提升像素動態(tài)范圍和消除頻閃中有明顯的優(yōu)勢，正迅速從實驗室走向大規(guī)模量產。

從市場發(fā)展來看，LOFIC技術的應用正在重塑車載攝像頭的標準參數。未來的主流車載攝像頭將不再只是簡單的成像單元，而是集成多種增益模式、自帶電荷管理電容、具備硬件級LFM能力的精密智能感知節(jié)點。雖然這種技術的引入會帶來單個傳感器硬件成本的提升，但它為整車帶來的價值是巨大的。它減少了對冗余傳感器的依賴，降低了算法訓練中由于處理噪聲數據而產生的研發(fā)成本，更重要的是，它為純視覺方案補齊了一塊“光學短板”，讓視覺方案能夠在更多極端環(huán)境下挑戰(zhàn)激光雷達的地位。

最后的話

展望未來，隨著傳感器技術的進一步微縮化和3D堆疊工藝的成熟，LOFIC技術有望與片上AI處理單元更緊密地結合。未來的傳感器可能在電荷離開像素的那一刻，就已經完成了初步的語義篩選和特征增強。在這個演進過程中，橫向溢出積分電容作為底層的物理創(chuàng)新，將持續(xù)發(fā)揮其“副水箱”的作用，讓自動駕駛無論在何種光影變幻中，都能始終如一地看清前方的道路。對于純視覺自動駕駛而言，LOFIC不僅僅是一項硬件改良，更是通往全天候自動駕駛時代的入場券。

-- END --

       原文標題 : LOFIC技術如何攻克純視覺自動駕駛復雜光照下的感知瓶頸？