北京2023年4月24日 /美通社/ -- 近日，在全球權威的自動駕駛nuScenes競賽最新評測中，浪潮信息算法團隊所提交的"IEI-BEVFusion++"算法模型在關鍵性指標nuScenes Detection Score（NDS）得到77.6%的高分，創(chuàng)造了3D目標檢測全賽道迄今最高成績。繼去年以"DABNet4D"登頂純視覺3D目標檢測榜單后，該算法團隊在面向融合感知自動駕駛領域再一次實現(xiàn)突破。
nuScenes數據集是目前自動駕駛領域中最流行的公開數據集之一，數據采集自波士頓和新加坡的實際自動駕駛場景，是第一個集成攝像頭、激光雷達和毫米波雷達等多種傳感器，實現(xiàn)360度全傳感器覆蓋的數據集。nuScenes數據集提供了二維、三維物體標注、點云分割、高精地圖等豐富的標注信息，包含1000個場景，擁有140萬幀圖像、39萬幀激光雷達點云數據、23個物體類別、140萬個三維標注框，其數據標注量比KITTI數據集高出7倍以上。
猶如人類的眼睛為大腦提供了70%以上的信息，在自動駕駛領域，作為感知系統(tǒng)的主流模式架構，Lidar與Camera融合的3D多模態(tài)架構則為實現(xiàn)高魯棒、高精度的3D目標檢測提供了至關重要的信息輸入，為業(yè)內提供更具通識性的解決方案。此次創(chuàng)nuScenes榜單成績新高的"IEI-BEVFusion++"算法模型正是應用了3D多模態(tài)融合架構的思路，將Lidar與Camera形成有效的交互融合。
3D目標檢測作為自動駕駛至關重要的核心任務，面向強大的環(huán)境感知，自動駕駛車輛通過廣泛車載傳感器的信息輸入，實現(xiàn)精準的目標檢測。以Lidar為例，它可以有效精準地捕捉空間信息，點云數據所具備的天然3D優(yōu)勢，最大程度地提升了檢測目標的測距精度、速度及方向；而Camera的優(yōu)勢則在于，它具備豐富的紋理信息，強大的語義及圖像上下文理解能力使得它可以有效地識別行人、交通指示牌等具象化的路面信息。因此，Lidar與Camera融合的3D多模態(tài)架構將深度信息與紋理信息形成有效的交互融合，為更精準的3D目標檢測提供了一種全新思路。
然而，將兩種截然不同的模態(tài)幾何和語義特征在一個表示空間內相結合，這是一個巨大的挑戰(zhàn)。 一方面，預估檢測目標的深度信息是提升3D目標檢測精度的關鍵，現(xiàn)有模態(tài)的融合通常關注于點云雷達及Camera虛擬點間的交互，但由于點云雷達遠比Camera數據稀疏得多，傳統(tǒng)的融合方式無法解決固有模態(tài)間的深度信息差距。另一方面，在跨模態(tài)的融合交互中，點云雷達涉及體素的精細劃分及大量的3D卷積計算，圖像則由于多攝像頭、高分辨率，復雜的特征提取網絡，兩者計算復雜且耗時長。因此，不同形態(tài)的數據整合也為多模態(tài)融合模型的訓練速度和檢測精度帶來了新一層算力壓力。
IEI-BEVFusion++多模態(tài)融合模型，通過更有效的多模態(tài)訓練架構、更精細的特征提取網絡、更強大的數據預處理能力，實現(xiàn)Lidar與Camera的高效特征提取與融合優(yōu)化。激光雷達點云特征為Camera數據提供檢測目標的精確3D信息，Camera發(fā)揮其紋理輪廓及語義理解優(yōu)勢，進一步精細化點云區(qū)域特征，形成Liar與Camera的數據最大化互補，大幅優(yōu)化了模型的檢測精度。
基于Lidar與Camera的多模態(tài)融合模型架構，實現(xiàn)了三大核心技術突破：
IEI-BEVFusion++ 多模態(tài)融合模型架構圖
a) 首先，基于更有效的多模態(tài)訓練架構，使得mAP（全類平均正確率，mean Average Precision）平均提升2%+
Transformer的多模態(tài)數據融合架構，通過引入基于Camera數據的BEV檢測頭，輔助融合模型訓練，在不增加過多計算量的同時，進一步增強語義信息特征，使得mAP（全類平均正確率，mean Average Precision）平均提升2%+。
b) 其次，精細的特征提取網絡，大幅提升目標的3D檢測能力
一方面，采用多尺度Lidar的特征融合技術，進一步增強其特征提取的感受野，提升其對于檢測目標，尤其是大目標的表征能力；另一方面，Lidar信息可直接輔助優(yōu)化Camera的深度預測，采取級聯(lián)深度輔助策略，大幅提升圖像的3D檢測能力。
c) 同時，強大的數據預處理能力，實現(xiàn)模型精度與訓練速度雙突破
創(chuàng)新設計Lidar與Camera同步貼圖，替代了業(yè)內傳統(tǒng)的cbgs（類平衡分組和采樣）技術。一方面增強了樣本的均衡性與多樣性，另一方面保證了不同模態(tài)間的數據協(xié)調、同步，在提升目標定位檢測精度的同時，保障目標速度、方位、縮放等相關指標的提升，訓練速度更是較業(yè)內基準提升了4.5倍。
基于BEV融合算法的創(chuàng)新，"IEI-BEVFusion++"算法模型成功登頂3D目標檢測任務（nuScenes detection task）全賽道榜單，將關鍵性指標NDS提升至77.6%。未來，浪潮信息算法團隊將踐行多角度切入，發(fā)揮算法、算力融合的全棧解決方案能力，推動自動駕駛領域的技術創(chuàng)新發(fā)展。
備注：文內所涉術語解釋如下
1) BEV：Bird's Eye View，是指將特征信息轉化至鳥瞰視角
2) 多模態(tài)融合：也稱多源信息融合或多傳感器融合，是指綜合兩個或多個模態(tài)的信息進行預測的過程
3) 魯棒（Robust）: 是指系統(tǒng)在一定的參數攝動下，維持其它某些性能的特性
