北京2025年10月28日 /美通社/ -- 近日，在ICCV 2025自動(dòng)駕駛國(guó)際挑戰(zhàn)賽（Autonomous Grand Challenge 2025）中，浪潮信息AI團(tuán)隊(duì)?wèi){借其提出的創(chuàng)新框架"SimpleVSF"，以53.06的EPDMS綜合得分，在端到端自動(dòng)駕駛賽道中奪得冠軍。該項(xiàng)目創(chuàng)新構(gòu)建以鳥瞰視圖感知軌跡預(yù)測(cè)為核心、視覺-語(yǔ)言多模態(tài)大模型輔助判斷的融合方案，發(fā)揮大模型泛化能力，突破現(xiàn)有端到端自動(dòng)駕駛模型在復(fù)雜交通場(chǎng)景"難以自主判斷"的局限，實(shí)現(xiàn)性能領(lǐng)先，為高動(dòng)態(tài)、高交互交通環(huán)境下的智能決策提供了全新思路。

ICCV2025自動(dòng)駕駛挑戰(zhàn)賽是自動(dòng)駕駛與具身智能領(lǐng)域極具影響力的國(guó)際賽事。本屆比賽共設(shè)三大賽道，此次浪潮信息AI團(tuán)隊(duì)所登頂?shù)亩说蕉俗詣?dòng)駕駛賽道（NAVSIM v2 End-to-End Driving Challenge）是ICCV2025最受關(guān)注的賽道之一。比賽以NAVSIM v2數(shù)據(jù)驅(qū)動(dòng)仿真框架作為評(píng)估平臺(tái)，主要考驗(yàn)純視覺環(huán)視相機(jī)輸入的軌跡預(yù)測(cè)與行為規(guī)劃能力，要求在保證行車安全性的前提下，優(yōu)化車輛的前進(jìn)效率、避障能力、可行駛區(qū)域、駕駛舒適度等九項(xiàng)關(guān)鍵指標(biāo)，避免模型只在某一單項(xiàng)上表現(xiàn)突出的缺陷。該賽道吸引了來自中國(guó)、韓國(guó)、瑞典的多家頭部智駕企業(yè)及知名高校與研究機(jī)構(gòu)。

端到端自動(dòng)駕駛：挑戰(zhàn)基于語(yǔ)義理解的類人決策

當(dāng)前，端到端自動(dòng)駕駛（End-to-End Autonomous Driving）通過端到端優(yōu)化有效減少了傳統(tǒng)模塊化方法中各組件間的誤差累積與信息損失，被廣泛認(rèn)為是實(shí)現(xiàn)智能駕駛的重要發(fā)展方向。然而，端到端自動(dòng)駕駛系統(tǒng)在復(fù)雜現(xiàn)實(shí)路況中的決策能力仍不理想，主要問題在于：現(xiàn)有方法雖能準(zhǔn)確識(shí)別車輛、車道等實(shí)體元素，卻難以理解如禮讓行人、擁堵跟車等高層次語(yǔ)義與場(chǎng)景常識(shí)。因此，在復(fù)雜長(zhǎng)尾場(chǎng)景下，系統(tǒng)往往僅能依據(jù)數(shù)據(jù)關(guān)聯(lián)做出反應(yīng)，而無法真正解讀交通參與者意圖或交互邏輯，從而出現(xiàn)次優(yōu)決策，限制了其在真實(shí)開放道路中的可靠性與泛化能力。

在此基礎(chǔ)上，如何將深層語(yǔ)義認(rèn)知能力融入軌跡規(guī)劃流程，成為了更深層次的技術(shù)挑戰(zhàn)。首先，將視覺語(yǔ)言模型輸出的抽象認(rèn)知指令，轉(zhuǎn)化為驅(qū)動(dòng)控制系統(tǒng)所需的具象數(shù)值化特征，本身就是一個(gè)復(fù)雜的表示學(xué)習(xí)問題。其次，在軌跡選擇階段，如何平衡數(shù)據(jù)驅(qū)動(dòng)的量化評(píng)分與知識(shí)驅(qū)動(dòng)的語(yǔ)義判斷，確保所選軌跡不僅在數(shù)學(xué)上最優(yōu)，也在語(yǔ)義和場(chǎng)景常識(shí)上合理安全，成為感知與決策間的關(guān)鍵障礙。

本屆賽題旨在提升端到端自動(dòng)駕駛模型在復(fù)雜動(dòng)態(tài)環(huán)境中高效可靠決策的能力。競(jìng)賽分為兩階段：第一階段采用真實(shí)場(chǎng)景數(shù)據(jù)，第二階段則基于真實(shí)場(chǎng)景通過Gaussian Splatting技術(shù)生成合成場(chǎng)景，以測(cè)試模型對(duì)"非真實(shí)但物理合理"場(chǎng)景的泛化能力；同時(shí)引入"反應(yīng)式背景交通參與者"，即周圍車輛和行人不再是預(yù)先設(shè)定、機(jī)械運(yùn)動(dòng)的，而是會(huì)根據(jù)自車的實(shí)時(shí)行為做出動(dòng)態(tài)、仿真的反應(yīng)，這要求模型具備更深層次的交互式預(yù)測(cè)與意圖理解能力，而非簡(jiǎn)單的軌跡外推。

EPDMS 53.06分，SimpleVSF框架讓自動(dòng)駕駛模型"懂場(chǎng)景、會(huì)思考"

在端到端自動(dòng)駕駛賽道中，浪潮信息AI團(tuán)隊(duì)所提出的SimpleVSF（Simple VLM-Scoring Fusion）框架，有效彌合了傳統(tǒng)軌跡規(guī)劃與視覺語(yǔ)言模型語(yǔ)義理解之間的關(guān)鍵鴻溝，推動(dòng)自動(dòng)駕駛決策從"純幾何式"向"認(rèn)知式"轉(zhuǎn)變。該框架通過引入VLM（Vision-Language Model）與雙重融合決策機(jī)制，賦予系統(tǒng)深層的場(chǎng)景理解與推理能力，從根本上解決了現(xiàn)有方案在復(fù)雜交通語(yǔ)義認(rèn)知上的不足，成為應(yīng)對(duì)NAVSIM v2等高難度挑戰(zhàn)、實(shí)現(xiàn)高魯棒性駕駛的關(guān)鍵。其主要技術(shù)創(chuàng)新包括：

• VLM增強(qiáng)打分機(jī)制，決策質(zhì)量與場(chǎng)景適應(yīng)性顯著提升

通過將前視圖像與車輛狀態(tài)輸入VLM模型，生成"加速、右轉(zhuǎn)"等認(rèn)知指令，再經(jīng)編碼器轉(zhuǎn)換為數(shù)值特征，與感知特征融合后輸入評(píng)分網(wǎng)絡(luò)。該機(jī)制使軌跡評(píng)估不再局限于幾何信息，更融入了對(duì)交通意圖與場(chǎng)景語(yǔ)義的理解，從而顯著提升了系統(tǒng)在復(fù)雜與長(zhǎng)尾場(chǎng)景下的決策質(zhì)量與魯棒性。實(shí)驗(yàn)表明，此VLM增強(qiáng)打分機(jī)制為單一模型帶來2%的性能提升，在融合決策中提升幅度達(dá)到6%。

• 雙重融合決策機(jī)制，量化權(quán)衡與語(yǔ)義裁決能力雙重突破

權(quán)重融合器作為定量聚合的核心，采用固定權(quán)重與動(dòng)態(tài)權(quán)重相結(jié)合的策略，對(duì)多個(gè)評(píng)分器給出的分?jǐn)?shù)進(jìn)行精準(zhǔn)的加權(quán)融合，確保最終軌跡在各項(xiàng)量化指標(biāo)上達(dá)到最優(yōu)。

基于VLM的選擇融合器則將各評(píng)分器選出的最優(yōu)軌跡進(jìn)行視覺渲染，并交由VLM進(jìn)行最終評(píng)判，利用其高層次語(yǔ)義理解能力，選擇出最符合上下文場(chǎng)景、最安全合理的軌跡路徑。

融合機(jī)制的引入使決策效果顯著提升，融合后的結(jié)果相比單一模型性能提升達(dá)10%。

• 更堅(jiān)實(shí)的基礎(chǔ)模型協(xié)同，系統(tǒng)性能與魯棒性全面提升

該框架采用擴(kuò)散模型生成高質(zhì)量的多樣化候選軌跡，奠定規(guī)劃基礎(chǔ)；運(yùn)用ViT-L等先進(jìn)視覺骨干網(wǎng)絡(luò)進(jìn)行高效、魯棒的環(huán)境特征提取，為下游任務(wù)提供可靠表征；并引入Qwen2.5VL系列視覺語(yǔ)言模型，利用其在場(chǎng)景理解與指令生成方面的語(yǔ)義優(yōu)勢(shì)，確保系統(tǒng)整體性能基礎(chǔ)的堅(jiān)實(shí)與領(lǐng)先。

基于VLM自動(dòng)駕駛決策系統(tǒng)的算法創(chuàng)新，"SimpleVSF"算法框架成功登頂端到端自動(dòng)駕駛賽道（NAVSIM v2 End-to-End Driving Challenge）榜單，以53.06的EPDMS綜合得分創(chuàng)造了本賽道的最高成績(jī)，為探索更高級(jí)別的端到端自動(dòng)駕駛技術(shù)提供了有力的支撐與經(jīng)驗(yàn)。

浪潮信息AI團(tuán)隊(duì)此次奪冠，是繼22、23年登頂nuScenes 3D目標(biāo)檢測(cè)純視覺及多模態(tài)榜單，24年在CVPR自動(dòng)駕駛國(guó)際挑戰(zhàn)賽"Occupancy & Flow"賽道奪冠后的又一重要成果。未來，浪潮信息AI團(tuán)隊(duì)將踐行多角度切入，發(fā)揮算法、算力融合的AI全棧優(yōu)化能力，推動(dòng)自動(dòng)駕駛領(lǐng)域的技術(shù)創(chuàng)新發(fā)展。

* 備注：文內(nèi)所涉術(shù)語(yǔ)解釋如下 

擴(kuò)展預(yù)測(cè)性駕駛模型評(píng)分（The Extended Predictive Driver Model Score，EPDMS）：該指標(biāo)綜合考量軌跡預(yù)測(cè)與真實(shí)軌跡的貼合度、碰撞風(fēng)險(xiǎn)、可行駛區(qū)域規(guī)范性、車道居中性、通行效率及舒適性等多個(gè)維度，全面反映自動(dòng)駕駛系統(tǒng)的綜合表現(xiàn)；

高斯?jié)姙R（Gaussian Splatting）：一種新興的三維場(chǎng)景表示與渲染技術(shù)；

鳥瞰視圖（Bird's Eye View，BEV）：是指將特征信息轉(zhuǎn)化至鳥瞰視角；

自車（ego-car）：在自動(dòng)駕駛領(lǐng)域指代當(dāng)前車輛自身，通常作為運(yùn)動(dòng)主體參與軌跡規(guī)劃、環(huán)境感知等任務(wù)；

魯棒（Robust）：是指系統(tǒng)在一定的參數(shù)攝動(dòng)下，維持其它某些性能的特性。