繁體
  • 简体中文
  • 繁體中文

熱門資訊> 正文

商湯絕影打造智能駕駛新路標——生成式智駕R-UniAD,讓安全更有確定性,超越人類駕駛極限

2025-04-24 09:03

·強化學習+世界模型,絕影構建VLAR技術架構,突破端到端瓶頸

·R-UniAD創新鏈路:挖掘複雜場景、4D仿真復現、強化學習、泛化驗證

·近實時在線交互的4D世界模型「絕影開悟2.0」,生成式智駕R-UniAD的核心基石

·絕影輔助駕駛目前已合作4家車企,上車7款車型,基於地平線征程6、英偉達DIRVE AGX Thor平臺打造的方案將在今年上車東風、奇瑞等車企夥伴

隨着輔助駕駛普及的不斷深入,公眾越來越關注駕駛系統的安全性,期待輔助駕駛帶來更安全也更流暢的智慧出行體驗。只是許多輔助駕駛方案在遇到新場景時難以妥善處理,事故時有發生,暴露出當前技術方案的諸多瓶頸。

想要提高安全性,端到端模型需要海量高質量數據訓練,然而,即使是百萬量產車迴流的數據量,極端場景有效信息提取率不足1%。

不僅如此,因為端到端的範式是模仿學習,遇到沒有見過的新場景,它的駕駛決策存在很大的不確定性,安全邊界模糊,給駕駛安全帶來風險,更難以超越人類的駕駛能力。

因此,商湯絕影發佈了生成式智駕R-UniAD技術方案,將強化學習引入到智能駕駛,讓端到端智駕與世界交互的不斷深入,通過生成的方式真實還原並深度理解駕駛環境,從而主動預測並處理複雜狀況,驗證輔助駕駛的安全邊界,讓駕駛安全更有確定性、更加值得信賴,並且超越人類的駕駛極限,為智能駕駛行業樹立了新路標。

商湯絕影構建VLAR架構,突破端到端數據、安全、性能三大瓶頸

人工智能技術的發展和進步推動着智能駕駛的演進。一開始的智駕都是規則式的,主要通過物理模型和邏輯預定義等方式來實現輔助駕駛的基礎功能執行,但面對複雜場景略顯乏力。隨着神經網絡的引入和AI大模型的出現,商湯絕影2022年發佈了行業首個感知決策一體化的智駕通用模型UniAD,並榮獲CVPR 2023最佳論文,引領了智能駕駛行業的創新潮流,智駕進入到端到端時代,模型學會類人交互,性能表現大幅提升。

隨着端到端路線探索和實踐的持續深入,它開始觸及瓶頸。首先,端到端是通過海量的高質量人類駕駛數據學習和訓練,比如特斯拉就以超700萬輛量產車形成的數據迴流來訓練端到端模型,但人類的日常駕駛中,極難遇到像車禍等極端場景,這導致了僅有不超過1%的數據可用於最終訓練,高價值數據的稀缺性成為制約端到端訓練的一大瓶頸。

另一方面,由於端到端的本質是對人類駕駛行為的最佳模仿,遇到沒有見過的新場景,端到端方案的駕駛決策存在很大的不確定性,為駕駛安全帶來風險,同時,基於模仿學習的技術範式可以做到接近人類但難以突破人類能力上限。因此,性能和安全性也成爲了端到端發展的兩大瓶頸。

今年年初,DeepSeek-R1基於純強化學習的關鍵創新引發了廣泛的關注,基於強化學習的大模型技術路線可以遷移到端到端輔助駕駛算法的訓練與研發之中。2025年2月,商湯絕影發佈了行業首個與世界模型協同交互的端到端技術方案R-UniAD,通過世界模型生成在線交互的仿真環境,以此進行端到端模型的強化學習訓練,行業開始邁向生成式智駕。

本屆上海車展上,商湯絕影全面展示了R-UniAD技術方案,基於世界模型和強化學習兩大核心技術,構建集「視覺-語言-行動-強化學習」於一體的VLAR技術架構,實現生成式智駕的核心突破。

基於世界模型和強化學習,絕影構建集「視覺-語言-行動-強化學習」於一體的VLAR技術架構

商湯絕影的R-UniAD是「多階段強化學習」端到端技術方案,具體分為三個階段,首先是依靠冷啟動數據通過模仿學習進行雲端的端到端輔助駕駛大模型訓練;然后基於強化學習,讓雲端的端到端大模型與世界模型協同交互,持續提升端到端模型的性能;最后雲端大模型通過高效蒸餾的方式,實現高性能端到端輔助駕駛小模型的車端部署。

這三個階段的核心在於第二階段的「強化學習與世界模型」,也就是VLAR技術架構。在VLAR技術架構的支持下,R-UniAD能夠重構萬千世界,讓實採Corner Case數據需求降低2個量級;同時依託雲端超100萬案例和1024場景類型,構建更加精確、全面的虛擬測試場景,充分探索安全邊界,賦予了輔助駕駛有確定性的安全感,最終通過不斷地強化學習訓練出來的模型,相較於人類駕駛員的碰撞率降低1個量級,實現遠超人類的駕駛能力。

R-UniAD如何讓安全更有確定性:挖掘複雜場景、4D仿真復現、強化學習、泛化驗證

因為各類施工防護設施搭配不同的空間佈局,組合繁雜多變,所以施工佔道場景是輔助駕駛領域的棘手難題,也是交通事故頻發的重要場景。上海車展發佈會上,商湯絕影現場演示了針對「施工佔道剎停」場景,R-UniAD如何依託「VLAR」增強模型能力。

首先,以「施工佔道剎停」路測視頻作為輸入,即自車因為沒有識別錐桶封路,在施工區域進行急剎。

接下來是R-UniAD對這個場景基於「絕影開悟」世界模型進行4D仿真復現。第一步是把案例視頻進行解耦,分為3D的動態前景與靜態背景;第二步,使用物理引擎、3DGS等重建和渲染技術對場景進行復現;第三步,用「絕影開悟」世界模型對場景細節進行修復,讓場景變得更加逼真。

完成這三步的流程,傳統方案需要數天時間,R-UniAD僅需幾個小時就能完成,而且場景更為精細可控,一致性達到了95%,相比單一的3DGS技術提高了1.5倍。

然后就是進行鍼對性強化學習的訓練。在閉環仿真工具鏈中設置對「施工佔道剎停」案例自車軌跡的Reward計算維度和分值,包括最大最小加速度、是否到達終點、是否違反交通規則、是否碰撞等維度,並根據規則進行組合計算。端到端模型就在仿真環境中自行駕駛,系統根據自車軌跡給予相應Reward分值反饋。

在初期訓練中,自車因為衝入對向車道或者同向車道被扣分,如果能夠及時剎停變道,就會得到高分。端到端模型不斷生成該場景下各種可能駕駛策略,並與世界模型生成的環境交互,通過數千次強化學習訓練,經過不斷評分反饋,端到端模型會找到最優路徑,能預判施工佔道,絲滑變道繞行。

最后,經過泛化訓練后,再遇到類似前方障礙物場景,端到端模型也能及時變道,並顯著提升對此類施工場景的泛化交互能力。

生成式智駕R-UniAD讓安全更有確定性

強化「施工佔道場景」的應對能力只是生成式智駕R-UniAD能力顯化的冰山一角。在VLAR技術架構的助力下,商湯絕影能夠針對更多複雜長尾場景、極端工況,進行4D仿真復現、強化學習、泛化驗證,讓端到端模型比人類「看更多」、「學更快」、「開更好」,讓輔助駕駛的安全更有確定性,超越人類駕駛極限。

「絕影開悟」世界模型2.0,生成式智駕R-UniAD的核心基石

世界模型是生成式智駕的基石所在。2024年,在2024年11月「絕影實力AI DAY」上,商湯絕影發佈了行業標杆級別的「絕影開悟」世界模型,並已經應用於真值數據的生產。

去年「絕影開悟」世界模型主要聚焦2D視頻生成技術的打磨,今年上海車展,「絕影開悟」升級為2.0版本,進化為近實時在線交互的4D世界模型,能夠實現「4D空間自由交互」,推動智能體邁向通用空間智能,成為商湯絕影決勝智駕戰場的重磅武器。

絕影開悟世界模2.0

「絕影開悟2.0」具備三大能力,首先是「面向量產的數據生成」,它具有多樣性場景的可控生成的能力,為模型訓練提供了海量且豐富的訓練數據。而且,它還能一鍵生成極端高風險場景。

例如,Cut-in 場景是行車時極為常見但非常重要的場景,「絕影開悟2.0」能夠從100多個維度組合生成萬千Cut-in場景,包括白天、黃昏、凌晨、夜晚等不同光照類型;晴天、陰天、雨天等不同天氣;從高速到城市道路等不同道路等級;不同的車型,不同的Cut-in距離和車輛速度等等。

此外,極端風險場景(如車禍、道路塌陷等)難以採集,成本也非常高昂。「絕影開悟2.0」只需輸入一段提示詞,就可以生成極端風險場景,讓端到端模型可以在安全的虛擬環境中,讓系統反覆學習和應對這些危險場景,從而在實際駕駛中更好地預判和規避風險。

細緻的分類,可控的生成,有助於模型更好應對特定場景,對提升輔助駕駛的安全性和可靠性有着重要意義。

其次,「絕影開悟2.0」能夠實現「複雜場景自由復現」,根據不同需求,任意修改和調整場景中的各種要素,既可以替換特定車輛、插入新的車輛,或者刪除不需要的車輛,也能改變道路的佈局、車輛的速度,創造稀缺複雜場景,從而豐富訓練場景的多樣性。

最后,「絕影開悟2.0」具備近實時交互能力,比行業 SOTA 提升 5 倍之多,讓仿真訓練過程更加高效和逼真,車輛的決策和反饋能夠幾乎在瞬間得到響應;同時感知結果接近真實精標數據98%,能避免因數據風格差異帶來的 Sim-to-Real 遷移時能力退化問題,為端到端模型打造了「雲端虛擬訓練場」。

厚積薄發,商湯絕影全力推進輔助駕駛量產交付

商湯絕影的生成式AI技術和產品持續創新,商業化落地也全面開花,量產交付正在加速推進。

在「絕影2025上海車展發佈會」上,東風汽車集團研發總院智能化技術首席總工程師張振林透露,他們和絕影團隊正在攜手推動UniAD一段式端到端方案的量產落地,「除了端到端的合作,未來東風汽車也將持續加大在智能化領域的研發投入,與絕影在開悟世界模型、DriveAGI等方面展開深度合作。」

在輔助駕駛領域,商湯絕影的量產方案目前已合作4家車企,上車7款車型,2025年更將厚積薄發,全力推進輔助駕駛方案的量產交付。今年3月底,絕影和廣汽聯合打造的行業首批基於地平線征程6M的輔助駕駛方案正式量產上市。2025年,絕影還有更多基於地平線征程6打造的輔助駕駛方案量產落地奇瑞等眾多車企夥伴,在英偉達DIRVE AGX Thor平臺部署的絕影UniAD一段式端到端量產方案也將於2025年第四季度量產交付東風汽車。

商湯絕影輔助駕駛的量產成果,並將於2025年全力推進輔助駕駛方案的量產交付

不止如此,絕影基於地平線征程6打造的量產方案得到中汽研的認證,是首個獲得中汽研《CATARC 標誌認證實施規則–「征程之星」領航輔助駕駛認證》的輔助駕駛產品。

此外,本次上海車展期間,無論是基於地平線征程6打造的高速輔助駕駛、城區輔助駕駛,還是一段式端到端量產方案的城區泛化,商湯絕影都在展館外開放了實車體驗。

生成式智駕R-UniAD讓商湯絕影的輔助駕駛模型通過與世界模型生成的無限場景進行不斷地強化學習與交互,在每一次的行駛中成長、進步。豐富的量產經驗,讓絕影具備強大的工程化能力。兩者相互融合,助力絕影打造真正安全、可靠的輔助駕駛方案,和車企夥伴一起,為用户創造更加安全可信賴的出行體驗。

注:本文所提及的「智駕」、「智能駕駛」等,指L2級輔助駕駛。

關於商湯絕影——激發AGI創造力,讓智能汽車向超級智能體進化

商湯絕影是加速智能汽車駛入AGI時代的戰略合作伙伴。

依託商湯大裝置深厚的算力儲備、原生的汽車垂類大模型、領先的軟硬件架構和全棧數據生產管線四大技術基座,商湯絕影將最前沿的人工智能技術與汽車產業深度融合,構建了駕-艙-雲三位一體的通用人工智能(AGI) 技術架構,打造了智能駕駛、智能座艙和 AI 雲的多元產品體系,致力於為每一個人提供靈活自適應、深度個性化、安全可信賴、有人文關懷的未來出行方式。

商湯絕影的業務以中國為起點,佈局全球,已在中國(上海、北京、深圳、廣州)、德國、日本等地設立研發中心。

截至2024年12月,商湯絕影已與本田、比亞迪、長城、廣汽、紅旗、極氪、奇瑞、蔚來等超過30家國內外車企攜手合作,覆蓋超130款車型,累計交付總量超360萬輛。

風險及免責提示:以上內容僅代表作者的個人立場和觀點,不代表華盛的任何立場,華盛亦無法證實上述內容的真實性、準確性和原創性。投資者在做出任何投資決定前,應結合自身情況,考慮投資產品的風險。必要時,請諮詢專業投資顧問的意見。華盛不提供任何投資建議,對此亦不做任何承諾和保證。