新華財經北京5月8日電(康耕甫) 近日,在理想汽車推出的《理想AI Talk第二季》中,公司董事長兼CEO李想分享了自己對於人工智能的最新思考,VLA司機大模型的作用、訓練方法和挑戰等。他認爲,判斷Agent(智能體)是否真正智能,關鍵在於它是否成爲生產工具。只有當人工智能變成生產工具,纔是其真正爆發的時刻。
李想將AI工具分爲三個層級,分別是信息工具、輔助工具和生產工具。目前,大多數人將AI作爲信息工具使用,但信息工具常伴隨大量無效信息、無效結果和無效結論,僅具參考價值。成爲輔助工具後,AI可以提升效率,例如現在的輔助駕駛,但仍需人類參與。未來,AI發展爲生產工具後,將能獨立完成專業任務,顯著提升效率與質量。
VLA的實現是進化的過程
目前的L2、L2+組合駕駛輔助仍屬於輔助工具階段,而VLA(Vision-Language-Action Model,視覺語言行動模型)能夠讓AI真正成爲司機,成爲交通領域的專業生產工具。
VLA的實現不是一個突變的過程,是進化的過程,經歷了三個階段,對應了理想汽車輔助駕駛的三個階段。第一階段,理想汽車自2021年起自研依賴規則算法和高精地圖的輔助駕駛,類似“昆蟲動物智能”。第二階段,理想汽車自2023年起研究,並於2024年正式推送的端到端+VLM(Vision Language Model,視覺語言模型)輔助駕駛,接近“哺乳動物智能”。
端到端模型在處理複雜問題時存在侷限,雖可藉助VLM視覺語言模型輔助,但VLM使用開源模型,使其在交通領域的能力有限。同時端到端模型也難以與人類溝通。爲了解決這些問題並提升用戶的智能體驗,理想汽車自2024年起開展VLA研究,並在多項頂級學術會議上發表論文,夯實了理論基礎。
在端到端的基礎上,到第三階段,VLA將開啓“人類智能”的階段。它能通過3D和2D視覺的組合,完整地看到物理世界,而不像VLM僅能解析2D圖像。同時,VLA擁有完整的腦系統,具備語言、CoT(Chain of Thought,思維鏈)推理能力,既能看,也能理解並真正執行行動,符合人類的運作方式。
VLA訓練過程對齊人類價值觀
VLA的訓練分爲預訓練、後訓練和強化訓練三個環節,類似於人類學習駕駛技能的過程。預訓練相當於人類學習物理世界和交通領域的常識,通過大量高清2D和3D Vision(視覺)數據、交通相關的Language(語言)語料,以及與物理世界相關的VL(Vision-Language,視覺和語言)聯合數據,訓練出雲端的VL基座模型,並通過蒸餾轉化爲在車端高效運行的端側模型。
後訓練相當於人類去駕校學習開車的過程。隨着Action(動作)數據的加入——即對周圍環境和自車駕駛行爲的編碼,VL基座變爲VLA司機大模型。得益於短鏈條的CoT,以及Diffusion擴散模型對於他車軌跡和環境的預測,VLA具備實時性的特點,實現了在複雜交通環境中的博弈能力。
強化訓練類似於人類在社會中實際開車練習,目標是讓VLA司機大模型更加安全、舒適,對齊人類價值觀,甚至超越人類駕駛水平。強化訓練包含兩部分:一是通過RLHF(Reinforcement Learning from Human Feedback,基於人類反饋的強化學習)完成安全對齊,使模型遵守交通規則,貼閤中國用戶的駕駛習慣;二是將純強化學習模型放入世界模型中訓練,提升舒適性,避免碰撞事故,遵守交通規則。經過預訓練、後訓練和強化訓練後,VLA司機大模型即可部署至車端運行。
VLA司機大模型以“司機Agent(智能體)”的產品形態呈現,用戶可通過自然語言與司機Agent溝通,跟人類司機怎麼說,就跟司機Agent怎麼說。簡單通用的短指令由端側的VLA直接處理,複雜指令則先由雲端的VL基座模型解析,再交由VLA處理。
還需解決安全性和模型黑盒難題
除了提升專業能力,VLA司機大模型還需解決安全性和模型黑盒的問題。
模型能力越強,越需要職業性約束,以確保能力下限。爲了保障VLA司機大模型能夠實現職業司機般的安全和舒適,避免學習加塞等違規行爲,理想汽車在強化訓練環節投入大量資源,並於2024年底組建超過100人的超級對齊團隊,相當於爲司機Agent注入職業素養。
爲解決模型的黑盒問題,理想汽車結合重建和生成兩種路徑,打造了真實、符合物理世界規律的世界模型,覆蓋所有交通參與者和要素。基於世界模型的仿真能力,VLA可以在世界模型中低成本、準確地驗證現實問題,提升解決問題的效率,有效應對模型黑盒帶來的挑戰。
判斷司機Agent是否是個好司機,有三個關鍵標準:專業能力、職業能力和構建信任的能力。VLA司機大模型提升了專業能力,超級對齊增強了職業能力,VLA通過理解自然語言、具備記憶能力提升了構建信任的能力。
(文章來源:新華財經)
免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。