隨着蔚來世界模型全量推送至「Banyan 榕」、「Cedar 雪松」、「Cedar S 雪松」車型,用戶朋友們使用熱情很高,智能輔助駕駛的使用率翻了好幾倍。在使用的同時,大家也在積極通過各種渠道向我們反映了很多問題。因此,我們推出《蔚來世界模型NWM有問必答》欄目,就大家對蔚來世界模型關心的問題,一一進行解答。
蔚來世界模型和常規的端到端架構
有什麼區別?
端到端架構讓智能輔助駕駛從人工手寫規則變成了靠數據驅動迭代的模型,並且基於模型能自動抽取信息,減少了信息損失,數據利用更加充分。比如在下雨天,明明前方看不太清,但在人工手寫規則下,感知模型依然必須要輸出具體的距離。而端到端架構可以由模型直接輸出執行結果,場景覆蓋與性能上都有很大的提升。
不過,如果想要真正實現智能輔助駕駛像人一樣開車,僅靠端到端架構是不夠的。人類大腦有兩個非常核心的能力:一個是空間認知能力,也叫想象重建能力;另一個是時間認知能力,也叫想象推演能力。這兩個能力合起來,就構成了人類的時空認知能力,也就是對我們生活的三維空間和一維時間所發生的所有變化和可能性的認知能力。
所以,智能輔助駕駛進化的下一步,就是要具備和人一樣的時空認知能力。但端到端架構,並不必然具備這樣的能力。而蔚來世界模型,既要去建立時空認知能力,而且還具備在想象的平行世界裏規劃軌跡的能力。
相比常規的端到端架構,蔚來世界模型有三個主要優勢:
在空間理解上,通過生成式模型重構傳感器輸入,更加泛化地抽取信息;
在時間理解上,通過自迴歸模型,自動建模長時序環境;
在海量數據使用上,通過自監督學習的方式,無需人工標註。
這樣的模型對於算力的要求也會更高。蔚來在「Banyan 榕」系統搭載的4×Orin-X芯片,提供了充足的算力儲備為用戶提供長期的領先體驗。而在「Cedar 雪松」系統上搭載的「神璣 NX9031」芯片,更是今天全球智能輔助駕駛芯片的算力天花板,為蔚來世界模型原生設計,將來會有更高的上限。
蔚來世界模型還需要羣體智能嗎?
在大規模的人工智能應用中,真實的數據並不容易獲取,而智能輔助駕駛是這些應用中數據閉環最為成熟的,也是最有可能率先形成大規模安全性應用落地的。在蔚來「Banyan 榕」系統的4×Orin-X芯片中,有一顆是羣體智能專用芯片,可以將智能輔助駕駛待驗證的新版本分發到數十萬量級的量產車上,去對比人類駕駛的狀態,或是對比之前穩定版本的狀態,從而針對性提升新算法的適用性,大大加快智能輔助駕駛的總體進化速度,確保用戶的智能輔助駕駛體驗更好。
而在更新蔚來世界模型架構後,對數據的需求量變得更大,羣體智能依然具備不可或缺的重要性,在「神璣 NX9031」芯片中也設計了專門用於羣體智能的模塊。除了羣體智能,蔚來世界模型在數據層面的另一個殺手鐧是生成式仿真,基於真實世界的視頻去重建一個虛擬的、可以任意編輯的世界,從而將真實世界的結果和想象出的結果做驗證、對比和學習,在千萬個變化的世界裏去共同訓練模型,讓蔚來世界模型想象的結果更真、駕駛輸出更好。
羣體智能和生成式仿真,共同滿足蔚來世界模型龐大的數據需求。
為什麼蔚來世界模型
在小路、人車混行等
複雜場景中的表現格外出色?
蔚來世界模型具備很強的認知、理解、推理能力,尤其是空間理解能力和長時序的建模能力突出。而小路通行空間狹窄,行人、二輪車、三輪車運動相對無序,各類障礙物擺放無規則,特別考驗智能輔助駕駛系統的動態博弈能力和預測能力,而這些恰恰是蔚來世界模型基礎能力的體現。因此,蔚來世界模型在小路、窄路、人車混行道路上的表現格外出色。
文章原文