Nvidia 剛剛推出了其稱為首個專為實體 AI 設計的開放式 omni 模型。Cosmos 3 於 5 月 31 日揭幕，將推理、世界生成和行動能力整合至單一系統中，旨在幫助機器人和自主車輛真正理解雜亂且不可預測的現實世界。
Cosmos 3 可根據文字、圖像或影片輸入，生成長達 30 秒的預測影片序列，基本上讓機器人在移動任何致動器之前，就能「想像」其環境中接下來會發生什麼。
Cosmos 3 究竟做什麼
Cosmos 3 採用 Nvidia 所稱的 Mixture of Transformers 架構，以同時處理多種類型的輸入。該模型支援聲音和動作模態，意味著配備 Cosmos 3 的機器人可以在一個統一的框架中處理其看到、聽到和執行的內容。
實際應用的核心是一種稱為機器人策略學習的技術。Cosmos 3 作為 Nvidia 所稱的「世界動作模型」（World Action Models，簡稱 WAMs）的基礎架構，使具身代理能在前所未見的環境中運作。
在 2025 年奠定的基礎上進一步發展
Nvidia 在 2025 年期間發布了多個早期版本，包括專注於預測、遷移學習和推理的變體。這些早期模型已吸引了一批認真的客戶。
人形機器人公司 Figure AI 已為其雙足機器人採用 Cosmos 技術。另一家人形機器人企業 Agility Robotics 也採取了同樣做法。在自主駕駛車輛方面，Uber、Waabi 和 Wayve 均利用先前的 Cosmos 版本推動其自駕項目。
這對投資者和整體市場意味著什麼
針對機器人產業而言，Cosmos 3 的開放性可加速那些缺乏資源從零建構自身世界模型的中小型企業採用該技術。合成資料生成作為該模型的核心功能之一，解決了機器人開發歷史上最大的瓶頸：在不損壞昂貴硬體的情況下獲取足夠的實際訓練資料。