Xiaomi、自動運転用JointWMフレームワークを発表し、新基準レコードを設定

動察 Beating の監視によると、小米汽車は正式に「Xiaomi EV World Model」補助運転ワールドモデルの新フレームワークを発表し、初めて3次元再構築と動画生成モジュールの深層結合を内部で実現した。自動運転シミュレーションにおいて、従来の技術は再構築と生成を分離していた。再構築モジュールはシーンを再現できるが変化を予測できず、生成モジュールは未来を予測できるが長時間系列で歪みやドリフトが発生しやすかった。同チームはJointWMアーキテクチャを提案し、3次元幾何構造を物理的骨格としてシーンを固定し、生成モジュールで視覚的詳細を補完し未観測領域を予測する。WaymoやnuScenesなどの主要ベンチマークで複数の最良性能記録を更新した。 具体的なメカニズムでは、再構築モジュールWorldRecは従来のピクセル単位のアプローチを廃止し、疎な3次元クエリポイントを用いてシーンを表現し、跨視角4Dガウシアン空間骨格として増分的に統合することで、10秒の動画を10秒で高速再構築する。再構築モジュールが提供する幾何学的事前情報に基づき、生成モジュールWorldGenは骨格の物理的境界に制約され、合理的な影とテクスチャの生成に専念する。未来フレームや視野の死角などの境界外のコンテンツについては、生成モジュールが2段階の時系列トレーニングと分布マッチング蒸留メカニズムを用いて物理的予測を行う。このアーキテクチャはH20 GPU上で単視点0.19秒、三視点0.46秒の生成速度を実現し、最長1分の動画生成をサポートする。 このソリューションはWaymoの再構築精度テストで28.48 PSNRを達成し、nuScenesのゼロショット汎化でもリードを維持している。生成効率面では、自己回帰ベースラインEponaより5.6倍高速であり、時空間的一貫性は同種アルゴリズムの中でトップクラスである。現在、この研究成果は小米汽車の3つの主要シナリオに実装されており、感知モデルのトレーニング用に10万件以上の高品質合成データを提供し、高忠実度のクローズドループシミュレーション環境を構築してロングテール道路状況を再現し、ジェネレーティブ動画によるユーザー操作ガイドとして補助運転アカデミーを立ち上げた。