Xiaomi запускает框架 JointWM для автономного вождения, устанавливая новые рекорды производительности

Согласно наблюдениям Beating, Xiaomi официально представила новую архитектуру вспомогательной системы вождения Xiaomi EV World Model, впервые реализовав глубокую интеграцию модулей трехмерного восстановления и генерации видео внутри системы. В традиционных технологиях симуляции автономного вождения восстановление и генерация часто разделяются: модуль восстановления может воссоздать сцену, но не способен предсказать изменения, тогда как модуль генерации может предсказывать будущее, но страдает от искажений и дрейфа при длительных временных интервалах. Команда предложила архитектуру JointWM, использующую трехмерную геометрическую структуру в качестве физического каркаса для закрепления сцены, а затем дополняющую визуальные детали и предсказывающую невидимые области с помощью модуля генерации. Эта архитектура установила новые рекорды производительности на основных эталонных наборах данных, таких как Waymo и nuScenes. В конкретной реализации модуль восстановления WorldRec отказывается от традиционного пиксельного подхода и использует разреженные трехмерные запросы для представления сцены, постепенно объединяя их в четырехмерную пространственную структуру на основе 4D Gaussian, что позволяет воссоздать 10-секундное видео за 10 секунд. Опираясь на геометрические априорные данные от модуля восстановления, модуль генерации WorldGen ограничен физическими границами каркаса и отвечает исключительно за генерацию реалистичного освещения и текстур. Для содержимого за пределами текущего кадра и слепых зон модуль генерации применяет двухэтапное временное обучение и механизм дистилляции на основе соответствия распределений для физически обоснованных предсказаний. Вся архитектура достигает скорости генерации 0,19 секунды на один ракурс и 0,46 секунды на три ракурса на GPU H20, поддерживая генерацию видео до 1 минуты. Эта система показала результат 28,48 PSNR при тестировании точности восстановления на Waymo и сохранила лидерство при нулевой выборке обобщения на nuScenes. По эффективности генерации она опережает авторегрессивную базовую модель Epona в 5,6 раза и занимает ведущие позиции по пространственно-временной согласованности среди аналогичных алгоритмов. В настоящее время данное решение уже внедрено в трех ключевых сценариях Xiaomi Auto: более чем 100 000 высококачественных синтетических данных переданы для обучения моделей восприятия, создана высокодетализированная замкнутая симуляционная среда для воспроизведения редких дорожных ситуаций, а также запущена образовательная платформа для вспомогательного вождения с использованием генеративных видео для инструктажа пользователей.