Xiaomi lance le cadre JointWM pour la conduite autonome et établit de nouveaux records de performance

Selon les données de Beating Monitoring, Xiaomi Automotive a officiellement lancé le nouveau cadre « Xiaomi EV World Model » pour la conduite assistée, réalisant pour la première fois une couplage approfondi entre les modules de reconstruction 3D et de génération vidéo. Dans la simulation de la conduite autonome, les technologies traditionnelles séparent souvent la reconstruction de la génération : le module de reconstruction peut restituer la scène mais ne peut pas prédire les changements, tandis que le module de génération peut prédire l'avenir mais souffre de dérive et de distorsion sur de longues séquences temporelles. L'équipe a proposé l'architecture JointWM, qui utilise une structure géométrique 3D comme squelette physique pour ancrer la scène, puis complète les détails visuels et prédit les zones non observées grâce au module de génération. Cette approche établit de nouveaux records de performance sur plusieurs benchmarks majeurs, notamment Waymo et nuScenes. Sur le plan technique, le module de reconstruction WorldRec abandonne le paradigme traditionnel par pixel et adopte des points de requête 3D clairsemés pour représenter la scène, les fusionnant progressivement en un squelette 4D Gaussien inter-vues, permettant une reconstruction rapide de 10 secondes de vidéo en 10 secondes. Basé sur les informations géométriques fournies par ce module, le module de génération WorldGen, limité par les frontières physiques du squelette, se concentre uniquement sur la génération d'ombres, de lumières et de textures réalistes. Pour les contenus situés au-delà des limites — telles que les images futures ou les zones aveugles — le module de génération effectue des prédictions physiques grâce à un mécanisme d'entraînement temporel en deux étapes et de distillation par appariement de distribution. L'architecture entière atteint des vitesses de génération de 0,19 seconde pour une vue unique et 0,46 seconde pour trois vues sur GPU H20, tout en supportant des vidéos jusqu'à 1 minute de longueur. Cette solution obtient un score PSNR de 28,48 lors des tests de précision de reconstruction sur Waymo et maintient une avance sur nuScenes en généralisation zéro-shot. En efficacité de génération, elle est 5,6 fois plus rapide que la base autoregressive Epona et figure parmi les algorithmes les plus cohérents en espace-temps dans sa catégorie. Actuellement, cette recherche a été déployée dans trois scénarios clés chez Xiaomi Automotive : la fourniture de plus de 100 000 séquences de données synthétiques de haute qualité pour l'entraînement des modèles de perception, la création d'un environnement de simulation en boucle fermée à haute fidélité pour reproduire des scénarios rares, et le lancement d'une académie de conduite assistée utilisant des vidéos génératives pour guider les utilisateurs.