Xiaomi lanza el marco JointWM para la conducción autónoma y establece nuevos récords de referencia

Según el monitoreo de Beating, Xiaomi ha lanzado oficialmente el nuevo marco Xiaomi EV World Model para la conducción asistida, logrando por primera vez una fusión profunda entre los módulos de reconstrucción tridimensional y generación de video. En la simulación de conducción autónoma, las tecnologías tradicionales suelen separar la reconstrucción y la generación: el módulo de reconstrucción puede reproducir escenarios pero no predecir cambios, mientras que el módulo de generación puede predecir el futuro, pero tiende a distorsionarse o derivar en secuencias largas. El equipo propuso la arquitectura JointWM, que utiliza una estructura geométrica tridimensional como esqueleto físico para anclar la escena, y luego completa los detalles visuales y predice áreas no observadas mediante el módulo de generación. Esta arquitectura ha establecido nuevos récords en múltiples métricas en benchmarks principales como Waymo y nuScenes. En términos de mecanismo, el módulo de reconstrucción WorldRec descarta el enfoque tradicional por píxeles y utiliza puntos de consulta esparsos tridimensionales para representar la escena, fusionándolos incrementalmente en un esqueleto espacial 4D de Gaussianos cruzados, logrando una reconstrucción rápida de 10 segundos para un video de 10 segundos. Sobre la base del conocimiento geométrico proporcionado por el módulo de reconstrucción, el módulo de generación WorldGen, limitado por los límites físicos del esqueleto, se enfoca únicamente en generar iluminación y texturas realistas. Para contenido fuera de los límites, como fotogramas futuros o zonas ciegas, el módulo de generación realiza predicciones físicas mediante un mecanismo de entrenamiento secuencial en dos etapas y destilación por coincidencia de distribuciones. Toda la arquitectura logra velocidades de generación de 0.19 segundos por vista en una GPU H20 y 0.46 segundos para tres vistas, además de soportar generación de videos de hasta 1 minuto. Esta solución alcanzó un puntaje PSNR de 28.48 en las pruebas de precisión de reconstrucción de Waymo y mantuvo una ventaja en la generalización cero-shot en nuScenes. En eficiencia de generación, supera en 5.6 veces al baseline autoregresivo Epona y se ubica entre los algoritmos más coherentes en espacio-tiempo. Actualmente, esta investigación ya se ha implementado en tres escenarios clave de Xiaomi Automotive: se han entregado más de 100,000 segmentos de datos sintéticos de alta calidad para el entrenamiento de modelos de percepción, se ha construido un entorno de simulación cerrado de alta fidelidad para reproducir escenarios de cola larga, y se ha lanzado la Academia de Conducción Asistida para guiar a los usuarios mediante videos generativos.