Ipinakilala ni Xiaomi ang JointWM Framework para sa autonomous driving, nagtataguyod ng mga bagong rekord sa benchmark

Ayon sa pagmamasid ng Beating, ipinakilala ng Xiaomi ang Xiaomi EV World Model, isang bagong framework para sa assisted driving, na una nang nagtatagpo ng malalim na integrasyon sa mga module ng 3D reconstruction at video generation. Sa tradisyonal na teknolohiya sa simulation ng autonomous driving, ang reconstruction at generation ay karaniwang hihiwalay. Ang reconstruction module ay nakakapagpapalikod ng escena ngunit hindi makapagpapahula ng pagbabago, samantalang ang generation module ay nakakapagpapahula ng hinaharap ngunit madaling mawawala o magkakaroon ng drift sa mahabang panahon. Ang team ay nagmungkahi ng arkitekturang JointWM, na gumagamit ng 3D geometric structure bilang physical skeleton na nag-aantay sa escena, at pagkatapos ay gumagamit ng generation module upang punan ang mga visual detail at makapaghula ng mga hindi nasusubaybayan na rehiyon, na nagpapabago sa maraming rekord sa mga pangunahing benchmark tulad ng Waymo at nuScenes. Sa mas detalyadong mekanismo, ang reconstruction module na WorldRec ay nagtatanggal sa tradisyonal na pixel-by-pixel na paraan at gumagamit ng sparse 3D query points para sa pagpapakita ng escena, na pinagsasama nang patuloy upang mabuo ang cross-view 4D Gaussian spatial skeleton, na nagpapahintulot sa 10-sekondong reconstruction ng 10-sekondong video. Batay sa geometric prior na ibinibigay ng reconstruction module, ang generation module na WorldGen ay limitado sa physical boundaries ng skeleton at naglalayong lamang mag-generate ng makatotohanang ilaw at texture. Para sa mga content sa labas ng mga boundary tulad ng future frames at blind spots, ang generation module ay gumagamit ng two-stage temporal training at distribution matching distillation mechanism para sa physical prediction. Ang buong arkitektura ay nakakamit ng generation speed na 0.19 segundo sa single view at 0.46 segundo sa triple view sa H20 GPU, at sumusuporta sa pinakamahabang 1-minutong video generation. Ang solusyong ito ay nakakuha ng 28.48 PSNR sa Waymo reconstruction accuracy test at nananatiling nangunguna sa nuScenes zero-shot generalization. Sa pagkakaroon ng efficiency, mas mabilis ito ng 5.6 beses kaysa sa autoregressive baseline na Epona, at ang spatial-temporal consistency nito ay nasa unang pwesto sa mga katulad na algorithm. Sa kasalukuyan, ang mga natuklasan ay nai-apply sa tatlong pangunahing escena ng Xiaomi Automotive: ang pagbibigay ng higit sa 100,000 high-quality synthetic data segments para sa pag-train ng perception models, ang pagbuo ng high-fidelity closed-loop simulation environment upang muling gawin ang long-tail driving scenarios, at ang paglunsad ng Assistant Driving Academy upang gamitin ang generative video para magturo sa mga user.