ซีอิ๋วเปิดตัวกรอบงาน JointWM สำหรับการขับขี่อัตโนมัติ ตั้งสถิติใหม่

ตามการตรวจสอบของ Beating Xiaomi ได้เปิดตัวกรอบงานใหม่สำหรับ Xiaomi EV World Model ระบบช่วยขับขี่อัจฉริยะ โดยเป็นครั้งแรกที่สามารถผสานอย่างลึกซึ้งระหว่างโมดูลการสร้างภาพสามมิติและการสร้างวิดีโอภายในระบบ ในการจำลองการขับขี่อัตโนมัติ เทคโนโลยีแบบดั้งเดิมมักแยกการสร้างและการสร้างออกเป็นสองส่วน โมดูลการสร้างสามารถคืนค่าฉากได้แต่ไม่สามารถคาดการณ์การเปลี่ยนแปลงได้ ขณะที่โมดูลการสร้างสามารถคาดการณ์อนาคตได้แต่มักเกิดความผิดเพี้ยนหรือเบี่ยงเบนในช่วงเวลาที่ยาวนาน ทีมงานได้เสนอสถาปัตยกรรม JointWM โดยใช้โครงสร้างเรขาคณิตสามมิติเป็นโครงร่างทางกายภาพเพื่อตรึงฉาก แล้วใช้โมดูลการสร้างเติมรายละเอียดเชิงภาพและคาดการณ์พื้นที่ที่ไม่ได้รับการสังเกต ซึ่งสามารถทำลายสถิติประสิทธิภาพสูงสุดในมาตรฐานหลัก เช่น Waymo และ nuScenes ในเชิงกลไก โมดูลการสร้าง WorldRec ละทิ้งรูปแบบพิกเซลต่อพิกเซลแบบดั้งเดิม และเปลี่ยนมาใช้จุดสอบถามสามมิติแบบกระจายเพื่อแทนสัญลักษณ์ของฉาก แล้วรวมแบบเพิ่มเติมเป็นโครงร่างเชิงพื้นที่ 4D Gaussian ข้ามมุมมอง ซึ่งสามารถสร้างภาพสามมิติจากวิดีโอ 10 วินาทีภายในเวลา 10 วินาที โดยอิงจากข้อมูลเชิงเรขาคณิตที่โมดูลการสร้างให้มา โมดูลการสร้าง WorldGen จะถูกจำกัดอยู่ภายในขอบเขตทางกายภาพของโครงร่าง และรับผิดชอบเฉพาะการสร้างแสง เงา และพื้นผิวที่สมเหตุสมผลเท่านั้น สำหรับเนื้อหาภายนอกขอบเขต เช่น เฟรมอนาคตหรือจุดบอดของกล้อง โมดูลการสร้างจะใช้กลไกการฝึกอบรมแบบสองขั้นตอนและกลไกการกลั่นจับคู่การแจกแจงเพื่อคาดการณ์ทางกายภาพ สถาปัตยกรรมทั้งหมดสามารถสร้างวิดีโอได้ด้วยความเร็ว 0.19 วินาทีต่อหนึ่งมุมมองและ 0.46 วินาทีต่อสามมุมมองบน GPU H20 และรองรับการสร้างวิดีโอสูงสุด 1 นาที แนวทางนี้ได้คะแนน PSNR 28.48 ในการทดสอบความแม่นยำของการสร้างบน Waymo และยังคงนำหน้าในการทั่วไปแบบศูนย์ตัวอย่างบน nuScenes ในด้านประสิทธิภาพการสร้าง แนวทางนี้เร็วกว่าฐานอัตโนมัติ Epona ถึง 5.6 เท่า และมีความต่อเนื่องเชิงเวลาและพื้นที่อยู่ในระดับสูงสุดเมื่อเทียบกับอัลกอริธึมอื่นๆ ในหมวดเดียวกัน ปัจจุบัน ผลงานวิจัยนี้ได้นำไปใช้งานจริงในสามสถานการณ์หลักของ Xiaomi Automotive ได้แก่ การจัดส่งข้อมูลสังเคราะห์คุณภาพสูงกว่า 100,000 ชุดสำหรับการฝึกอบรมแบบจำลองการรับรู้ การสร้างสภาพแวดล้อมจำลองแบบปิดที่มีความสมจริงสูงเพื่อจำลองสถานการณ์ทางถนนที่พบได้น้อย และการเปิดตัวโรงเรียนช่วยขับขี่เพื่อใช้วิดีโอแบบสร้างสรรค์ในการแนะนำผู้ใช้งาน