Theo giám sát của Beating, Xiaomi đã chính thức ra mắt khung mô hình điều hướng hỗ trợ mới Xiaomi EV World Model, lần đầu tiên tích hợp sâu giữa các mô-đun tái tạo 3D và sinh video trong nội bộ. Trong mô phỏng lái tự hành, các công nghệ truyền thống thường tách rời tái tạo và sinh. Mô-đun tái tạo có thể phục hồi cảnh nhưng không thể dự đoán thay đổi, trong khi mô-đun sinh có thể dự đoán tương lai nhưng dễ bị sai lệch và trôi dạt trong chuỗi thời gian dài. Nhóm đã đề xuất kiến trúc JointWM, sử dụng cấu trúc hình học 3D làm khung vật lý cố định cảnh, sau đó sử dụng mô-đun sinh để bổ sung chi tiết thị giác và dự đoán các khu vực chưa được quan sát, đồng thời phá vỡ nhiều kỷ lục hiệu suất hàng đầu trên các bộ dữ liệu chuẩn主流 như Waymo và nuScenes. Về cơ chế cụ thể, mô-đun tái tạo WorldRec từ bỏ mô hình pixel-by-pixel truyền thống, thay vào đó sử dụng các điểm truy vấn thưa thớt 3D để biểu diễn cảnh, tích hợp tăng dần thành khung không gian 4D Gaussian đa góc nhìn, đạt tốc độ tái tạo 10 giây video trong 10 giây. Dựa trên tiền kiến thức hình học do mô-đun tái tạo cung cấp, mô-đun sinh WorldGen bị giới hạn bởi ranh giới vật lý của khung, chỉ chịu trách nhiệm sinh ánh sáng, bóng và kết cấu hợp lý. Đối với các khung tương lai và nội dung nằm ngoài tầm nhìn hoặc ranh giới, mô-đun sinh thực hiện dự đoán vật lý thông qua cơ chế huấn luyện chuỗi thời gian hai giai đoạn và tinh chỉnh phân phối phù hợp. Toàn bộ kiến trúc đạt tốc độ sinh 0,19 giây cho một góc nhìn và 0,46 giây cho ba góc nhìn trên GPU H20, đồng thời hỗ trợ sinh video dài nhất lên đến 1 phút. Giải pháp này đạt điểm PSNR 28,48 trong bài kiểm tra độ chính xác tái tạo của Waymo và duy trì vị trí dẫn đầu trong khả năng khái quát không mẫu của nuScenes. Về hiệu suất sinh, giải pháp nhanh hơn 5,6 lần so với cơ sở tự hồi quy Epona và đạt mức độ liên tục không gian-thời gian thuộc hàng đầu trong các thuật toán cùng loại. Hiện tại, nghiên cứu này đã được triển khai tại ba kịch bản chính của Xiaomi Automotive: cung cấp hơn 100.000 đoạn dữ liệu tổng hợp chất lượng cao để huấn luyện mô hình cảm biến, xây dựng môi trường mô phỏng khép kín độ chân thực cao để tái hiện các tình huống đường dài hiếm gặp, và triển khai Học viện Trợ lái để hướng dẫn người dùng thông qua video sinh thành.
Xiaomi ra mắt Khung JointWM cho lái xe tự hành, thiết lập các kỷ lục tiêu chuẩn mới
MarsBitChia sẻ
Tóm tắt
Xiaomi EV đã ra mắt khung JointWM cho lái xe tự hành, một mô hình mới kết hợp tái tạo 3D và tạo video. Khung này đạt 28,48 PSNR trong các bài kiểm tra Waymo và cải thiện hiệu suất cũng như tính nhất quán so với các mô hình hiện có. Tin tức về tài sản thực tế (RWA) nhấn mạnh việc sử dụng nó để tạo hơn 100.000 đoạn dữ liệu tổng hợp để huấn luyện. Công nghệ này hiện đang được áp dụng trong ba kịch bản chính. Danh sách token mới vẫn là một xu hướng riêng biệt trong không gian tiền điện tử.
Nguồn:Hiển thị bản gốc
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này.
Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.