Thông báo từ AIMPACT, ngày 5 tháng 5 (UTC+8), NVIDIA AI thông báo rằng khung Megatron Core hiện đã cung cấp hỗ trợ end-to-end cho các bộ tối ưu hóa tiên tiến mới nổi như Muon, cùng các bộ tối ưu hóa nghiên cứu như MOP và REKLS, nhằm nâng cao hiệu quả huấn luyện mô hình quy mô lớn. Công ty cho biết việc huấn luyện hiệu quả các mô hình có quy mô như Kimi K2, Qwen3 30B đòi hỏi vượt ra ngoài các kỹ thuật song song dữ liệu tiêu chuẩn. Hiện tại, thông báo này chưa tiết lộ các chỉ số hiệu suất hoặc chi tiết triển khai cụ thể. (Nguồn: InFoQ)
NVIDIA Megatron Core bổ sung hỗ trợ cho Muon và các bộ tối ưu hóa khác
KuCoinFlashChia sẻ
Tóm tắt
NVIDIA đã công bố một dự án vào ngày 5 tháng 5 (UTC+8), tiết lộ rằng khung Megatron Core hiện đã hỗ trợ các bộ tối ưu nâng cao như Muon, MOP và REKLS. Cập nhật này nhằm tăng hiệu quả đào tạo cho các mô hình lớn. NVIDIA cho biết các phương pháp song song dữ liệu tiêu chuẩn đã không còn đủ cho các mô hình như Kimi K2 và Qwen3 30B. Công ty không chia sẻ dữ liệu hiệu suất hoặc các chi tiết kỹ thuật. Thông báo dự án được đưa ra trong bối cảnh vẫn còn sự quan tâm lớn về cách dữ liệu lạm phát có thể ảnh hưởng đến ngân sách phát triển AI.
Nguồn:Hiển thị bản gốc
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này.
Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.