Chỉ mất 12 ngày để huấn luyện trước, nhưng reinforcement learning của Beam lại tiêu tốn 10.500 chip GB300 trong suốt bốn tuần liên tục. Misha Laskin, đồng sáng lập và CEO của Reflection AI @reflection_ai, đã phân tích chi phí huấn luyện của mô hình mở Beam. Công ty này được thành lập bởi hai nhà nghiên cứu cựu Google DeepMind trước năm 2026, và đã huy động được vòng gọi vốn mới vào tháng 4 năm nay với định giá trước đầu tư 25 tỷ USD. Beam có tổng tham số 501B, tham số kích hoạt 23B, đã tiêu thụ 23,8 nghìn tỷ token trong giai đoạn pre-training, và trọng số đã được mở dưới giấy phép Apache 2.0 vào ngày 16 tháng 10. Phân bổ tài nguyên tính toán giữa hai giai đoạn bị đảo ngược. Giai đoạn pre-training chạy trên 6.144 chip GB300 NVL72; theo lời anh ấy, với cơ sở hạ tầng hiện tại, có thể hoàn thành trong khoảng 12 ngày. Trong khi đó, giai đoạn RL sử dụng 10.500 chip cùng loại, liên tục trong bốn tuần, tương đương khoảng 40.000 GB300-week, gấp bốn lần so với khoảng 10.000 GB300-week trong giai đoạn pre-training, và tiêu tốn FLOPs còn nhiều hơn nữa.
0xMediaChia sẻ
Nguồn:Hiển thị bản gốc
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này.
Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.