ByteDance bắt đầu đào tạo mô hình AI có 10 nghìn tỷ tham số, tiến gần đến quy mô của Anthropic

Theo báo cáo của Beating, tờ Financial Times của Anh trích dẫn ba nguồn tin am hiểu tình hình cho biết ByteDance đã bắt đầu tiền huấn luyện một mô hình lớn với tối đa 10 nghìn tỷ tham số. Dự án vẫn ở giai đoạn đầu và quy mô cuối cùng chưa được xác định. Nếu được huấn luyện ở mức tối đa, mô hình này sẽ lớn hơn ba lần so với Kimi K3 và trở thành mô hình có quy mô tham số lớn nhất được biết đến của các nhóm Trung Quốc. ByteDance lần này đã đẩy kích thước mô hình gần với dòng sản phẩm hàng đầu của Anthropic. Anthropic chưa bao giờ công bố số lượng tham số của Mythos 5, nhưng Financial Times trích dẫn các ước tính ngành cho rằng Mythos 5 khoảng 8 nghìn tỷ tham số và Fable 5 khoảng 5 nghìn tỷ. Nếu mô hình mới của ByteDance đạt 10 nghìn tỷ tham số, ít nhất về quy mô tham số, nó đã bước vào cùng cấp độ với các mô hình đóng nguồn tiên tiến nhất của Mỹ. Mô hình này hiện vẫn đang trong giai đoạn tiền huấn luyện (huấn luyện khả năng cơ bản của mô hình bằng dữ liệu khổng lồ). Financial Times cho biết giai đoạn này thường kéo dài từ 3 đến 6 tháng, sau đó cần tiếp tục huấn luyện sau, và chỉ khi mọi thứ diễn ra suôn sẻ mới được phát hành. Nhiều tham số hơn không đồng nghĩa với hiệu năng mạnh hơn; hiệu suất cuối cùng còn phụ thuộc vào kiến trúc, dữ liệu huấn luyện và phương pháp huấn luyện. Gần đây, Zhang Yiming đã rõ ràng phản đối việc tinh chỉnh mô hình của đối thủ trong nội bộ Seed, yêu cầu đội ngũ chấp nhận sự tụt hậu ngắn hạn và tập trung vào nghiên cứu tự chủ để tiến vào nhóm hàng đầu thế giới. Mô hình mới với tối đa 10 nghìn tỷ tham số này là lần đầu tư quy mô táo bạo nhất mà ByteDance thực hiện cho đến nay.