ByteDance đào tạo mô hình AI có 10 nghìn tỷ tham số, nhắm tới vị thế dẫn đầu toàn cầu

ChainCatcher đưa tin, theo Financial Times của Anh, khi các doanh nghiệp Trung Quốc tiếp tục thu hẹp khoảng cách với các phòng thí nghiệm trí tuệ nhân tạo hàng đầu của Mỹ, ByteDance đang huấn luyện một mô hình AI có quy mô có thể gần với hệ thống Mythos tiên tiến nhất của Anthropic. Theo ba nguồn thạo tin, công ty công nghệ Trung Quốc này hiện đang ở giai đoạn đầu của việc huấn luyện một mô hình siêu lớn, với số tham số có thể đạt mức 10 nghìn tỷ, gấp khoảng ba lần mô hình Kimi K3 do tháng của Âm Môn phát hành, hiện là mô hình lớn nhất tại Trung Quốc. Một trong những nguồn thạo tin cho biết, mô hình của ByteDance hiện đang trong giai đoạn tiền huấn luyện, giai đoạn này thường kéo dài từ ba đến sáu tháng; nếu mọi thứ diễn ra suôn sẻ, sau đó sẽ tiến hành tinh chỉnh và phát hành. Quy mô cụ thể của mô hình sẽ được xác định ở giai đoạn sau. Anthropic chưa công bố quy mô tham số của mô hình, nhưng các ước tính trong ngành cho thấy mô hình Mythos 5 tiên tiến nhất của họ có khoảng 8 nghìn tỷ tham số, trong khi Fable 5 khoảng 5 nghìn tỷ. Cần lưu ý rằng, số lượng tham số xác định dung lượng cơ bản hoặc giới hạn bộ nhớ của mô hình, nhưng khả năng thực tế của mô hình còn phụ thuộc vào các yếu tố khác như chất lượng dữ liệu và phương pháp huấn luyện.