Phương pháp đào tạo TST của Nous Research gây tranh cãi do sự tương đồng với công trình trước đó

Tin tức từ ME News, ngày 14 tháng 5 (UTC+8), theo giám sát của Beating, Nous Research đã công bố phương án mới cho việc tiền huấn luyện mô hình lớn gọi là Token Stacking Training (TST). Phương án này thông qua việc đóng gói và nén các token liền kề trong giai đoạn đầu huấn luyện, có thể rút ngắn thời gian tiền huấn luyện từ 2 đến 3 lần với cùng lượng tính toán. TST bao gồm hai giai đoạn. Trong 20% đến 40% đầu tiên của quá trình huấn luyện, mô hình không còn đọc từng token một mà thay vào đó sẽ “đóng gói” các token liền kề, tính trung bình và đưa vào, đồng thời dự đoán ở đầu ra những token nào sẽ nằm trong gói tiếp theo (không tính thứ tự bên trong). Sau đó, mô hình quay trở lại dự đoán token tiếp theo theo cách thông thường. Vì không thay đổi kiến trúc nền tảng, mô hình đầu ra hoàn toàn giống mô hình thông thường trong quá trình suy luận. Phương pháp này đã được xác minh thành công trên các mô hình MoE lên đến 10 tỷ tham số. Bản chất của phương án này là “đổi dữ liệu lấy sức tính toán”, sử dụng tốc độ tiêu thụ dữ liệu nhanh hơn để đổi lấy việc rút ngắn thời gian tính toán. Nếu trong tương lai các văn bản chất lượng cao bị cạn kiệt, đặc điểm tăng tốc tiêu thụ dữ liệu này có thể trở thành điểm yếu. Ngoài ra, vài giờ sau khi bài báo được công bố, một độc giả đã chỉ ra rằng cơ chế của TST cực kỳ tương đồng với tác phẩm cũ được công bố năm 2024 có tên “Beyond Next Token Prediction”. Nhóm tác giả sau đó đã thừa nhận trên Hugging Face rằng đây là “sự hội tụ không may mắn trong nghiên cứu (convergent research)” và cam kết cập nhật bài báo để bổ sung trích dẫn. (Nguồn: BlockBeats)