Nghiên cứu: Cải thiện dữ liệu vượt trội hơn so với tiến bộ mô hình trong hiệu quả tiền huấn luyện từ năm 2019 đến 2025

Thông tin từ Huoxing Caijing, Dwarkesh Patel và Jerry Han đã công bố nghiên cứu vào ngày 8 tháng 9 năm 2026, phân tích đóng góp của dữ liệu và cải tiến mô hình trong tiến bộ pre-training từ năm 2019 đến 2025. Nghiên cứu được thực hiện trên quy mô nhỏ hơn, tập trung vào pre-training, với mỗi năm tương ứng với công thức mô hình và bộ dữ liệu công khai trong năm đó, kết hợp huấn luyện trên quy mô tính toán tối đa 1e19 FLOPs. Kết quả cho thấy, dưới ngân sách tính toán 1e19 FLOPs, cải tiến dữ liệu mang lại lợi ích hiệu quả tính toán 12,0 lần, cải tiến mô hình là 3,7 lần, lợi ích từ phía dữ liệu khoảng 3,24 lần so với phía mô hình. Lợi ích từ dữ liệu và mô hình cơ bản độc lập với nhau, gần như không tương tác; trong mô hình tuyến tính, hiệu ứng cộng tính của cả hai có thể giải thích 88% phương sai của điểm OLMES. Về phía mô hình, từ GPT-2 tiến hóa đến OLMo-2, bao gồm các cải tiến về bộ tối ưu hóa, mã hóa vị trí, chuẩn hóa, hàm kích hoạt và khởi tạo. Về phía dữ liệu, từ khoảng 9 tỷ token OpenWebText năm 2019, tiến hóa thành các bộ dữ liệu lớn hơn và được lọc tinh vi hơn như UltraFineWeb vào năm 2025.