Nghiên cứu: Cải thiện dữ liệu vượt trội hơn so với tiến bộ mô hình trong hiệu quả tiền huấn luyện từ năm 2019 đến 2025

ChainCatcher đưa tin, Dwarkesh Patel và Jerry Han đã công bố nghiên cứu vào ngày 8 tháng 9 năm 2026, phân tích đóng góp của dữ liệu và cải tiến mô hình trong tiến bộ pre-training từ năm 2019 đến 2025. Nghiên cứu được thực hiện trên quy mô nhỏ hơn, tập trung vào pre-training, với mỗi năm tương ứng với công thức mô hình và bộ dữ liệu công khai trong năm đó, được kết hợp huấn luyện trên quy mô tính toán tối đa 1e19 FLOPs. Kết quả cho thấy, dưới ngân sách tính toán 1e19 FLOPs, cải tiến dữ liệu mang lại lợi ích hiệu quả tính toán 12,0 lần, trong khi cải tiến mô hình là 3,7 lần—lợi ích từ dữ liệu khoảng 3,24 lần so với mô hình. Lợi ích từ dữ liệu và mô hình về cơ bản độc lập và gần như không tương tác; trong mô hình tuyến tính, hiệu ứng cộng gộp của cả hai có thể giải thích 88% phương sai của điểm OLMES. Về phía mô hình, sự tiến hóa từ GPT-2 đến OLMo-2 bao gồm các cải tiến về bộ tối ưu hóa, mã hóa vị trí, chuẩn hóa, hàm kích hoạt và khởi tạo. Về phía dữ liệu, từ khoảng 9 tỷ token OpenWebText năm 2019, đã phát triển thành các bộ dữ liệu lớn hơn và được lọc tinh vi hơn như UltraFineWeb vào năm 2025.