Cải thiện dữ liệu vượt trội hơn so với tiến bộ mô hình trong hiệu quả tiền huấn luyện AI

Tác giả: Dwarkesh Patel

Biên dịch: Deep潮 TechFlow

Dẫn nhập của Shenchao: Trong sáu năm qua, khả năng của các mô hình AI đã tiến bộ vượt bậc, nhưng sự tiến bộ này thực sự đến từ thuật toán hay dữ liệu? Bài viết này đưa ra một kết luận phản trực giác thông qua một loạt thí nghiệm đối chiếu quy mô nhỏ: sự cải thiện dữ liệu mang lại hiệu quả tính toán cao hơn gấp hơn ba lần so với sự cải tiến mô hình. Đối với những người quan tâm đến đầu tư vào hạ tầng AI và cuộc cạnh tranh giữa các phòng thí nghiệm tiên tiến, bài viết làm nổi bật một động lực bị đánh giá thấp: kỹ thuật dữ liệu.

Trong vài năm qua, có bao nhiêu phần trăm của những tiến bộ nhanh chóng trong lĩnh vực AI đến từ việc cải thiện dữ liệu, và bao nhiêu phần trăm đến từ việc cải thiện mô hình? Câu trả lời cho câu hỏi này có ảnh hưởng lớn đến mô hình kinh tế của các phòng thí nghiệm hàng đầu và tốc độ tiến bộ trong tương lai.

Chúng tôi đã thực hiện một cuộc điều tra quy mô tương đối nhỏ tập trung vào việc tiền huấn luyện từ năm 2019 đến năm 2025. Trong những năm này, mỗi năm đều có một bộ mô hình mã nguồn mở mới được công bố, tóm tắt các điều chỉnh thuật toán đã biết công khai trong năm đó (ví dụ: cải tiến về kiến trúc, bộ tối ưu hóa, khởi tạo, lịch trình tỷ lệ học, siêu tham số...). Đồng thời, mỗi năm cũng xuất hiện các kho ngữ liệu công khai mới (được tạo ra bởi việc thu thập quy mô lớn hơn cùng các kỹ thuật tuyển chọn, trích xuất và lọc mới).

Chúng tôi đã huấn luyện các mô hình với các tổ hợp khác nhau của các bộ dữ liệu và mô hình đại diện cho các mức độ năm khác nhau, trên các quy mô tính toán huấn luyện khác nhau (tối đa lên đến 1e19 FLOPs).

Rõ ràng, chúng ta không thể so sánh các mô hình khác nhau này dựa trên tổn thất cross-entropy trên một tập dữ liệu cố định, vì chúng ta đang thay đổi tập dữ liệu mà chúng được huấn luyện. Do đó, chúng ta thay vào đó đánh giá các mô hình này dựa trên khả năng cuối cùng, với tiêu chí là đánh giá OLMES (tổng hợp 10 benchmark tương đối đơn giản, chủ yếu là các câu hỏi trắc nghiệm). Tiếc rằng, việc đánh giá khả năng cuối cùng thay vì tổn thất tiền huấn luyện đã làm tăng một chút nhiễu cho kết quả của chúng tôi, như bạn sẽ thấy trong biểu đồ dưới đây; tuy nhiên, chúng tôi đã cố gắng thu được các đường giới hạn rõ ràng hơn bằng cách sử dụng nhiều seed ngẫu nhiên.

Chúng tôi phát hiện rằng, từ năm 2019 đến năm 2025, dưới ngân sách tính toán 1e19 FLOPs, sự cải thiện hiệu suất tính toán hơn 3,24 lần đến từ việc cải tiến dữ liệu, chứ không phải từ cải tiến mô hình (dữ liệu: 12,0 lần, mô hình: 3,7 lần).

Bảng dưới đây cho thấy mức cải thiện về khả năng kiểm tra cuối cùng của các mô hình chúng tôi đã huấn luyện so với cơ sở dữ liệu và kiến trúc năm 2019, với năng lực tính toán 3.16e18 FLOPs.

Chúng tôi phát hiện rằng, lợi ích từ việc cải tiến dữ liệu và cải tiến mô hình chủ yếu là độc lập với nhau, không có tương tác lẫn nhau (tức là, lợi ích đạt được từ một cải tiến mô hình không phụ thuộc vào một bộ dữ liệu huấn luyện cụ thể, và ngược lại). Sử dụng mô hình tuyến tính, 88% phương sai trong điểm OLMES có thể được giải thích bởi các tác động cộng gộp của cải tiến mô hình và cải tiến dữ liệu.

Để làm rõ bối cảnh, hãy tóm tắt ngắn gọn những thay đổi đã xảy ra trên cả hai phía dữ liệu và mô hình từ năm 2019 đến năm 2025.

Ở phía mô hình, chúng tôi đã tiến từ GPT-2 đến OLMo-2, bao gồm các đổi mới quan trọng về bộ tối ưu, mã hóa vị trí, chuẩn hóa, hàm kích hoạt và khởi tạo.

Về mặt dữ liệu, chúng tôi bắt đầu từ OpenWebText vào năm 2019, vốn chỉ bao gồm các trang web được liên kết và được đánh giá cao trên Reddit, sau khi loại bỏ trùng lặp và lọc, cuối cùng chỉ còn khoảng 9 tỷ token (đây gần như là dữ liệu huấn luyện của GPT-2). Đến năm 2025, các kho ngữ liệu mở như UltraFineWeb không chỉ có quy mô lớn hơn nhiều (thông qua việc thu thập toàn bộ internet), mà còn sử dụng các phương pháp lọc phức tạp hơn nhiều (ví dụ: huấn luyện một bộ phân loại để dự đoán những dữ liệu nào thực sự cải thiện hiệu suất mô hình).

Một cách giải thích đơn giản về kết quả của chúng tôi là: phần lớn tiến bộ của AI từ năm 2019 đến 2024 (thời kỳ tiền huấn luyện) thực chất chỉ là do kỹ thuật dữ liệu tốt hơn (trích xuất, tuyển chọn, v.v.), trong khi tất cả các công việc liên quan đến mô hình trong giai đoạn đó không quan trọng bằng nhiều.

Tuy nhiên, đây có thể là cách nhìn sai lệch về giá trị của việc cải tiến mô hình. Đóng góp chính của việc cải tiến mô hình không nhất thiết là hiệu quả tính toán, tức là đạt được hiệu suất tương đương với ít FLOPs hơn. Ngược lại, nó trước tiên làm cho nguồn lực tính toán quy mô lớn trở nên khả dụng. Khi số lượng tham số, độ dài ngữ cảnh, thời gian chạy và quy mô cụm tăng lên, nhiều vấn đề dễ xảy ra lỗi (bùng nổ hoặc biến mất gradient, cạn kiệt bộ nhớ và băng thông, việc huấn luyện trở nên cực kỳ chậm). Một phần lớn nghiên cứu mô hình tập trung vào việc loại bỏ hoặc đẩy lùi những hạn chế này đối với quy mô mở rộng. Nhiều đổi mới quan trọng nhất thuộc loại này, ví dụ như MoE, các biến thể chú ý thưa thớt, các đổi mới về ổn định (vị trí chuẩn hóa, khởi tạo, v.v.) và các tối ưu hóa cấp hệ thống và lõi như FlashAttention.

Các cải tiến dữ liệu mà chúng ta đang nghiên cứu ở đây có thể không quan trọng bằng đối với các mô hình lớn hơn. Các mô hình nhỏ (như loại mô hình chúng ta đã huấn luyện) thu được lợi ích đáng kể từ việc nâng cao chất lượng dữ liệu, vì chúng có dung lượng hạn chế, nên bạn phải cực kỳ cẩn thận trong việc quyết định đưa gì vào bên trong. Trong khi đó, các mô hình lớn có dung lượng dư thừa rất lớn, và có lẽ bạn chỉ muốn ném càng nhiều dữ liệu vào càng tốt, ngay cả khi phần lớn là rác, vì phép màu của giảm gradient ngẫu nhiên sẽ tách biệt tín hiệu khỏi nhiễu. Nếu bạn chọn lọc dữ liệu một cách tích cực, bạn sẽ phải thực hiện hàng chục vòng epoch, và kết quả thực nghiệm thường tệ hơn so với việc sử dụng tập dữ liệu lớn hơn nhưng có chất lượng trung bình thấp hơn. Thực tế, nếu xem xét thêm rằng các mô hình tiên tiến nhất hiện nay có thể bị huấn luyện quá mức tới 100 lần so với tiêu chuẩn tối ưu Chinchilla nhằm giảm thiểu sức tính toán cần thiết cho suy luận trong học tăng cường và triển khai, thì mối nguy hiểm của việc tuyển chọn dữ liệu tích cực càng trở nên nghiêm trọng hơn.

Một phép so sánh có thể là sự khác biệt giữa thuyền buồm và tàu chở container: tàu chở container không nhất thiết di chuyển nhanh hơn, nhưng nó có thể chở hàng ngàn tấn hàng hóa (tương đương với数百个万亿 token dữ liệu tiền huấn luyện), và không bị lật ngược giữa biển động (tương đương với việc huấn luyện ổn định trên hàng trăm nghìn GPU).

Bây giờ chúng ta đã có những chiếc tàu chở container lớn hơn và bền vững hơn, nên không còn cần phải băn khoăn về việc chở hàng gì nữa; chúng ta có thể chất lên tất cả những thứ dù chỉ hơi có ích. Còn với những chiếc thuyền buồm nhỏ bé và dễ vỡ năm 2019, bạn phải cực kỳ cẩn thận và chỉ được chở những mặt hàng giá trị nhất.

Nhưng nếu bản chất của tiến bộ trong tiền huấn luyện chỉ là chất thêm nhiều hàng hóa hơn lên con tàu này, thì liệu chúng ta có sắp hết hàng để chở không? Đây là vấn đề về bức tường dữ liệu, và cũng là vấn đề về mức độ mà dữ liệu tổng hợp có thể giúp chúng ta vượt qua bức tường đó. Dữ liệu tổng hợp rõ ràng đã được sử dụng rộng rãi trong các phòng thí nghiệm, nhưng chúng ta hoàn toàn chưa nghiên cứu xem liệu nó có thể mở rộng kho ngữ liệu một cách hiệu quả mà không làm tổn hại đến hiệu suất mô hình hay không. Nếu những lợi ích loại này bị giới hạn, thì động lực chính thúc đẩy tiến bộ trong tiền huấn luyện sẽ đình trệ, bởi vì chúng ta sẽ không tạo ra thêm nội dung internet, và mức độ có thể tuyển chọn một tập dữ liệu cố định cũng bị giới hạn. Cần lưu ý rằng hiện tại chúng ta không có bất kỳ lý do tích cực nào cho rằng điều này thực sự sẽ xảy ra. Nhưng vì dữ liệu dường như cực kỳ quan trọng trong việc thúc đẩy tiến bộ trong tiền huấn luyện, đây dường như là một vấn đề then chốt đáng được nghiên cứu sâu hơn.

Ryan Greenblatt chỉ ra rằng nhiều cải tiến lịch sử trong bộ dữ liệu pre-training dường như là những tiến bộ mà các nhà nghiên cứu tự động hóa có thể trực tiếp thúc đẩy thông qua các thử nghiệm thực nghiệm, ví dụ như chạy các thí nghiệm loại trừ với dữ liệu khác nhau để xem mô hình hoạt động ra sao. Do đó, điều này hoàn toàn phù hợp với kết quả của chúng tôi: nếu việc phát triển AI được tự động hóa, những tiến bộ về dữ liệu đã thúc đẩy sự tiến bộ trong pre-training kể từ năm 2019 có thể được tăng tốc đáng kể.

Chúng tôi muốn làm rõ một điểm: việc xem xét riêng lẻ liệu tiến bộ trong tiền huấn luyện có làm tăng hay giảm tốc độ tiến bộ AI nói chung không phải là vấn đề quan trọng nhất, vì nhiều lợi ích trong hai năm qua đến từ học tăng cường.

Hướng nghiên cứu trong tương lai

Dưới đây là một số hướng nghiên cứu và câu hỏi tương lai mà chúng tôi cho rằng sẽ rất thú vị và quan trọng:

• You can scale up this experiment to see whether the data or model improvements are more dependent on scale, thereby having a greater impact in frontier areas.
• Với tiêu chí đánh giá cuối cùng, giá trị biên của dữ liệu mới chất lượng cao trong giai đoạn tiền huấn luyện và sau huấn luyện là bao nhiêu?
• Chúng tôi muốn tìm hiểu sơ bộ hiệu quả thực tế của dữ liệu tổng hợp. Một vấn đề cụ thể đáng để nghiên cứu là: nếu bạn có một tập dữ liệu chất lượng cao nhỏ, việc khuếch đại nó thông qua sinh dữ liệu tổng hợp sẽ mang lại hiệu quả tốt hơn bao nhiêu so với việc huấn luyện lặp lại nhiều vòng trên chính tập dữ liệu đó?
• Bạn có thể suy ra giá trị ẩn của dữ liệu thông qua tỷ lệ chi tiêu cho các nhà môi giới dữ liệu, nhà sản xuất môi trường, v.v. so với chi tiêu cho năng lực tính toán và nhân viên nghiên cứu.

Chúng tôi muốn nghiên cứu vai trò của dữ liệu trong việc thúc đẩy sự tiến bộ của AI. Còn nhiều phương pháp khác để khám phá vấn đề này, và một số phương pháp có thể tinh vi và mang tính thông tin hơn phương pháp của chúng tôi. Ngoài ra, quy mô thí nghiệm của chúng tôi rất nhỏ. Chúng tôi thực sự cho rằng có thể đã bỏ sót một số điều và rất muốn biết những người khác sẽ nghiên cứu vấn đề này như thế nào, tốt nhất là được xem kết quả của họ!

Đặc biệt cảm ơn Charlie O'Neill vì những cuộc thảo luận hữu ích.

Chúng tôi huấn luyện từ đầu các mô hình này trên các bộ dữ liệu khác nhau, sử dụng các ngân sách tính toán khác nhau và thiết lập nhiều hạt giống độc lập 6. Ngân sách tính toán của chúng tôi là: 1e17, 3.16e17, 1e18, 3.16e18 và 1e19 FLOP. Quy ước tính toán tính toán là sử dụng tính toán danh nghĩa C = 6ND (N là số tham số không bao gồm nhúng, D là số token dữ liệu).

Dưới mỗi ngân sách tính toán, chúng tôi điều chỉnh số lượng tham số để điều chỉnh số lượng token huấn luyện, nhằm xác định tỷ lệ tính toán tối ưu cho từng công thức huấn luyện và bộ dữ liệu ngữ cảnh. Chúng tôi sử dụng tổn thất trên bộ dữ liệu giữ lại để xác định điểm tính toán tối ưu này. Sau đó, chúng tôi có thể thu được đường cong mở rộng tính toán cho hiệu suất downstream của từng tổ hợp, từ đó trích xuất hệ số tính toán cuối cùng.

Chúng tôi bắt buộc sử dụng bộ phân từ chia sẻ và độ dài ngữ cảnh trong tất cả các lần chạy: GPT-2 BPE (tiktoken, từ vựng 50257) và T=2048, batch = 262144 token.

Khả năng cuối cùng của quá trình huấn luyện phụ thuộc rất lớn vào các siêu tham số. Rõ ràng, không thể kiểm tra tất cả các tổ hợp siêu tham số có thể có; việc tinh chỉnh siêu tham số thực sự là một nghệ thuật tinh vi! Chúng tôi cố gắng kiểm soát điều này và coi tỷ lệ học tối đa là siêu tham số quan trọng nhất.

Một số phiên bản thuật toán cung cấp hướng dẫn cụ thể về giá trị tỷ lệ học tối đa nên được điều chỉnh như một hàm của các biến liên quan khác như kích thước mô hình, ngân sách dữ liệu, kích thước lô, v.v. Những hướng dẫn này mang lại tiền đề tốt để chúng ta xác định tỷ lệ học tối ưu.

Chúng tôi đầu tiên quét học suất trên 5 điểm neo: 3 kích thước mô hình khác nhau và 2 tỷ lệ D/N khác nhau. Chúng tôi xác định học suất tối ưu cho các điểm neo này và phù hợp với dạng tham số học suất tối ưu.

Đối với tất cả các công thức mô hình ngoại trừ OLMo-2, chúng tôi phù hợp một chỉ số chung a và b, cùng với lr₀ đặc trưng cho từng mô hình. Đối với OLMo-2, chúng tôi sử dụng tỷ lệ học tối ưu được quy định trong công thức mô hình đó. Lý do chúng tôi xử lý OLMo-2 theo cách này là vì Ai2 đã công bố các bước mô hình nhỏ như một phần của công thức, trong đó xác định các siêu tham số tối ưu cho quy mô mà chúng tôi đang nghiên cứu. Chúng tôi cũng đã xác minh rằng tỷ lệ học sản xuất của chúng tôi nằm ở hoặc gần điểm tối ưu về năng lực tính toán 3.16e18 FLOP.

Kết quả kỹ thuật chính

Giải thích một số bất thường trong biểu đồ

Chúng tôi nhận thấy rằng, trên cả hai khía cạnh mô hình và dữ liệu, hiệu suất tính toán thường tăng theo thời gian, điều này phù hợp với kỳ vọng. Một số giá trị bất thường mà chúng tôi quan sát được:

• NeoX tại 1e19 thể hiện kém hơn GPT-2 (mặc dù thể hiện tốt hơn trong phạm vi từ 1e17 đến 3,16e18). Điều này có thể do nhiễu trong đánh giá OLMES. Chúng tôi cũng nhận thấy rằng, trên tổn thất pre-training giữ lại của ngữ liệu FineWeb-Edu, NeoX vượt trội hơn GPT-2.
• Hiệu suất của The Piles dường như kém xa so với OpenWebText. Điều này không gây ngạc nhiên, vì cải tiến chính của Pile nằm ở sự đa dạng của dữ liệu huấn luyện chứ không phải ở việc lọc. Nó bao gồm một hỗn hợp 22 nguồn được tuyển chọn cẩn thận, bao gồm các bài báo PubMed và arXiv, mã GitHub, ý kiến pháp lý, bằng sáng chế và hồ sơ nghị viện. Đối với nhiều token trong số này, việc chuyển giao sang OLMES (đa lựa chọn văn bản mạng tiếng Anh) có thể rất nhỏ, do đó dẫn đến hiệu quả tính toán thấp hơn. Chúng tôi nhận thấy rằng, do quy mô lớn hơn, chúng tôi kỳ vọng Pile cuối cùng sẽ vượt trội hơn (quy mô thực sự rất nhỏ) OpenWebText ở quy mô lớn hơn.
• Cần lưu ý rằng hệ số công suất của NeoX và Pile được suy ra bằng cách ngoại suy, điều này gây ra thêm sai số tiềm ẩn.

Cách tính hệ số công suất và đường sai số

• Mỗi điểm trên đường cong mở rộng tính toán đều đến từ nhiều lần chạy huấn luyện với hạt giống độc lập. Các đường sai số tại đó là độ lệch chuẩn của đánh giá OLMES trên các hạt giống này.
• Xem xét mô hình tham chiếu hoặc ngữ liệu dữ liệu ở mức hiệu năng tham chiếu nhất định dưới một mức tính toán nhất định.
• Sau đó, chúng tôi tính toán hệ số tính toán bằng cách tìm điểm trái nhất trên đường cong mở rộng tính toán của mô hình hoặc ngữ liệu ứng cử, tại điểm đó đạt được mức hiệu suất tham chiếu. Tỷ lệ giữa lượng tính toán cần thiết cho tham chiếu và lượng tính toán cần thiết cho ứng cử viên chính là hệ số tính toán của ứng cử viên.
• Sai số của hệ số tính toán được lấy từ phương pháp bootstrap của các tham số trong toàn bộ quy trình ước lượng, ở mức khoảng 1 độ lệch chuẩn.
• Chúng tôi thực sự muốn nhấn mạnh rằng chúng tôi dự kiến độ không chắc chắn thực tế của hệ số tính toán công thức mô hình cao hơn so với những gì được thể hiện bởi các đường sai số. Điều này là do phạm vi tối ưu hóa siêu tham số mà chúng tôi thực hiện bị hạn chế, và khả năng cuối cùng hoặc tổn thất giữ lại có thể khá nhạy cảm với các lựa chọn cụ thể về tỷ lệ học tối đa, kích thước lô, v.v.

Điều quan trọng cần lưu ý là các thí nghiệm loại trừ của chúng tôi có nhiều lý do không thể hoàn toàn bắt được toàn bộ phạm vi cải thiện hiệu suất tính toán. Thực tế, từ năm 2019 đến năm 2025, chúng tôi quan sát thấy mức cải thiện hiệu suất tính toán hàng năm về phía mô hình là 1,24 lần [1,19; 1,29], về phía dữ liệu là 1,51 lần [1,45; 1,57]. Khi đo lường kết hợp, chúng tôi quan sát thấy mức cải thiện hiệu suất tính toán hàng năm là 1,57 lần [1,49; 1,65]7. Điều này thực sự thấp xa so với ước tính trung bình 3 lần hàng năm của Anson Ho và các cộng sự, do các lý do sau:

• Nhiều lợi ích có thể phụ thuộc vào quy mô, hoặc đặc biệt quan trọng trong bối cảnh dài hơn, trong khi quy mô hoạt động của chúng ta quá nhỏ để thể hiện nhiều lợi ích đó. Ví dụ: chuẩn lớp và chuẩn QK của OLMo-2, khối chú ý song song cộng MLP trong NeoX.
• Việc tối ưu hóa hiệu suất suy luận (ví dụ: GQA của LLama-3, một loại tối ưu hóa bộ nhớ đệm KV) không được thể hiện dưới dạng hệ số tính toán trong nghiên cứu của chúng tôi. Chúng tôi cũng không nghiên cứu các cải tiến bộ phân tích từ.
• Hệ số tính toán mà chúng tôi đạt được khá nhạy cảm với công thức mô hình hoặc bộ dữ liệu mà chúng tôi chọn hàng năm. Chúng tôi đã chọn những công thức mô hình hoặc bộ dữ liệu mà chúng tôi cho là đại diện. Tuy nhiên, điều này không chứng minh đầy đủ rằng chúng là lựa chọn tốt nhất hàng năm.
• Chúng tôi tập trung vào hệ số tính toán so với chuẩn OLMES (kết hợp 10 loại nhiệm vụ tương đối đơn giản), chứ không phải hệ số tính toán để đạt đến một chỉ số độ khó nhất định. Nếu chúng ta xem các chuẩn khác (ví dụ: chuẩn chuyên về mã hóa hoặc giải quyết vấn đề), con số cũng sẽ khác biệt đáng kể, vì những chuẩn đó có thể khen thưởng những phương pháp kỹ thuật dữ liệu hoàn toàn khác biệt.

Chúng tôi cũng muốn nhấn mạnh rằng chúng tôi chưa nghiên cứu các cải tiến trên các khía cạnh dữ liệu khác, chẳng hạn như thu thập thêm dữ liệu chất lượng cao từ các nguồn mới, dữ liệu do chuyên gia con người tạo ra, hoặc các phương pháp sinh dữ liệu tổng hợp. Hầu hết các ngữ liệu trong nghiên cứu của chúng tôi đều là cùng một tập con đã được tuyển chọn từ Common Crawl, chứ không phải là mở rộng tập dữ liệu có sẵn. Điều này rõ ràng là đang tiêu thụ một lượng tồn kho hạn chế, và mức độ tiến bộ mà đòn bẩy này có thể mang lại là có giới hạn.

Lợi nhuận độc lập với công thức mô hình và bộ dữ liệu

Chúng tôi đã thực hiện khảo sát này để xác định mức độ độc lập giữa lợi ích của công thức mô hình và bộ dữ liệu. Chúng tôi đã xem xét lưới điểm OLMES tại 3.16e18 FLOPs. Thực hiện hồi quy tuyến tính trên điểm OLMES với mô hình: Điểm OLMES = trung bình + hiệu ứng mô hình + hiệu ứng dữ liệu, thu được R bình phương là 0.88. Điều này có nghĩa là 88% phương sai của điểm OLMES có thể được giải thích bởi các hiệu ứng cộng gộp của việc cải tiến mô hình và dữ liệu, chỉ khoảng 12% phương sai đến từ các tương tác hoặc các thành phần bậc cao hơn, cùng với nhiễu đánh giá. Điều này cho thấy các tương tác phức tạp giữa mô hình và dữ liệu (tức là việc tận dụng một cải tiến mô hình phụ thuộc vào một kỹ thuật dữ liệu cụ thể, hoặc ngược lại) tương đối nhỏ.

Anson Ho và những người khác ước tính hiệu suất phần mềm được cải thiện (trong giai đoạn tiền huấn luyện) là 3 lần mỗi năm (khoảng tin cậy 95%: 1,5 lần đến 64 lần). Như Ho đã đề cập trong bài blog này, “hầu hết các tiến bộ phần mềm thực tế có thể đến từ việc cải thiện chất lượng dữ liệu”, cũng như “từ việc mở rộng một vài thay đổi thuật toán liên quan đến quy mô”.

Chúng tôi sử dụng quy ước danh nghĩa C = 6ND để tính toán sức mạnh tính toán.

Công thức mô hình năm 2019 là GPT-2, công thức mô hình năm 2025 là OLMo-2. Tập dữ liệu năm 2019 là OpenWebText, tập dữ liệu năm 2025 là UltraFineWeb.

Chúng tôi đã gặp một số vấn đề về không ổn định trong quá trình huấn luyện GPT3 trên Pile (đỉnh gradient).

Các cải tiến bao gồm: tối ưu hóa bộ tối ưu, lịch trình làm nóng và giảm dần, thay thế vị trí tuyệt đối học được bằng RoPE, RMSNorm kết hợp SwiGLU gated MLP, sắp xếp lại Norm, QK-norm, chuẩn hóa Z-loss và khởi tạo sạch hơn.

Đối với biểu đồ mở rộng năng lực tính toán, chúng tôi sử dụng ít nhất 3 hạt giống cho mỗi trường hợp. Đối với lưới 7x7 gồm các kết hợp công thức mô hình và bộ dữ liệu với ngân sách 3.16e18, chúng tôi chỉ sử dụng 1 hạt giống cho mỗi trường hợp.

Hệ số tăng trưởng đồng niên 1,57 lần được tính toán dựa trên cải tiến kết hợp từ mô hình và ngữ liệu năm 2019 đến mô hình và ngữ liệu năm 2025, chứ không phải là tích của cải tiến 1,24 lần ở phía mô hình và cải tiến 1,51 lần ở phía dữ liệu.