Periodic Labs huấn luyện mô hình tham số tỷ lệ sử dụng 1300 GPU H200 cho các thí nghiệm khoa học

Periodic Labs đã công bố mô hình khoa học Periodic Neon: mô hình này bắt đầu từ mô hình万亿参数 có trọng số mở Kimi K2.6, được huấn luyện trung hạn và học tăng cường bằng dữ liệu vật liệu do phòng thí nghiệm công ty tạo ra, sau đó được triển khai trở lại phòng thí nghiệm để phân tích kết quả nhiễu xạ tia X. Trên bài đánh giá nội bộ khó nhất FrontierXRD, tỷ lệ thành công đã tăng từ 2,7% của mô hình cơ sở lên 55,3%; Periodic cho biết, mô hình này vượt trội hơn GPT‑6 Astra và Claude Fable 5.1 trong nhiệm vụ cụ thể này đồng thời chi phí thấp hơn. Điều đáng quan tâm thực sự không phải là sự so sánh đơn giản “1300 chiếc H200 đánh bại 100.000 chiếc GPU”, mà là công ty đang xây dựng một vòng lặp khép kín: thí nghiệm—huấn luyện—thí nghiệm lại: các phòng thí nghiệm vật lý liên tục tạo ra dữ liệu mới chưa từng có trên internet, mô hình học từ đó và quyết định nên tổng hợp và kiểm tra gì trong vòng tiếp theo. Tuy nhiên, tất cả các thành tích chính hiện nay đều đến từ các bài đánh giá nội bộ của công ty, phụ thuộc vào người phán quyết LLM, chưa có đánh giá đồng đẳng hay tái hiện độc lập; Neon kế thừa thành quả huấn luyện ban đầu đắt đỏ của Kimi K2.6, và cho đến thời điểm tra cứu, vẫn chưa tìm thấy địa chỉ tải xuống công khai nào cho trọng số của Neon.

Tác giả bài viết, nguồn: Periodic Labs

Periodic Labs đang tìm kiếm các vật liệu siêu dẫn và từ tính tốt hơn. Các nhà thí nghiệm có thể đặt mục tiêu vật liệu, chọn nguyên liệu và nhiệt độ, nhưng bột thu được cuối cùng có thể không phải là sản phẩm mong đợi: bên trong có thể đồng thời chứa pha tinh thể mục tiêu, nguyên liệu chưa phản ứng hết và các sản phẩm phụ không mong muốn.

Các nhà nghiên cứu thường sử dụng nhiễu xạ tia X bột, hay còn gọi là XRD, để xác định thành phần của mẫu. Khi tia X chiếu vào tinh thể, chúng tạo ra một loạt các đỉnh; các cấu trúc tinh thể khác nhau sẽ tạo ra các mẫu khác nhau, tương tự như “vân tay” của vật liệu.

Tuy nhiên, các mẫu thực tế thường chứa nhiều chất khác nhau, khiến các đỉnh của chúng chồng lấn lên nhau. Một câu trả lời được phù hợp toán học tốt có thể vẫn không hợp lý về mặt hóa học. Các nhà phân tích còn cần tổng hợp thông tin về nguyên liệu, nhiệt độ, môi trường, liệu mẫu có tiếp xúc với độ ẩm, các thí nghiệm trước đó, cơ sở dữ liệu tinh thể, tính toán nhiệt động lực học và các bài báo liên quan, để xác định những pha nào thực sự tồn tại và tỷ lệ của từng pha là bao nhiêu.

Periodic cho biết, các mẫu phức tạp có thể yêu cầu các nhà khoa học vật liệu phân tích trong vài giờ. Trong đánh giá của họ, các câu trả lời được công nhận trung bình bao gồm năm pha vật chất. Đây chính là công việc mà Neon đang tự động hóa: đọc các biểu đồ nhiễu xạ và toàn bộ bối cảnh thí nghiệm, gọi đến cơ sở dữ liệu và phần mềm khoa học, đề xuất các pha ứng cử, sau đó kiểm tra lại liên tục cách giải thích của chính mình.研究文章cho biết, mô hình đã được đưa vào sử dụng trong phòng thí nghiệm thông lượng cao của công ty.

Neon không phải là một mô hình nền tảng mới được huấn luyện từ đầu. Periodic bắt đầu từ Kimi K2.6 có trọng số mở, sau đó thực hiện huấn luyện trung gian với bộ dữ liệu khoa học bao gồm các bài báo học thuật, mã nguồn và dữ liệu thí nghiệm độc quyền, rồi tiếp tục sử dụng dữ liệu phòng thí nghiệm để huấn luyện tăng cường.

Trên bài đánh giá nội bộ khó khăn nhất của công ty FrontierXRD, tỷ lệ thành công của Kimi K2.6 nguyên bản là 2,7%, trong khi Neon đạt 55,3%, tăng khoảng 20 lần. Bài đánh giá bao gồm 134 mẫu phức tạp từ phòng thí nghiệm Periodic.

Công ty cũng đã kiểm tra 198 lần đo XRD từ các hệ thống hóa học được giữ lại: các hệ thống này và các hệ thống lớn hơn chứa chúng không xuất hiện trong dữ liệu huấn luyện, nhưng các hệ con nhỏ hơn có thể đã xuất hiện. Neon cũng dẫn đầu trong nhóm kiểm tra này so với các mô hình tiên tiến được thử nghiệm, tuy nhiên Periodic nhấn mạnh rằng nhóm câu hỏi này dễ hơn FrontierXRD.

(Bản gốc có biểu đồ phân tán hiệu suất - chi phí, đường cong mở rộng sức mạnh tính toán học tăng cường, và biểu đồ kết quả tổng quát hóa trên hệ thống hóa học.)

“Vượt trội hơn GPT‑6 Astra và Claude Fable 5.1” ở đây phải được giới hạn trong các bài đánh giá XRD do Periodic tự xây dựng. Nó không đại diện cho việc Neon có khả năng suy luận, lập trình hoặc ngôn ngữ tổng quát mạnh hơn, cũng không thể dùng để xây dựng bảng xếp hạng mô hình tổng thể.

Và thành tích 55,3% có nghĩa là vẫn còn gần một nửa các mẫu khó nhất chưa được giải quyết thành công. Neon phù hợp hơn như một công cụ mở rộng khả năng phân tích của các nhà khoa học, thay vì một chuyên gia vật liệu tự động hoàn toàn không cần giám sát.

Logic cốt lõi mà Periodic đưa ra là: dữ liệu khoa học chất lượng cao từ internet công khai cuối cùng cũng bị giới hạn, trong khi các phòng thí nghiệm thực tế có thể liên tục tạo ra dữ liệu mới.

Các bài báo truyền thống thường thiên về công bố các kết quả thành công. Những thông tin như vật liệu nào không được tổng hợp, nhiệt độ và tỷ lệ nào thất bại, hoặc thiết bị đã gặp sự cố bất thường thường không được đưa vào bài báo, nhưng lại cực kỳ có giá trị để đánh giá các thí nghiệm tiếp theo. Phòng thí nghiệm tự chủ có thể lưu giữ đầy đủ tất cả các kết quả — thành công, thất bại và không chắc chắn.

Công ty chia việc phát hiện vật liệu thành ba bước lặp lại:

Đầu tiên dự đoán nên sản xuất vật liệu gì; sau đó dự đoán cách tổng hợp; cuối cùng phân tích thực nghiệm đã tạo ra gì. Kết quả phân tích sẽ được phản hồi lại mô hình để điều chỉnh giả thuyết cho vòng tiếp theo.

Neon hiện đang chủ yếu cải tiến bước thứ ba. Giai đoạn tiếp theo của Periodic mong muốn cho phép mô hình tự lập kế hoạch các dự án nghiên cứu, viết quy trình tổng hợp và lựa chọn thí nghiệm tiếp theo có giá trị thông tin cao nhất.

Điều này có sự khác biệt quan trọng so với toán học và mã học tăng cường. Chương trình có thể chạy thử nghiệm trong vài giây, và câu trả lời toán học cũng có thể được kiểm tra bởi hệ thống hình thức; các thí nghiệm vật lý đòi hỏi thiết bị, vật liệu và thời gian, đôi khi kéo dài vài ngày, và kết quả có thể không rõ ràng. Các công ty không thể khởi động hàng chục nghìn thí nghiệm thực tế ngay lập tức như tạo mã, do đó họ phải tận dụng tối đa dữ liệu đã tích lũy để huấn luyện và cải thiện mô hình trong khi chờ thí nghiệm.

Periodic cho biết, quy mô đỉnh điểm của lần chạy huấn luyện cuối cùng của Neon là 1.300 GPU Nvidia H200, bao gồm giai đoạn huấn luyện trung hạn và học tăng cường. Công ty so sánh điều này với hơn 100.000 GPU Blackwell được cho là được sử dụng bởi GPT‑6 Astra để minh họa rằng dữ liệu chuyên biệt có thể giảm lượng tính toán cần thiết để huấn luyện các khả năng khoa học tổng quát.

Nhưng đây không phải là so sánh trên cơ sở cùng một tiêu chí.

Neon kế thừa trọng số tỷ tham số của Kimi K2.6, cùng với toàn bộ dữ liệu và năng lực tính toán đã đầu tư vào giai đoạn tiền huấn luyện trước đó. 1.300 card H200 chỉ đại diện cho quy mô đỉnh điểm trong quá trình Periodic tiếp tục huấn luyện mô hình, chứ không phải là toàn bộ chi phí để đạt được khả năng tỷ tham số này. Công ty cũng chưa tiết lộ thời gian huấn luyện đầy đủ, tổng số giờ GPU tích lũy, mức tiêu thụ năng lượng hoặc tổng chi phí.

更有价值的是其工程细节。基础设施文章称，公司在Megatron、SGLang、Miles和Ray之上进行修改，使长序列训练吞吐量达到其Megatron基线的4.1倍，并将万亿参数模型的解码速度从每个请求每秒10个Token提高到25个。

Một lần suy luận của XRD Agent có thể kéo dài hơn một giờ, trong quá trình này cần chạy lặp đi lặp lại các chương trình khoa học. Hệ thống ban đầu từng khiến mã do mô hình tạo ra yêu cầu 80GB bộ nhớ, dẫn đến việc toàn bộ nhiệm vụ huấn luyện bị sụp đổ. Sau đó, nhóm đã phát triển môi trường cách ly có tên pbox, chạy mã mô hình trong sandbox và tận dụng tài nguyên CPU rảnh rỗi trên máy chủ GPU để xử lý các công cụ khoa học.

(Bản gốc cơ sở hạ tầng bao gồm quỹ đạo hoạt động của Agent kéo dài hơn một giờ, kiến trúc huấn luyện và suy luận bất đồng bộ, cùng biểu đồ so sánh hiệu suất pbox sandbox.)

Periodic cũng đã sử dụng cùng một Claude Opus 5 để so sánh hai môi trường Agent.

Một là Claude Code kết hợp với cơ sở dữ liệu tinh thể mã nguồn mở và phần mềm XRD tiêu chuẩn;另一种 là môi trường khoa học riêng của Periodic, bao gồm bối cảnh thực nghiệm, cơ sở dữ liệu vật liệu nội bộ, kết quả mô phỏng và các công cụ phân tích tùy chỉnh.

Trong điều kiện mô hình hoàn toàn giống nhau và chi phí phân tích mỗi lần tương đương, tỷ lệ thành công của môi trường Periodic đạt 3,8 lần so với mô hình trước. Điều này cho thấy điểm nghẽn của nhiệm vụ XRD không chỉ nằm ở trọng số mô hình, mà còn bao gồm khả năng mô hình nhìn thấy các bản ghi thí nghiệm chính xác, gọi các công cụ phù hợp và lưu trữ các tích lũy từ các nghiên cứu trước đó.

Do đó, lợi thế cạnh tranh của Neon có thể khó tái hiện hoàn toàn bằng cách sao chép một mô hình. Tài sản quan trọng hơn là dữ liệu phòng thí nghiệm, cơ sở dữ liệu, giao diện thiết bị và quy trình phân tích đằng sau mô hình.

Điều này cũng cho thấy AI khoa học có thể tạo ra một cảnh quan cạnh tranh khác với các mô hình trò chuyện phổ quát: phòng thí nghiệm càng lớn, càng tạo ra nhiều dữ liệu độc quyền; mô hình càng tốt, càng có thể hướng dẫn nhiều thí nghiệm hơn; các thí nghiệm mới lại tiếp tục mở rộng lợi thế dữ liệu.

Phân tích XRD phức tạp thường không có câu trả lời chuẩn rẻ, duy nhất và có thể xác minh tự động. Việc khớp dạng đỉnh tốt không có nghĩa là kết quả tuân theo quy luật hóa học. Do đó, Periodic đã yêu cầu ba tiến sĩ chuyên ngành vật liệu đánh dấu hàng ngàn mẫu, sau đó huấn luyện hệ thống giám khảo gồm Claude Opus 5 và GPT‑5.6 Sol để chấm điểm đầu ra của mô hình.

Tỷ lệ đồng thuận giữa từng cặp trong ba chuyên gia con người là 77,2%; tỷ lệ đồng thuận giữa LLM và một chuyên gia con người là 74,6%; so với sự đồng thuận của chuyên gia, tỷ lệ đồng thuận là 84%.

Các kết quả này cho thấy trọng tài AI có thể xấp xỉ phán quyết của chuyên gia, nhưng không tương đương với sự thật khách quan. Giữa con người vốn đã tồn tại sự bất đồng, và mô hình trọng tài cũng có thể ưa thích một phong cách trả lời nhất định, hoặc bỏ sót những lỗi mà tất cả người ghi chú đều không phát hiện ra.

Điều cần lưu ý hơn là mô hình, môi trường làm việc, mẫu và phương pháp đánh giá của FrontierXRD đều do Periodic thiết kế. Mặc dù công ty đã công bố nhiều phương pháp và thống kê, nhưng chưa công bố bộ đánh giá đầy đủ, dữ liệu huấn luyện hoặc trọng số Neon có thể được sử dụng để chạy lại bởi bên ngoài, và kết quả cũng chưa qua đánh giá đồng đẳng.

Periodic rõ ràng cho biết Neon được tiếp tục huấn luyện từ mô hình trọng số mở Kimi K2.6. Do đó, một số mạng xã hội đã gọi Neon là “mô hình khoa học trọng số mở”.

Tuy nhiên, tính đến thời điểm tra cứu, bản phát hành chính thức không cung cấp thẻ mô hình, giấy phép hoặc địa chỉ tải trọng số của Neon, cũng như không cung cấp mã và dữ liệu để tái tạo đầy đủ quá trình huấn luyện trung hạn và học tăng cường. Phát biểu chính xác nên là: Neon được xây dựng trên nền tảng mô hình có trọng số mở, chứ không phải đã xác nhận công khai trọng số của Neon sau khi huấn luyện.

Sự khác biệt này rất quan trọng. Các nhà nghiên cứu bên ngoài hiện không thể xác minh độc lập kết quả 55,3% hoặc xác định có bao nhiêu phần trăm cải thiện đến từ dữ liệu thí nghiệm, học tăng cường, công cụ chuyên dụng, ngân sách suy luận hoặc môi trường đánh giá.

Các mô hình khoa học lớn trước đây chủ yếu học các kiến thức đã được viết thành bài báo khoa học, bằng sáng chế và bản ghi cơ sở dữ liệu. Periodic cố gắng bước tiếp theo: để mô hình quan sát các thí nghiệm vừa được hoàn thành hôm nay, chưa từng xuất hiện trên internet, sau đó sử dụng những kết quả này để hướng dẫn các thí nghiệm vào ngày mai.

Nó vẫn chưa phải là một “nhà khoa học AI” hoàn chỉnh. Con người vẫn cần xác định mục tiêu nghiên cứu, xây dựng phòng thí nghiệm, bảo trì thiết bị, thiết kế phần thưởng, đánh giá kết luận XRD và quyết định những vật liệu nào đáng để tiếp tục đầu tư. Neon hiện tại đã chứng minh một khâu then chốt có thể được tự động hóa đáng kể: khi số lượng thí nghiệm tăng lên, việc phân tích kết quả không còn cần phụ thuộc hoàn toàn vào số lượng chuyên gia con người tăng tương ứng.

Nếu vòng lặp khép kín này hiệu quả, lợi thế cạnh tranh của các mô hình khoa học trong tương lai có thể không còn chỉ phụ thuộc vào ai sở hữu nhiều văn bản công khai và GPU hơn, mà còn phụ thuộc vào ai có thể vận hành ổn định các thí nghiệm thực tế, ghi lại các kết quả thất bại, và biến thế giới tự nhiên thành môi trường huấn luyện được cập nhật liên tục.