Một bản giấy mới đề xuất đào tạo toàn bộ quy trình cho các mô hình sinh tạo thông qua mô hình hóa khai phá

Năm 2012, AlexNet đã kết thúc một thời kỳ bằng một chiến thắng áp đảo. Trước đó, việc nhận diện hình ảnh đòi hỏi con người phải thiết kế thủ công từng bước trích xuất đặc trưng; AlexNet đã chứng minh một điều sau này được xác minh lặp đi lặp lại: giao toàn bộ nhiệm vụ cho mô hình tự học端到端, gần như luôn vượt trội hơn các đường ống phân giai đoạn do con người thiết kế tinh vi.

Từ phân loại hình ảnh đến phát hiện đối tượng rồi đến phân đoạn hình ảnh, mỗi bước nhảy vọt của học sâu đều xuất phát từ một câu nói duy nhất: hãy để nó tự học hết một lần.

Chỉ có một lĩnh vực luôn là ngoại lệ: các mô hình sinh tạo.

Mô hình sinh xuất sắc và có khả năng mở rộng nhất hôm nay (dù là mô hình tự hồi quy hay mô hình khuếch tán) đều không phải là mô hình đầu đến cuối.

Chúng được huấn luyện để chỉ dự đoán "một bước nhỏ", nhưng trong suy luận lại phải lặp lại bước này hàng trăm, hàng nghìn lần như một mạng tuần tự.

Cách lấy mẫu dùng cho huấn luyện và suy luận không giống nhau. Khoảng cách này mang đến một vấn đề cũ: lỗi ở mỗi bước sẽ được truyền vào bước tiếp theo, đầu vào dần dần lệch khỏi phân phối đã thấy trong quá trình huấn luyện, lỗi tích lũy từng lớp. Trong học thuật, nó được gọi là “exposure bias”.

Nói cách khác, kinh nghiệm cốt lõi nhất của học sâu – “đầu đến cuối tốt hơn” – đã không thực sự áp dụng được vào các mô hình sinh trong hơn mười năm qua.

Và ngay gần đây, một bài báo từ UIUC và Đại học Harvard đã cố gắng lấp đầy mảnh ghép cuối cùng này.

Tác giả đã đặt tên cho mô hình mới này là Explorative Modeling (xây dựng mô hình khám phá), viết tắt là XM. Ý tưởng của nó đơn giản đến mức gần như giản dị, nhưng lại dẫn đến một kết luận táo bạo: ngoài tham số và dữ liệu, các mô hình sinh ra còn có một trục thứ ba có thể mở rộng.

Trang web dự án: https://explorative-modeling.github.io

Địa chỉ bài báo: https://arxiv.org/abs/2607.27372

Kho mã nguồn: https://github.com/alexiglad/XM

Để hiểu được bài luận này đang giải quyết vấn đề gì, trước tiên phải hiểu được việc tạo ra thực sự khó ở chỗ nào.

Học có giám sát thông thường (ví dụ: phân loại) mỗi đầu vào cơ bản chỉ có một câu trả lời đúng, mô hình chỉ cần học một ánh xạ xác định.

Nhưng kết quả sinh ra lại không giống nhau. Khi bạn yêu cầu mô hình “sinh ra một con chó”, câu trả lời đúng thậm chí có thể có vô số khả năng. Những đầu ra hợp lệ này chính là các mode trong phân phối dữ liệu (tức là các đỉnh độc lập trong phân phối). Việc sinh ra khó khăn chính là vì phải đồng thời nắm bắt được nhiều mode như vậy.

Vấn đề nằm ở chỗ, các mô hình sinh phổ biến được huấn luyện bằng tổn thất tái tạo (ví dụ: lỗi bình phương). Khi một đầu vào được gán ngẫu nhiên với nhiều mục tiêu hợp lệ khác nhau, giải pháp tối ưu mà tổn thất tái tạo đưa ra là giá trị trung bình của các mục tiêu đó. Nhưng với hầu hết dữ liệu, giá trị trung bình hoàn toàn không nằm trên đa tạp dữ liệu, mà rơi vào giữa các mode, không giống với bất kỳ mode nào.

Hình trong bài luận rất trực quan: khi để mô hình hồi quy trực tiếp từ đầu đến cuối mà không dùng bất kỳ kỹ thuật nào, ba đám điểm phân tán sẽ bị dự đoán thành một điểm ở chính giữa, một bức ảnh về con chó sẽ bị mờ thành một đống, và một câu sẽ bị suy biến thành việc lặp lại từ “the” đến hết. Đó chính là “mode blurring” (mờ chế độ), tức là giải pháp tối ưu lại chính là câu trả lời ít giống dữ liệu thực nhất.

Mô hình hiện tại đã vượt qua vấn đề này như thế nào? Câu trả lời là chia nhỏ quá trình “sinh ra”. Tự hồi quy chỉ dự đoán một phần tử mỗi lần, khuếch tán chỉ loại bỏ một chút nhiễu mỗi lần, mục tiêu của từng bước nhỏ đều được thu hẹp đến mức gần như chỉ còn một mode duy nhất, do đó hàm tổn thất tái tạo sẽ không còn phải lấy trung bình.

Quy trình "tách rời sinh ra" này chính là lý do khiến các mô hình khuếch tán và tự hồi quy có thể tạo ra các mẫu chất lượng cao, nhưng cũng chính nó khiến mô hình không thể thực hiện end-to-end.

Từ đó, tác giả đặt ra một câu hỏi then chốt: một mô hình sinh chỉ có hai thứ có thể tách rời, đó là cách sinh và cách huấn luyện.

Nếu việc tách sinh ra con đường này sẽ phá vỡ end-to-end, vậy tại sao không tách huấn luyện?

Explorative Modeling phá vỡ chính chu trình huấn luyện.

Cơ chế của nó có thể được giải thích trong một câu: Trong mỗi bước huấn luyện, thay vì chỉ tạo ra một mẫu để cố gắng phù hợp với mục tiêu, mô hình sẽ tạo ra K ứng cử viên và chỉ chọn mẫu gần nhất với dữ liệu thực tế để huấn luyện và truyền ngược gradient. Bài báo đã triển khai nó dưới dạng một vòng lặp for gồm 3 đến 5 dòng, đơn giản đến mức khiến người ta nghi ngờ (Thuật toán 1).

Tại sao làm như vậy lại có thể giải quyết độ mờ của mode?

Hãy chuyển sang một tình huống trong cuộc sống: đoán điểm rơi của phi tiêu. Nếu bạn chỉ được đoán một lần, chiến lược tối ưu là đoán vị trí trung bình của tất cả các phi tiêu, nhưng đó thường là nơi trên bia không có mấy phi tiêu đâm trúng. Tuy nhiên, nếu bạn được phép đoán K lần và chỉ tính điểm theo lần đoán gần nhất, chiến lược tối ưu lập tức thay đổi: bạn sẽ phân tán các lần đoán của mình để mỗi lần bao phủ một nhóm điểm rơi khác nhau.

Mô hình cũng tương tự. Khi được phép khám phá K ứng cử viên, các nhiễu đầu vào khác nhau sẽ mỗi cái “đăng ký” một mode khác nhau, thay vì tất cả đều dồn về giữa để lấy trung bình. Khám phá bao nhiêu lần, mô hình sẽ nắm chắc bấy nhiêu mode.

Tác giả đã đặt tên cho khả năng bị bỏ qua lâu nay này là “sự biểu đạt sinh thành” (generative expressivity) và chỉ ra rằng nó được xác định bởi chính mục tiêu huấn luyện, bất kể bạn tăng kích thước tham số và dữ liệu đến đâu, nó cũng không tự tăng lên.

Điều này cũng giải thích một hiện tượng kỳ lạ đã được ngành quan sát từ lâu: tại sao các mô hình tốt nhất ngày nay lại phụ thuộc rất nhiều vào kỹ thuật “dẫn dắt” (guidance).

所谓无分类器引导，本质上是将预测“推离”那个模糊的平均值。但如果模型本身不模糊，又何必去推它？引导之所以有效，恰恰是因为模式模糊留下的问题。

Bài báo cũng đề xuất hai hướng khám phá: Forward và Reverse. Hướng Forward cố định một mục tiêu thực tế và tìm kiếm mục tiêu gần nhất trong các kết quả sinh ra, thiên về “độ bao phủ” (phủ kín tất cả các mode); hướng Reverse cố định một kết quả sinh ra và tìm kiếm kết quả gần nhất trong dữ liệu thực tế, thiên về “độ chính xác” và gần như không làm tăng chi phí tính toán, nhưng có nguy cơ sụp đổ về một vài mode. Hai hướng này bổ sung cho nhau và có thể kết hợp sử dụng.

Kết luận quan trọng nhất của bài báo này là đã xác minh "khám phá" như một trục scaling thực sự.

Tác giả đã áp dụng khám phá này vào các mô hình khuếch tán/dòng, mô hình Jumpy và cả mô hình ngôn ngữ khuếch tán có mặt nạ, và nhận thấy hiệu suất được cải thiện liên tục nhất quán trên ba modalities: hình ảnh, video và ngôn ngữ. Quan trọng hơn, lợi ích tăng theo quy mô: càng mở rộng, hiệu quả càng tăng mạnh.

Các con số trong bài báo cho thấy: khi quy mô dữ liệu tăng lên, lợi ích do khám phá mang lại tăng từ 7% lên đến 36%; khi mô hình lớn hơn, con số này tăng từ 13% lên 23%; khi năng lực tính toán tăng gấp ba lần, lợi ích về hiệu suất tăng hơn gấp đôi.

Cụ thể về hiệu suất, nó đã tăng 4,1 lần hiệu suất FLOP, 6,2 lần hiệu suất mẫu và cải thiện 47% hiệu suất tham số. Trong sinh ảnh, nó đã đẩy công thức RAE mạnh nhất hiện tại lên đến FID 1,43 không hướng dẫn trên ImageNet, tiến gần đến mức tốt nhất trong ngành.

Một mô hình Large khám phá 5 chế độ, thậm chí còn vượt trội hơn một mô hình XLarge có nhiều hơn 47% tham số nhưng không thực hiện khám phá.

Ý nghĩa của xu hướng này không nhỏ. Tác giả giải thích: ở quy mô nhỏ, mô hình chủ yếu bị giới hạn bởi tham số và dữ liệu, khả năng biểu đạt khi sinh ra chưa phải là điểm nghẽn; nhưng một khi tham số và dữ liệu được mở rộng đến mức “không còn là giới hạn”, khả năng biểu đạt khi sinh ra sẽ ngày càng trở thành điểm nghẽn thực sự. Và đó chính là điều mà chúng ta đang tìm cách mở rộng trực tiếp.

Do xét đến việc huấn luyện các mô hình nền tảng thực tế hiện nay sử dụng sức mạnh tính toán cao hơn khoảng bốn cấp độ so với thí nghiệm lớn nhất trong bài báo này, tác giả cho rằng các con số được báo cáo trong bài báo rất có thể chỉ là giới hạn dưới của lợi ích trong quy mô lớn hơn.

Nếu đẩy việc khám phá đến giới hạn, điều gì sẽ xảy ra? Câu trả lời quay trở lại với sự bí ẩn ban đầu: các mô hình sinh đã có thể hoạt động end-to-end.

Tác giả coi XM là một mô hình đầu vào-đầu ra độc lập để thực hiện các nhiệm vụ điều khiển robot. Trong học theo hành vi (Behavior Cloning), chính sách khai phá (Explorative Policy) của họ chỉ cần một lần tiến hành mạng để đạt được hiệu suất ngang bằng hoặc vượt trội so với chính sách khuếch tán (Diffusion Policy) cần 100 lần tiến hành; trong mô hình hóa thế giới định hướng mục tiêu, mô hình thế giới khai phá (Explorative World Model) đạt hiệu suất trung bình tốt hơn với ít hơn 16 đến 256 lần sức tính toán suy luận so với Diffuser.

Nguồn gốc của sự khác biệt này rất rõ ràng: các mô hình khuếch tán đánh đổi sự biểu đạt bằng hàng trăm bước sinh trong suy luận, trong khi XM đầu đến cuối chuyển chi phí này sang việc khám phá trong quá trình huấn luyện, do đó suy luận chỉ cần một lần tiến thẳng. Việc “xử lý nhiều mode” — cùng một việc này — hoặc là từ từ phân tách trong suy luận, hoặc là khám phá triệt để một lần trong huấn luyện; bài báo này đã chọn phương án sau.

Tác giả đầu tiên của bài báo này, Alexi Gladstone, không phải là người lạ. Vào tháng 7 năm 2025, ông đã dẫn dắt dự án Energy-Based Transformers (EBT), từng gây ra nhiều tranh luận trên các nền tảng mạng xã hội.

Công việc đó tuyên bố lần đầu tiên “vượt trội” so với đường cong mở rộng của Transformer tiền tiến tiêu chuẩn trên nhiều chiều và cố gắng mở rộng “suy nghĩ Hệ thống 2” sang bất kỳ chế độ nào. Tham khảo bài báo của Machine Heart: “Một mô hình mới đã ra đời! Mô hình năng lượng mới phá vỡ giới hạn mở rộng của Transformer++, tốc độ mở rộng đào tạo nhanh hơn 35%”.

Explorative Modeling tiếp nối nhất quán tư duy trước đây của anh ấy: đều đặt câu hỏi “liệu mô hình có thể thực hiện những việc mà một lần forward thông thường không làm được thông qua một cách tìm kiếm, khám phá nào đó”. Bài báo này còn dựa trên lý thuyết khác do anh ấy và đồng tác giả (Yilun Du và Heng Ji) phát triển, gọi là Mode Forcing. Trong bài báo, tác giả thừa nhận rằng chính nhờ lý thuyết đó có sẵn, phần lớn kết quả của XM đã được dự đoán bởi lý thuyết trước, sau đó mới được xác minh bằng thực nghiệm — điều khá hiếm hoi trong cộng đồng học sâu, nơi thường có xu hướng “chạy thí nghiệm xong mới giải thích”.

Tác giả cũng thành thật thừa nhận những hạn chế: ý tưởng best-of-K bản thân không mới, đã có nhiều người thực hiện trước đây; đóng góp thực sự của họ là đã làm rõ ràng việc vòng lặp đơn giản này đang làm gì: nó trực tiếp khuếch đại khả năng biểu đạt của quá trình sinh mà không chia nhỏ quá trình sinh.

Ngoài ra, các mô hình ngôn ngữ tự hồi quy hiện vẫn là thách thức lớn nhất, Forward XM thuần túy đầu đến cuối vẫn quá tốn kém trên các phân phối cực kỳ đa mode (ví dụ: sinh hình ảnh), những vấn đề này sẽ được dành cho các công việc tiếp theo.

Trong nhiều thập kỷ qua, chúng ta đã quen với việc điều chỉnh các mô hình sinh bằng hai nút vặn: làm nó lớn hơn và cung cấp nhiều dữ liệu hơn cho nó.

Nút điều chỉnh thứ ba được đề xuất trong bài báo này khá đơn giản: để mô hình đoán nhiều lần hơn và chỉ giữ lại lần đoán tốt nhất. Nhưng nếu xu hướng mà nó tiết lộ là đúng, thì khi quy mô tiếp tục tăng trưởng, hai nút điều chỉnh đầu tiên sớm muộn sẽ đạt đến giới hạn, trong khi nút thứ ba mới chỉ bắt đầu quay.

Liên kết tham khảo

https://x.com/AlexiGlad/status/2083230922196107288

Bài viết này đến từ tài khoản WeChat “Machine Heart” (ID: almosthuman2014), tác giả: Panda