Các nhà nghiên cứu tại MIT sử dụng GPT-6 Astra để tăng khả năng toán học của Qwen lên 6 lần

Bài viết: Shenchao TechFlow

Không cần đào tạo, không cần dữ liệu, không cần giảm độ dốc.

Các nhà nghiên cứu tại MIT đã đưa trọng số của một mô hình nhỏ mã nguồn mở cho GPT-6 Astra và đưa ra một lệnh bằng ngôn ngữ tự nhiên: “Tăng khả năng toán học của nó.”

Astra đã dành 20 giờ, xem xét 800 triệu tham số, để tìm ra 131.072 trọng số trong hai lớp mạng và thực hiện ca phẫu thuật.

Trước phẫu thuật, mô hình này đạt điểm 7,9% trên bài kiểm tra chuẩn MATH-500; sau phẫu thuật, 48,1%.

Đây là tin tức AI nổi bật nhất hôm nay.

Ngày 2 tháng 11, nhóm nghiên cứu từ Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo MIT (CSAIL) đã đăng một bài blog công bố kết quả của một thí nghiệm mà họ gọi là “Lập trình không gian trọng số” (Weight-Space Programming). Tác giả đầu tiên, Rikiya Takehi, là sinh viên tiến sĩ năm nhất tại CSAIL MIT, với các cộng tác viên bao gồm Jayden Teoh, Alex Zhang và người hướng dẫn của Takehi, Omar Khattab.

Ý tưởng cốt lõi của thí nghiệm có thể tóm tắt trong một câu: để một AI đủ mạnh đọc trực tiếp “bộ não” của một AI khác, tìm ra vấn đề, sau đó sửa đổi một cách chính xác như dùng dao mổ.

Mô hình được chọn là Qwen3.5-0.8B, một mô hình ngôn ngữ nhỏ với 800 triệu tham số của Alibaba. Các bác sĩ phẫu thuật là GPT-6 Astra mới nhất của OpenAI.

Nhóm nghiên cứu đã cung cấp cho Astra ba thứ: một bộ bài tập toán học, một môi trường Python có thể đọc và ghi trọng số mô hình, cùng quyền truy cập hạn chế vào các lần suy luận mô hình. Không có GPU, không có vòng lặp huấn luyện, không có bộ tối ưu hóa. Astra cần hành xử như một nhà nghiên cứu con người, bằng cách quan sát hành vi của mô hình và kiểm tra các giá trị trọng số để chẩn đoán vấn đề, sau đó trực tiếp chỉnh sửa tham số.

Toàn bộ quá trình kéo dài 20,3 giờ, trong đó 4,7 giờ được dành để chờ phục hồi dịch vụ. Astra đã thực hiện 158 cuộc hội thoại, 80 lần thực thi Python và 50 lần đánh giá mô hình.

Cuối cùng, nó đã xác định được một “hướng số” gây ra hiện tượng đầu ra lặp lại trong ma trận đầu ra MLP ở tầng 15 và tầng 19, sau đó trừ hướng này khỏi 64 cột đầu ra. Tổng cộng có 131.072 trọng số được điều chỉnh, chiếm 0,016% tổng tham số của mô hình.

Thay đổi nhỏ, hiệu quả vượt trội.

Trên ba bài kiểm tra hiệu năng, so sánh trước và sau khi sửa đổi như sau:

MATH-500: 7,9% → 48,1%

GSM8K: 13,8% → 67,1%

IFEval (tuân thủ lệnh): 21,0% → 62,3%

Một con số trực quan hơn: trước khi sửa đổi, 93% câu trả lời của Qwen3.5-0.8B trên MATH-500 đều chạm đến giới hạn 32.768 token do mắc kẹt trong vòng lặp lặp lại. Sau khi sửa đổi, tỷ lệ này giảm xuống còn 33,1%.

Báo cáo của VentureBeat so sánh điều này với “sửa đổi gen của mạng nơ-ron”. So sánh này nắm bắt chính xác bản chất: việc huấn luyện mô hình truyền thống giống như việc khiến một người cải thiện kỹ năng toán học thông qua luyện tập nhiều lần, trong khi lập trình không gian trọng số giống như mở trực tiếp bộ não, tìm ra sợi thần kinh bị nối sai và nối lại đúng.

Tuy nhiên, nhóm nghiên cứu đã đưa ra một giới hạn quan trọng: Astra không bổ sung khả năng toán học mới cho Qwen, mà chỉ loại bỏ một trở ngại cản trở mô hình phát huy khả năng đã có.

Sự khác biệt này là cực kỳ quan trọng. Để xác minh điều này, nhóm đã lặp lại cùng một thí nghiệm trên mô hình Gemma 3 270M của Google. Gemma 3 hiếm khi gặp vấn đề đầu ra lặp lại (chỉ có 8,5% câu trả lời chạm ngưỡng token), và kết quả là Astra gần như không cải thiện được điểm MATH-500 của nó, dao động không quá 1%.

Kết luận rất rõ ràng: Lập trình không gian trọng số hiện tại có thể làm là “gỡ bỏ chướng ngại vật”, không phải “xây dựng con đường mới”.

Toán học chỉ là một tình huống mà nhóm nghiên cứu trình bày, khả năng của Astra trong không gian trọng số còn vượt xa hơn thế.

Nhận diện “linh hồn”: Nhóm nghiên cứu đã huấn luyện bốn mạng lưới chiến lược trò chơi Atari có kiến trúc hoàn toàn giống nhau (Breakout, Pong, Pac-Man, Freeway), sau đó chỉ truyền trọng số cho Astra mà không cung cấp bất kỳ nhãn nào. Astra chỉ dựa vào giá trị trọng số để nhận diện chính xác trò chơi tương ứng với mỗi mạng lưới. Cách suy luận của nó là: trọng số lớp đầu tiên của mạng Breakout tập trung ở phía dưới màn hình (vị trí ván chèo), trong khi phân bố hành động ở lớp đầu ra thiên về di chuyển sang trái hoặc phải.

Xây dựng mạng từ con số không: Trong thí nghiệm với MinAtar (phiên bản thu nhỏ của Atari), Astra đã trực tiếp “viết” ra mạng chiến lược trò chơi trong không gian trọng số từ đầu. Trên trò chơi Breakout, mạng do Astra viết đạt 517,4 điểm, trong khi mạng được huấn luyện bằng thuật toán PPO trong 5 tỷ bước chỉ đạt 25,3 điểm.

Sửa lỗi xe tự hành bị kẹt: Một bộ điều khiển xe được huấn luyện bằng PPO bị kẹt trên dốc do rơi vào cực tiểu cục bộ. Astra chỉ cần một lần hội thoại, chỉnh sửa 3,5% trọng số, và bộ điều khiển đã sửa chữa thành công trong tất cả 1.024 lần kiểm tra.

Điểm chung của những thí nghiệm này là: Astra không chỉ có thể “đọc” trọng số, hiểu rõ mỗi con số đại diện cho hành vi nào, mà còn có thể “viết lại” trọng số để mô hình thực hiện được những điều thuật toán huấn luyện không thể làm.

Trước khi lập trình trong không gian trọng số, giới học thuật đã từng có những nỗ lực trực tiếp chỉnh sửa trọng số mô hình. ROME tại NeurIPS 2022 và MEMIT tại ICLR 2023 đều đã chứng minh cách chèn hoặc sửa đổi chính xác một kiến thức sự thật vào trọng số của mô hình ngôn ngữ, ví dụ như thay đổi “Tháp Eiffel ở Paris” thành “Tháp Eiffel ở Rome”.

Tuy nhiên, ROME và MEMIT thực hiện việc tìm kiếm và thay thế ở cấp độ sự thật, thao tác trên từng điểm kiến thức riêng lẻ. Sự khác biệt trong lần trình bày này của nhóm MIT: Astra chỉnh sửa khả năng tổng quát của mô hình, bao gồm suy luận toán học và tuân thủ lệnh, vượt qua ranh giới từ việc “sửa một điểm kiến thức” sang “thay đổi một mô hình hành vi”.

Takehi đưa ra phán đoán táo bạo hơn trong blog: "Trọng số của mạng nơ-ron sẽ sớm được tối ưu hóa bản địa bởi các LLM có khả năng suy luận về trọng số."

Nếu hướng này được xác minh, các kịch bản ứng dụng tiềm năng bao gồm:

Sửa đổi mô hình: Sau khi triển khai, nếu mô hình gặp sự cố, không cần đưa về để huấn luyện lại, mà chỉ cần để một AI khác “khám bệnh” và chỉnh sửa. Đối với những mô hình tiên tiến có chi phí huấn luyện lên tới hàng chục triệu đô la Mỹ, điều này có thể mang lại tiết kiệm chi phí đáng kể.

Đánh giá mô hình: Nếu AI có thể đọc trọng số, thì các chuyên gia an ninh cũng có thể sử dụng nó để kiểm tra xem mô hình có bị cài đặt backdoor hoặc hành vi độc hại hay không.

Tùy chỉnh mô hình mã nguồn mở: Một AI đủ mạnh có thể “tùy chỉnh” khả năng cho các mô hình mã nguồn mở thông qua lệnh ngôn ngữ tự nhiên, không cần bất kỳ cơ sở hạ tầng đào tạo nào.

GPT-6 Astra vốn là một mô hình đầy tranh cãi. OpenAI từng hoãn phát hành phiên bản nâng cấp GPT-6.1 Astra do lo ngại về bảo mật.

Sau ba ngày ra mắt Astra, nhà khoa học trưởng của OpenAI, Jakub Pachocki, đã đăng bài cảnh báo: Kết quả kiểm tra nội bộ của OpenAI cho thấy sự tiến bộ của AI có thể dẫn đến việc “tự cải tiến đệ quy”, tức là các hệ thống AI ngày càng tham gia nhiều hơn vào việc xây dựng những người kế nhiệm của chính chúng. Ông cho biết không có hệ thống đánh giá nội bộ nào tại bất kỳ phòng thí nghiệm nào đủ khả năng đối phó với viễn cảnh này.

Lập trình không gian trọng số đúng vào trọng tâm của cảnh báo này. Nếu một AI có thể sửa đổi trọng số của một AI khác để nâng cao khả năng, thì về mặt lý thuyết, một AI có thể sửa đổi trọng số của chính nó không?

Nhóm nghiên cứu đã rõ ràng trong bài viết blog rằng họ không thể hiện việc cải tiến tự lặp lại hay hiệu quả có thể tích lũy liên tục. Tuy nhiên, điều này không ngăn được sự cảnh giác từ cộng đồng an ninh. Maxime Fournes của PauseAI gọi đây là “một hướng nghiên cứu cực kỳ liều lĩnh”.

Các hạn chế hiện tại là có thật: thí nghiệm chỉ thành công trên một mô hình nhỏ với 800 triệu tham số, nhưng thất bại trên Gemma 3. Toàn bộ quá trình đòi hỏi 20 giờ và rất nhiều lần thử-sai, chưa có nhóm độc lập nào tái tạo thành công, và lợi thế chi phí so với tinh chỉnh truyền thống cũng chưa được xác minh.

Nhưng hướng đi đã được chỉ ra. Một bài báo tại ICML 2026 đã đề xuất rằng không gian trọng số nên trở thành “chế độ ưu tiên bậc nhất” trong AI sinh tạo, ngang hàng với văn bản, hình ảnh và âm thanh, và các mô hình nên hiểu và thao tác với trọng số một cách bản sinh.

Nếu năm 2024 là năm AI học cách “nói về hình ảnh”, năm 2025 là năm AI học cách “viết mã”, thì năm 2026 có thể đang trở thành năm AI học cách “tự cải tiến chính mình”.

No one currently knows where this path leads.