Các nhà nghiên cứu từ Meta AI và Đại học Illinois Urbana-Champaign đã công bố một bài báo mới giới thiệu EvoHarness-RL, một lớp phối hợp có thể huấn luyện cho phép các tác nhân mô hình ngôn ngữ lớn tạo, truy cập và quản lý trạng thái bên ngoài của riêng chúng. Kết quả: tỷ lệ thành công đạt 96,9% trên một tiêu chuẩn chuẩn, tăng từ 47,9% so với mô hình cơ sở chạy không có nó.
EvoHarness-RL thực sự làm gì
Các tác nhân LLM có cửa sổ ngữ cảnh hạn chế. Khi một nhiệm vụ kéo dài qua nhiều bước, bao gồm các kết nối API động, nhật ký máy chủ, các mục con chưa hoàn thành và khôi phục lỗi, bộ nhớ nội tại của mô hình là không đủ. Nó cần một nền tảng bên ngoài để theo dõi những gì nó tin về thế giới, tiến độ đã đạt được và những gì nó đã học được từ các lỗi trước đó.
Khung này giới thiệu một trạng thái bên ngoài có cấu trúc dựa trên ba thành phần: Belief, Progress và Experience, được gọi chung là BPE. Belief ghi nhận sự hiểu biết hiện tại của tác nhân về môi trường của nó. Progress theo dõi các mục con đã hoàn thành và đang chờ xử lý để tác nhân không bỏ qua các bước hoặc lặp lại công việc. Experience lưu trữ những bài học rút ra từ các lỗi, ví dụ như cơ sở dữ liệu từ chối một lô do giới hạn tỷ lệ API, giúp tác nhân điều chỉnh cách tiếp cận của mình.
Việc đào tạo diễn ra qua hai giai đoạn. Đầu tiên, tinh chỉnh có giám sát bằng các minh họa chuyên gia dạy mô hình cách tương tác với công cụ kiểm thử. Sau đó, một kỹ thuật tối ưu hóa chú ý đến chi phí gọi là Group Relative Policy Optimization (GRPO) sẽ tinh chỉnh hành vi của tác nhân để cân bằng hiệu suất nhiệm vụ với chi phí tính toán của các lần gọi công cụ kiểm thử.
Các nhà nghiên cứu đã kiểm tra phương pháp của họ bằng mô hình Qwen3-8B trên ALFWorld, một tiêu chuẩn cho AI thể chất yêu cầu các tác nhân hoàn thành các nhiệm vụ gia đình qua nhiều bước. Tỷ lệ thành công 96,9% trong các môi trường quen thuộc đã ấn tượng, nhưng có lẽ đáng chú ý hơn là tỷ lệ thành công 86,6% trong các môi trường chưa từng thấy.
Hai hành vi mà các nhà nghiên cứu không lập trình một cách rõ ràng
Bài báo nhấn mạnh hai hiện tượng nổi bật xuất hiện trong quá trình huấn luyện, cả hai đều không được thiết kế trực tiếp.
Đầu tiên là “luyện tập qua khung.” Theo thời gian, tác nhân bắt đầu nội tâm hóa các thao tác khung thông thường, giảm tần suất cần tham chiếu trạng thái bên ngoài. Số lần gọi khung giảm đi không phải do hệ thống suy giảm, mà do mô hình đã tiếp thu các mẫu hình.
Thứ hai là “tận dụng sự tiến hóa.” Trong quá trình huấn luyện, tác nhân học cách nén và tái cấu trúc trạng thái bên ngoài của nó thành một định dạng gọn nhẹ hơn, phù hợp với các loại nhiệm vụ cụ thể. Biểu diễn BPE trở nên mảnh mai và chuyên biệt hơn mà không cần bất kỳ sự can thiệp nào từ con người trong thiết kế của nó.
Xây dựng trên các công việc trước đó
EvoHarness-RL xây dựng trên Meta-Harness, một dự án trước đó từ tháng 3 năm 2026, tập trung vào việc tối ưu hóa mã harness thông qua các kỹ thuật tìm kiếm agentic. Trong khi Meta-Harness xem harness như mã cần được cải thiện thông qua tìm kiếm, EvoHarness-RL xem toàn bộ lớp điều phối như một thứ mà mô hình có thể tự học cách xây dựng và tinh chỉnh.
Bài báo cũng báo cáo những cải tiến so với các khung agent hiện có như SkillOS và SkillRL, đặc biệt trên các tác vụ chưa từng thấy. Khoảng cách giữa hiệu suất trên các môi trường quen thuộc và mới lạ khoảng 10 điểm phần trăm đối với EvoHarness-RL, so với mức giảm lớn hơn nhiều đối với các phương pháp cạnh tranh.
Điều này có nghĩa gì đối với việc triển khai AI doanh nghiệp
Tỷ lệ thành công tăng từ khoảng 48% lên 97% trong các môi trường kiểm soát không phải là sự cải thiện nhỏ. Tỷ lệ khái quát hóa 86,6% cũng quan trọng, vì các nhiệm vụ doanh nghiệp trong thế giới thực hiếm khi giống hệt dữ liệu huấn luyện.
Việc tối ưu hóa tiết kiệm chi phí được tích hợp vào giai đoạn huấn luyện GRPO cũng giải quyết một mối quan tâm thực tế. Các lời gọi harness bên ngoài không miễn phí. Chúng tiêu tốn tài nguyên tính toán và làm tăng độ trễ. Bằng cách huấn luyện tác nhân để giảm thiểu các lời gọi không cần thiết thông qua annealing harness, khung làm việc trở nên hiệu quả hơn theo thời gian mà không làm giảm độ chính xác.