Peneliti dari Meta AI dan Universitas Illinois Urbana-Champaign telah menerbitkan makalah baru yang memperkenalkan EvoHarness-RL, lapisan koordinasi yang dapat dilatih yang memungkinkan agen model bahasa besar membuat, mengakses, dan mengelola status eksternal mereka sendiri. Hasilnya: tingkat keberhasilan 96,9% pada benchmark standar, naik dari 47,9% untuk model dasar yang berjalan tanpanya.
Apa yang sebenarnya dilakukan EvoHarness-RL
Agen LLM memiliki jendela konteks terbatas. Ketika sebuah tugas melibatkan banyak langkah, termasuk koneksi API dinamis, log server, subtujuan yang tertunda, dan pemulihan kesalahan, memori internal model tidak cukup. Agen membutuhkan kerangka eksternal untuk melacak apa yang diyakininya tentang dunia, kemajuan apa yang telah dicapai, dan apa yang dipelajari dari kesalahan masa lalu.
Kerangka kerja ini memperkenalkan keadaan eksternal terstruktur yang dibangun di sekitar tiga komponen: Keyakinan, Kemajuan, dan Pengalaman, yang secara kolektif disebut BPE. Keyakinan menangkap pemahaman saat ini agen terhadap lingkungannya. Kemajuan melacak subtujuan yang telah selesai dan yang masih tertunda agar agen tidak melewati langkah-langkah atau melakukan pekerjaan ganda. Pengalaman menyimpan pelajaran dari kesalahan, seperti database yang menolak batch karena batas laju API, sehingga agen dapat menyesuaikan pendekatannya.
Pelatihan berlangsung dalam dua tahap. Pertama, fine-tuning terawasi menggunakan demonstrasi ahli mengajarkan model cara berinteraksi dengan harness. Kemudian, teknik optimasi yang mempertimbangkan biaya yang disebut Group Relative Policy Optimization, atau GRPO, menyempurnakan perilaku agen untuk menyeimbangkan kinerja tugas terhadap biaya komputasi dari panggilan harness.
Para peneliti menguji pendekatan mereka menggunakan model Qwen3-8B di ALFWorld, sebuah tolok ukur untuk AI berwujud yang memerlukan agen untuk menyelesaikan tugas rumah tangga dalam beberapa langkah. Tingkat keberhasilan 96,9% di lingkungan yang sudah dikenal sudah mengesankan, tetapi mungkin yang lebih menggambarkan adalah tingkat keberhasilan 86,6% di lingkungan yang belum pernah dilihat.
Dua perilaku yang tidak diprogram secara eksplisit oleh peneliti
Makalah ini menyoroti dua fenomena muncul yang muncul selama pelatihan, yang keduanya tidak dirancang secara langsung.
Yang pertama adalah “harness annealing.” Seiring waktu, agen mulai menginternalisasi operasi harness rutin, mengurangi seberapa sering ia perlu berkonsultasi dengan keadaan eksternal. Panggilan harness berkurang bukan karena sistem memburuk, tetapi karena model telah menyerap pola-pola tersebut.
Yang kedua adalah “memanfaatkan evolusi.” Saat agen dilatih, ia belajar untuk memadatkan dan merestrukturisasi keadaan eksternalnya menjadi format yang lebih ringkas dan sesuai untuk jenis tugas tertentu. Representasi BPE menjadi lebih ramping dan lebih spesialis tanpa intervensi manusia dalam desainnya.
Membangun dari pekerjaan sebelumnya
EvoHarness-RL membangun di atas Meta-Harness, sebuah proyek sebelumnya dari Maret 2026 yang berfokus pada mengoptimalkan kode harness melalui teknik pencarian agen. Di mana Meta-Harness memperlakukan harness sebagai kode yang perlu diperbaiki melalui pencarian, EvoHarness-RL memperlakukan seluruh lapisan koordinasi sebagai sesuatu yang dapat dipelajari, dibangun, dan disempurnakan oleh model itu sendiri.
Paper tersebut juga melaporkan peningkatan dibandingkan kerangka agen yang ada seperti SkillOS dan SkillRL, terutama pada tugas-tugas yang tidak dikenal. Kesenjangan antara kinerja pada lingkungan yang familiar versus baru sekitar 10 poin persentase untuk EvoHarness-RL, dibandingkan penurunan yang jauh lebih besar pada pendekatan pesaing.
Apa artinya ini bagi penerapan AI perusahaan
Tingkat keberhasilan yang melonjak dari sekitar 48% menjadi 97% dalam lingkungan terkendali bukanlah peningkatan kecil. Tingkat generalisasi 86,6% juga penting, karena tugas perusahaan di dunia nyata jarang terlihat persis seperti data pelatihan.
Optimisasi yang peka biaya yang dibangun dalam tahap pelatihan GRPO juga menangani masalah praktis. Panggilan harness eksternal tidak gratis. Mereka mengonsumsi komputasi dan menambah latensi. Dengan melatih agen untuk meminimalkan panggilan yang tidak perlu melalui annealing harness, kerangka kerja menjadi lebih efisien seiring waktu tanpa mengorbankan akurasi.