Penulis: Tencent Tech

Pada 7 November, Microsoft merilis whitepaper teknis tentang sistem eksekusi Agent, yang mencakup serangkaian hasil pengujian yang agak mengejutkan: dengan menggunakan Claude Opus 4.8 yang sama, tetapi hanya mengganti Harness di belakang Copilot Studio, tingkat keberhasilan tugas kompleks meningkat sebesar 22,1 poin persentase. Sistem baru hampir menggandakan jumlah panggilan model per tugas, namun konsumsi Token masukan yang disetarakan dapat berkurang sebesar 21%.
Sepuluh hari lalu, Microsoft baru saja mengumumkan peluncuran Copilot Harness yang terpadu ke berbagai produknya, serta menawarkan layanan terkelola melalui platform cloud kepada pengembang.
Pada 5 November, Moonshot baru saja meluncurkan Kimi Hosted Agents, secara resmi mengusung Harness as a Service. Pada Agustus, DeepSeek melepaskan Harness miliknya secara open source; OpenAI dan Anthropic bahkan lebih awal telah mengubah sistem internal mereka menjadi layanan yang dapat dipanggil oleh pengembang.
Sistem di balik model besar itu mulai menjadi sosok kunci di mata perusahaan model.
Bertarung untuk Harness
Harness dapat dipahami sebagai sistem runtime Agent yang dibangun di sekitar model besar. Ini memungkinkan model untuk menggunakan alat eksternal, menjalankan tugas multi-langkah secara berkelanjutan, dan menyesuaikan tindakan selanjutnya berdasarkan hasil eksekusi. Untuk Agent yang memerlukan waktu eksekusi lama, Harness juga bertanggung jawab menyimpan status tugas, sehingga pekerjaan dapat dilanjutkan setelah terputus.
Ini berada pada tingkat yang berbeda dibandingkan aplikasi AI. Misalnya, produk seperti Claude Code dan WorkBuddy langsung berfokus pada pengguna, sementara Harness di tingkat bawah dapat digunakan ulang oleh berbagai aplikasi atau disediakan sebagai layanan mandiri bagi pengembang. Seiring dengan meningkatnya kompleksitas tugas yang diemban oleh Agent, Harness secara bertahap menjadi faktor penting yang memengaruhi keberhasilan tugas, efisiensi eksekusi, dan biaya operasional.
Anthropic adalah salah satu perusahaan model yang lebih awal berinvestasi dalam pengembangan Harness, awalnya untuk menyelesaikan masalah yang dihadapi Claude Code dalam tugas pemrograman jangka panjang.
Pada akhir 2025, Anthropic menemukan bahwa ketika jendela konteks Claude habis, percakapan baru sering kali tidak dapat melanjutkan pekerjaan sebelumnya. Para insinyur kemudian memperbaiki Harness di balik Claude Code, sehingga Agent menyimpan kemajuan sebelum akhir setiap tahap, lalu membaca catatan tersebut pada percakapan berikutnya untuk melanjutkan tugas yang belum selesai. Dengan cara ini, bahkan jika sesi model berakhir, tugas pemrograman secara keseluruhan tetap dapat berlanjut.
Pada April tahun ini, Anthropic meluncurkan Managed Agents lebih lanjut, menyediakan kemampuan menjalankan Agent sebagai layanan berbasis cloud bagi para pengembang. Untuk memungkinkan perusahaan menjalankan Agent secara jangka panjang dan stabil, Anthropic juga menyesuaikan arsitektur dasarnya: Harness bertanggung jawab untuk mendorong eksekusi tugas, riwayat dapat disimpan secara terpisah, dan sandbox program AI juga dapat diganti kapan saja. Bahkan jika sandbox mengalami kegagalan, Agent dapat memulihkan pekerjaan sebelumnya.
Dari sistem operasi internal Claude Code hingga layanan hosting yang ditujukan bagi pengembang eksternal, Anthropic mengubah kemampuan harness yang telah dikumpulkan selama bertahun-tahun menjadi produk independen.
OpenAI juga memilih untuk membuka Harness di balik Codex kepada lebih banyak pengembang. Pada Februari tahun ini, OpenAI mengungkap bahwa versi web, baris perintah, dan plugin IDE Codex sebenarnya menggunakan sistem agen yang sama. Pada Agustus, Codex lebih lanjut diposisikan sebagai platform Harness terbuka yang memungkinkan aplikasi pihak ketiga terhubung langsung. Pada September, Agents API yang diluncurkan dijalankan dan dipelihara oleh OpenAI, memungkinkan pengembang untuk terhubung langsung ke lingkungan agen.
Rute ini memungkinkan OpenAI untuk secara langsung melayani pengguna melalui Codex, sekaligus menyediakan kemampuan eksekusi dasar kepada perusahaan perangkat lunak lainnya. Pengembang dapat mempertahankan antarmuka produk dan alur bisnis mereka sendiri, sementara Codex menangani tugas-tugas spesifik di belakang layar.
DeepSeek membuka seluruh kode kerangka Harness pada 13 Agustus dengan lisensi MIT, yang mengusung konsep "Everything is a Plugin", hampir memecah seluruh sistem running Agent menjadi plugin yang dapat dikombinasikan secara bebas. Pengembang tidak hanya dapat mengganti model dan alat eksternal, tetapi juga memodifikasi cara Agent memanggil model dan menjalankan tugas, bahkan memungkinkan Agent untuk menulis dan menginstal plugin baru sendiri.
Arsitektur berbasis Cordis ini bertujuan agar pengembang tidak perlu membangun sistem dari awal, tetapi dapat mengembangkan berbagai jenis Agent sesuai kebutuhan mereka.
Pada 5 November, Kimi secara resmi mengumumkan Hosted Agents yang menyediakan lingkungan cloud 24/7, memungkinkan perusahaan untuk menempatkan Agent ke dalam sistem internal atau menanamkannya ke dalam produk penjualan eksternal, serta secara jelas menyatakan Harness as a service.
Harness berevolusi
Sebenarnya, popularitas Harness bukan dimulai oleh perusahaan model.
Pada awal tahun ini, popularitas OpenClaw telah menunjukkan kepada industri bahwa sebuah perusahaan tanpa model dasar juga dapat menarik banyak pengguna melalui sistem agen. Pada Februari, OpenAI merekrut pendiri OpenClaw, Peter Steinberger, untuk berpartisipasi dalam pengembangan agen pribadi generasi berikutnya.
Selanjutnya, Nous Research meluncurkan Hermes Agent, mencoba memungkinkan Agent menyimpan pengalaman yang dikumpulkan selama pekerjaan sebagai Skills yang dapat digunakan kembali dan terus meningkatkan diri dalam tugas-tugas berikutnya.
Pada akhir Maret, institusi seperti Stanford University mengusulkan Meta-Harness, yang memungkinkan AI untuk secara langsung memodifikasi kode Harness berdasarkan catatan kegagalan dan memverifikasi efeknya melalui pengujian. Dalam eksperimen klasifikasi teks, akurasi meningkat 7,7% dan konsumsi Token konteks berkurang menjadi seperempat dari semula.
Mengapa eksplorasi ini layak mendapat investasi dari perusahaan model? Pada Oktober, Nanyang Technological University di Singapura menguji 66 model dengan Harness dan menemukan bahwa mengganti Harness bahkan dapat mengubah peringkat kinerja di antara model-model tersebut.
FrontierHarness Eval juga menemukan bahwa untuk Kimi K3 yang sama, tingkat keberhasilan tugas menggunakan Codex adalah 66,7%, menggunakan DeepSeek Harness Creator adalah 63,3%, dan menggunakan Kimi Code adalah 56,7%.
Bagi perusahaan model dasar, meningkatkan kinerja model selain dengan memperbaiki model itu sendiri, semakin bergantung pada desain dan optimasi Harness.

Grafik: Perbandingan tingkat keberhasilan tugas dan biaya untuk Kimi K3 yang sama di berbagai konfigurasi Harness
Para peneliti juga sedang mencoba menerapkan pengalaman yang dikumpulkan dari Harness ke dalam pelatihan model. Co-Harness yang diusulkan pada Juli memperbaiki Harness melalui catatan kegagalan, lalu menggunakan data eksekusi yang dioptimalkan untuk melatih model. HarnessFlow yang diumumkan pada November berusaha secara otomatis mencari desain Harness yang lebih baik, meningkatkan skor rata-rata sebesar 10,89 poin persentase pada enam kategori tugas.

Grafik: Garis waktu evolusi teknologi Harness (Akhir 2025 hingga November 2026)
Namun, optimasi otomatis juga memiliki risiko. Sebuah penelitian pada awal November menemukan bahwa dalam eksperimen tertentu, setelah dioptimasi untuk tugas baru, kinerja Harness di SWE-bench turun dari 94% menjadi 32%. Peningkatan model juga dapat membuat desain yang sebelumnya efektif menjadi tidak berfungsi lagi.
Ini berarti bahwa akumulasi teknologi Harness sulit untuk diselesaikan sekali dan untuk selamanya. Bagaimana menjaga stabilitas berbagai tugas dalam perbaikan berkelanjutan masih tetap menjadi masalah yang belum terpecahkan.
Beberapa pihak industri menyatakan bahwa ini juga merupakan tantangan besar dalam menerapkan model open-source. Oleh karena itu, perusahaan model telah mulai menjual layanan Harness. Kerangka kerja open-source dapat diperoleh secara gratis, tetapi perusahaan tetap harus menanggung biaya penerapan dan pemeliharaan untuk menjalankan Agent secara stabil dalam jangka panjang. Perusahaan seperti Kimi dan Anthropic melihat peluang untuk mengambil alih pekerjaan ini, mengubah Harness menjadi bisnis mandiri, tetapi pendekatan setiap perusahaan sangat berbeda.
Nilai tersembunyi dari Harness
Harness mulai menjadi layanan yang dapat dipungut biaya secara terpisah, tetapi daftar harga saat ini menunjukkan bahwa inferensi model masih menjadi sumber pendapatan utama.
Anthropic menagih $0,08 per jam sesi aktif untuk Managed Agents, dengan biaya token terpisah. Berdasarkan contoh tugas pemrograman satu jam yang diumumkan resmi, total biaya mencapai $0,58, di mana biaya pelaksanaan terkelola hanya menyumbang sekitar 14%.
Biaya Kimi terdiri dari token model, running sandbox, dan plugin berbayar. Untuk satu tugas analisis hukum investasi yang diumumkan, perkiraan biayanya sekitar 30 yuan, dengan biaya sandbox kurang dari 0,1 yuan. OpenAI tidak memungut biaya layanan tambahan selama periode uji coba Agents API, dan hanya mengenakan biaya berdasarkan penggunaan model dan alat. DeepSeek telah mengopen-source Harness dengan lisensi MIT dan tidak memiliki logika biaya langsung.

Grafik: Perbandingan cara pengenaan biaya dan posisi bisnis enam perusahaan model Harness
Dengan demikian, pendapatan langsung yang diperoleh perusahaan model saat ini dari harness mungkin sangat kecil.
Lalu, mengapa masih perlu mengalokasikan sumber daya pengembangan yang besar?
Salah satu alasan penting adalah bahwa setelah perusahaan benar-benar menerapkan Agent, kebutuhan terhadap Harness mungkin lebih stabil dibandingkan terhadap model tertentu.
Perusahaan layanan hukum AS, ABC Legal, awalnya mendeploy Agent di komputer karyawan melalui tugas terjadwal. Seiring perluasan penggunaan, CTO Brandon Fuller mulai mencari platform yang dapat mengelola Agent-agent ini secara terpusat. Ia membandingkan beberapa solusi dan akhirnya memilih Managed Agents dari Anthropic, karena perusahaan tidak ingin terus memelihara lingkungan operasional yang terpisah-pisah.
Menurut Anthropic, ABC Legal telah meluncurkan lebih dari 50 Agent ke produksi dalam satu bulan, dengan sekitar 310 karyawan menggunakan Claude secara harian. Karyawan bahkan tidak perlu memiliki pengetahuan pengembangan perangkat lunak untuk membuat Agent baru melalui konfigurasi.
Ini menunjukkan bahwa daya tarik hosting Harness berasal dari kebutuhan bisnis nyata. Alih-alih mengembangkan dan memelihara sistem dari nol, perusahaan lebih suka membeli layanan siap pakai dan mengalihkan sumber daya teknis mereka ke bisnis inti mereka.
Namun, perusahaan tidak tentu bersedia terikat dengan satu perusahaan model karena hal ini.
Pada Agustus tahun ini, VentureBeat mengumumkan hasil survei terhadap 107 perusahaan. 85% perusahaan yang disurvei menggunakan dua atau lebih platform orkestrasi Agent secara bersamaan. Dalam memilih platform, 29% perusahaan paling mengutamakan fleksibilitas model dan alat, hanya 10% yang mengutamakan adaptasi native dengan model unggulan tertentu. Meskipun sampel cenderung ke perusahaan teknologi besar, hal ini sudah mencerminkan kecenderungan pembelian: pelanggan menginginkan kebebasan untuk mengganti model.
Ini secara tepat menyediakan logika bisnis alternatif untuk persaingan Harness. Jika perusahaan bersedia menggunakan satu set sistem operasi dalam jangka panjang, penyedia meskipun tidak dapat monopoli panggilan model, tetap dapat terus memperoleh pendapatan dari layanan hosting, pemeliharaan, dan pengembangan perusahaan, serta membangun hubungan kerja yang lebih stabil dengan pelanggan.
Dengan demikian, Harness dapat mengakses proses pelaksanaan pekerjaan nyata perusahaan. Dibandingkan dengan API model semata, Harness dapat merekam jejak pekerjaan dari awal hingga selesai, termasuk pemanggilan model, eksekusi alat, upaya ulang saat gagal, dan hasil akhir. Rekaman ini tidak hanya membantu perusahaan dalam mendiagnosis gangguan, tetapi juga memberikan umpan balik berharga bagi pengembangan model.

Grafik: Data eksekusi tugas perusahaan empat kategori yang direkam oleh Harness
Jika perusahaan model dapat terus memperoleh umpan balik tugas nyata yang telah diverifikasi, mereka memiliki peluang untuk lebih cepat mengidentifikasi masalah model di lingkungan produksi. Namun, keunggulan ini juga akan dibatasi secara jelas oleh hak data.
Ini juga menimbulkan pertanyaan baru bagi perusahaan model: jika perusahaan dapat dengan bebas mengganti model dasar sekaligus tetap mempertahankan kendali atas data mereka, seberapa besar keunggulan jangka panjang yang masih dapat dibangun oleh Harness?
Bagi perusahaan model, Harness dapat membawa nilai yang lebih jangka panjang daripada biaya langsung. Ketika perusahaan semakin banyak menyerahkan pekerjaan kepada Agent, pihak yang menyediakan sistem operasi yang andal berpeluang memengaruhi pemilihan model serta bagaimana AI terlibat dalam bisnis nyata.
Sebuah kata yang familiar dan klasik: pintu masuk.
Namun, kata yang telah tertanam dalam era internet ini selalu memicu saraf sensitif persaingan di era AI. Kini, Harness sebagian memikul harapan dan imajinasi ini.

