Pada 7 November, Microsoft merilis whitepaper teknis tentang sistem eksekusi Agent, yang mencakup serangkaian hasil pengujian yang agak mengejutkan: dengan menggunakan Claude Opus 4.8 yang sama, namun hanya mengganti Harness di balik Copilot Studio, tingkat keberhasilan tugas kompleks meningkat sebesar 22,1 poin persentase. Sistem baru hampir menggandakan jumlah panggilan model per tugas, namun konsumsi Token masukan yang disetarakan dapat berkurang sebesar 21%.
Sepuluh hari lalu, Microsoft baru saja mengumumkan peluncuran Copilot Harness yang terpadu ke berbagai produknya, serta menawarkan layanan terkelola melalui platform cloud kepada pengembang.
Pada 5 November, Moonshot baru saja meluncurkan Kimi Hosted Agents, secara resmi mengusung Harness as a Service. Pada Agustus, DeepSeek melepaskan Harness miliknya secara open-source; OpenAI dan Anthropic bahkan lebih awal telah mengubah sistem internal mereka menjadi layanan yang dapat dipanggil oleh pengembang.
Sistem di balik model besar itu mulai menjadi sosok kunci di mata perusahaan model.
Gambar dihasilkan oleh AI
01 Buru Kesempatan Harness
Harness dapat dipahami sebagai sistem runtime Agent yang dibangun di sekitar model besar. Sistem ini memungkinkan model untuk menggunakan alat eksternal, menjalankan tugas multi-langkah secara berkelanjutan, dan menyesuaikan tindakan selanjutnya berdasarkan hasil eksekusi. Untuk Agent yang memerlukan waktu running lama, Harness juga bertanggung jawab menyimpan status tugas, sehingga pekerjaan dapat dilanjutkan setelah terputus.
Ini berada pada tingkat yang berbeda dibandingkan aplikasi AI. Misalnya, produk seperti Claude Code dan WorkBuddy secara langsung berfokus pada pengguna, sementara Harness di tingkat bawah dapat digunakan ulang oleh berbagai aplikasi atau disediakan sebagai layanan mandiri bagi pengembang. Seiring dengan semakin kompleksnya tugas yang diemban oleh Agent, Harness secara bertahap menjadi faktor penting yang memengaruhi keberhasilan tugas, efisiensi eksekusi, dan biaya operasional.
Anthropic adalah salah satu perusahaan model yang awal berinvestasi dalam pengembangan Harness, awalnya untuk menyelesaikan masalah yang dihadapi Claude Code dalam tugas pemrograman jangka panjang.
Pada akhir 2025, Anthropic menemukan bahwa ketika jendela konteks Claude habis, percakapan baru sering kali tidak dapat melanjutkan pekerjaan sebelumnya. Para insinyur kemudian meningkatkan Harness di balik Claude Code, sehingga Agent menyimpan kemajuan sebelum akhir setiap tahap, lalu membaca catatan tersebut pada percakapan berikutnya untuk melanjutkan tugas yang belum selesai. Dengan cara ini, bahkan jika sesi model berakhir, tugas pemrograman secara keseluruhan tetap dapat berlanjut.
Pada April tahun ini, Anthropic meluncurkan Managed Agents lebih lanjut, menyediakan kemampuan menjalankan Agent sebagai layanan berbasis cloud bagi para pengembang. Untuk memungkinkan perusahaan menjalankan Agent secara jangka panjang dan stabil, Anthropic juga menyesuaikan arsitektur dasarnya: Harness bertanggung jawab untuk mendorong eksekusi tugas, riwayat dapat disimpan secara terpisah, dan sandbox tempat program AI berjalan juga dapat diganti kapan saja. Bahkan jika sandbox mengalami kegagalan, Agent dapat memulihkan pekerjaan sebelumnya.
Dari sistem internal Claude Code hingga layanan terkelola yang ditujukan bagi pengembang eksternal, Anthropic mengubah kemampuan harness yang telah dikumpulkan selama bertahun-tahun menjadi produk independen.
OpenAI juga memilih untuk membuka Harness di balik Codex kepada lebih banyak pengembang. Pada Februari tahun ini, OpenAI mengungkap bahwa versi web, baris perintah, dan plugin IDE Codex sebenarnya menggunakan sistem agen yang sama. Pada Agustus, Codex lebih lanjut diposisikan sebagai platform Harness terbuka yang memungkinkan aplikasi pihak ketiga terhubung langsung. API Agents yang diluncurkan pada September dikelola dan dipelihara oleh OpenAI, memungkinkan pengembang untuk terhubung langsung ke lingkungan eksekusi agen.
Rute ini memungkinkan OpenAI untuk secara langsung melayani pengguna melalui Codex, sekaligus menyediakan kemampuan eksekusi dasar kepada perusahaan perangkat lunak lainnya. Pengembang dapat mempertahankan antarmuka produk dan alur bisnis mereka sendiri, sementara Codex menangani tugas-tugas spesifik di belakang layar.
DeepSeek membuka seluruh kode kerangka Harness di bawah lisensi MIT pada 13 Agustus, dengan mengusulkan konsep "Everything is a Plugin", yang hampir memecah seluruh sistem running Agent menjadi plugin yang dapat dikombinasikan secara bebas. Pengembang tidak hanya dapat mengganti model dan alat eksternal, tetapi juga memodifikasi cara Agent memanggil model dan menjalankan tugas, bahkan memungkinkan Agent untuk menulis dan menginstal plugin baru sendiri.
Arsitektur berbasis Cordis ini bertujuan agar pengembang tidak perlu membangun sistem dari awal, tetapi dapat mengembangkan berbagai jenis Agent sesuai kebutuhan mereka.
5 November, Kimi mengumumkan resmi bahwa Hosted Agents menyediakan lingkungan cloud 24/7, di mana perusahaan dapat memasukkan Agent ke dalam sistem internal atau menanamkannya ke dalam produk penjualan luar, serta secara jelas menyebutkan Harness as a service.
02 Evolusi Harness
Sebenarnya, popularitas Harness bukan dimulai oleh perusahaan model.
Pada awal tahun ini, popularitas OpenClaw telah menunjukkan kepada industri bahwa sebuah perusahaan tanpa model dasar juga dapat menarik banyak pengguna melalui sistem operasi Agent. Pada Februari, OpenAI merekrut pendiri OpenClaw, Peter Steinberger, untuk berpartisipasi dalam pengembangan Agent pribadi generasi berikutnya.
Selanjutnya, Nous Research meluncurkan Hermes Agent, mencoba memungkinkan Agent menyimpan pengalaman yang dikumpulkan selama pekerjaan sebagai Skills yang dapat digunakan kembali, serta terus meningkatkan diri dalam tugas-tugas berikutnya.
Pada akhir Maret, institusi seperti Stanford University mengusulkan Meta-Harness, yang memungkinkan AI untuk secara langsung memodifikasi kode Harness berdasarkan catatan kegagalan, lalu memverifikasi efektivitasnya melalui pengujian. Dalam eksperimen klasifikasi teks, akurasi meningkat sebesar 7,7%, dan konsumsi Token konteks berkurang menjadi seperempat dari semula.
Mengapa eksplorasi ini layak untuk diinvestasikan oleh perusahaan model? Pada Oktober, Nanyang Technological University di Singapura menguji 66 model dengan Harness dan menemukan bahwa mengganti Harness bahkan dapat mengubah peringkat kinerja antar model.
FrontierHarness Eval juga menemukan bahwa, untuk Kimi K3 yang sama, tingkat keberhasilan tugas menggunakan Codex adalah 66,7%, menggunakan DeepSeek Harness Creator adalah 63,3%, dan menggunakan Kimi Code adalah 56,7%.
Bagi perusahaan model dasar, meningkatkan kinerja model selain dengan memperbaiki model itu sendiri, semakin bergantung pada desain dan optimasi Harness.
Para peneliti juga sedang mencoba menerapkan pengalaman yang dikumpulkan oleh Harness dalam pelatihan model. Co-Harness yang diusulkan pada Juli memperbaiki Harness melalui catatan kegagalan, lalu menggunakan data eksekusi yang dioptimalkan untuk melatih model. HarnessFlow yang diumumkan pada November berusaha secara otomatis mencari desain Harness yang lebih baik, meningkatkan skor rata-rata sebesar 10,89 poin persentase pada enam jenis tugas.
Namun, optimasi otomatis juga memiliki risiko. Sebuah penelitian pada awal November menemukan bahwa dalam eksperimen tertentu, setelah Harness dioptimalkan untuk tugas baru, kinerjanya di SWE-bench turun dari 94% menjadi 32%. Peningkatan model juga dapat membuat desain yang sebelumnya efektif menjadi tidak berfungsi lagi.
Ini berarti bahwa akumulasi teknologi Harness sulit untuk diselesaikan sekali dan untuk selamanya. Bagaimana menjaga stabilitas berbagai tugas dalam perbaikan berkelanjutan masih tetap menjadi masalah yang belum terpecahkan.
Beberapa pihak industri menyatakan bahwa ini juga merupakan tantangan besar dalam menerapkan model open-source. Oleh karena itu, perusahaan model telah mulai menjual layanan Harness. Kerangka kerja open-source dapat diperoleh secara gratis, tetapi perusahaan tetap harus menanggung biaya deploy dan pemeliharaan untuk menjalankan Agent secara stabil dalam jangka panjang. Perusahaan seperti Kimi dan Anthropic melihat peluang untuk mengambil alih pekerjaan ini, mengubah Harness menjadi bisnis mandiri, tetapi pendekatan setiap perusahaan sangat berbeda.
Nilai tersembunyi dari 03 Harness
Harness mulai menjadi layanan yang dapat dikenai biaya terpisah, tetapi daftar harga saat ini menunjukkan bahwa inferensi model masih menjadi sumber pendapatan utama.
Anthropic menagih $0,08 per jam sesi aktif untuk Managed Agents, dengan biaya token terpisah. Berdasarkan contoh tugas pemrograman satu jam yang diumumkan resmi, total biaya mencapai $0,58, di mana biaya pengelolaan hanya menyumbang sekitar 14%.
Biaya Kimi terdiri dari token model, runtime sandbox, dan plugin berbayar. Untuk satu tugas analisis hukum investasi yang diumumkan, perkiraan biayanya sekitar 30 yuan, dengan biaya sandbox kurang dari 0,1 yuan. OpenAI tidak memungut biaya layanan tambahan selama masa uji coba Agents API, dan hanya mengenakan biaya berdasarkan penggunaan model dan alat. DeepSeek telah mengopen-source Harness dengan lisensi MIT dan tidak memiliki logika biaya langsung.
Dengan demikian, pendapatan langsung yang diperoleh perusahaan model saat ini dari harness mungkin sangat kecil.
Lalu, mengapa masih perlu mengalokasikan sumber daya pengembangan yang besar?
Salah satu alasan penting adalah bahwa setelah perusahaan benar-benar menerapkan Agent, kebutuhan akan Harness mungkin lebih stabil daripada kebutuhan akan model tertentu.
Perusahaan jasa hukum AS, ABC Legal, awalnya meng部署 Agent di komputer karyawan dan menjalankannya melalui tugas terjadwal. Seiring perluasan penggunaan, CTO Brandon Fuller mulai mencari platform yang dapat mengelola Agent-agent ini secara terpusat. Ia membandingkan beberapa solusi dan akhirnya memilih Managed Agents dari Anthropic, karena perusahaan tidak ingin terus memelihara lingkungan operasional yang terpisah-pisah.
Menurut Anthropic, ABC Legal telah meluncurkan lebih dari 50 Agent ke produksi dalam satu bulan, dengan sekitar 310 karyawan menggunakan Claude secara harian. Karyawan bahkan tidak perlu memiliki pengetahuan pengembangan perangkat lunak untuk membuat Agent baru melalui konfigurasi.
Ini menunjukkan bahwa daya tarik Harness yang di-host berasal dari kebutuhan bisnis nyata. Daripada mengembangkan dan memelihara sistem dari awal, perusahaan lebih suka membeli layanan siap pakai dan mengalihkan sumber daya teknis mereka ke bisnis inti mereka.
Namun, perusahaan tidak tentu bersedia terikat dengan satu perusahaan model.
Pada Agustus tahun ini, VentureBeat mengumumkan hasil survei terhadap 107 perusahaan. 85% perusahaan yang disurvei menggunakan dua platform or lebih untuk orkestrasi Agent. Dalam memilih platform, 29% perusahaan paling mengutamakan fleksibilitas model dan alat, hanya 10% yang mengutamakan adaptasi asli dengan model unggulan tertentu. Meskipun sampel cenderung ke perusahaan teknologi besar, hal ini sudah mencerminkan kecenderungan pembelian: pelanggan menginginkan kebebasan untuk mengganti model.
Ini secara tepat menyediakan logika bisnis alternatif untuk persaingan Harness. Jika perusahaan bersedia menggunakan satu sistem operasi dalam jangka panjang, penyedia meskipun tidak dapat mendominasi panggilan model, tetap dapat terus memperoleh pendapatan dari layanan hosting, pemeliharaan, dan pengembangan perusahaan, serta membangun hubungan kerja yang lebih stabil dengan pelanggan.
Dengan demikian, Harness dapat mengakses proses pelaksanaan pekerjaan nyata perusahaan. Dibandingkan dengan API model semata, Harness dapat merekam jejak pekerjaan dari awal hingga selesai, termasuk pemanggilan model, eksekusi alat, upaya ulang saat gagal, serta hasil akhir. Rekaman ini tidak hanya membantu perusahaan dalam mendiagnosis gangguan, tetapi juga memberikan umpan balik berharga bagi pengembangan model.
Jika perusahaan model dapat terus memperoleh umpan balik tugas nyata yang telah diverifikasi, mereka memiliki peluang untuk lebih cepat mengidentifikasi masalah model di lingkungan produksi. Namun, keunggulan ini juga akan dibatasi secara jelas oleh hak data.
Ini juga menimbulkan pertanyaan baru bagi perusahaan model: jika perusahaan dapat dengan bebas mengganti model dasar sekaligus tetap mempertahankan kendali atas data mereka, seberapa besar keunggulan jangka panjang yang masih dapat dibangun oleh Harness?
Bagi perusahaan model, Harness mungkin membawa nilai yang lebih jangka panjang daripada biaya langsung. Ketika perusahaan semakin banyak menyerahkan pekerjaan kepada Agent, siapa pun yang menyediakan sistem operasi yang andal berpeluang memengaruhi pemilihan model serta bagaimana AI terlibat dalam bisnis nyata.
Sebuah kata yang familiar dan klasik: pintu masuk.
Namun, kata yang telah tertanam dalam era internet ini selalu memicu saraf sensitif persaingan di era AI. Sekarang, Harness sebagian besar memikul harapan dan imajinasi ini.
Twitter: https://twitter.com/BitpushNewsCN
Grup diskusi TG BitPush: https://t.me/BitPushCommunity
Langganan TG BitPush: https://t.me/bitpush