Semua orang mengatakan Claude Code boros token, seberapa boros sebenarnya? Akhirnya ada yang menghitung angkanya.
Baru-baru ini ada eksperimen perbandingan yang menarik dari tim Composio. Mereka menggunakan model yang sama Kimi K3, jalankan masing-masing di tiga kerangka agent yang berbeda —— Claude Code, Hermes, dan Kimi Kode—— Telah diuji sebanyak 28 tugas yang sepenuhnya identik.
Hasilnya, tingkat keberhasilan ketiga harness dalam menyelesaikan tugasnya hampir sama: Kimi Code berhasil 22 dari 28, Hermes 21, Claude Code 20. Selisihnya tidak besar.
Yang benar-benar membedakan adalah konsumsi token. Untuk tugas yang sama, penggunaan token bisa berbeda hingga 30 kali lipat tergantung pada harness yang digunakan!
Secara median, Kimi Kode sekitar 61.000 token, Hermes sekitar 67.000, sedangkan Claude Code langsung melonjak ke 340.000, hampir Kimi 6 kali dari Kode.
Tekan Kimi Harga K3 dihitung sebesar 3 dolar per juta token masukan (token masukan dalam alur kerja agen biasanya menyumbang sekitar 95%), biaya rata-rata per tugas adalah: Kimi Kode 0,22 dolar, Hermes 0,28 dolar, sedangkan Claude Code mencapai 2 dolar. Perbedaannya jelas.
Kecepatannya juga berbeda. Waktu rata-rata terpendek adalah Hermes, 179 detik; Kimi Kode 297 detik; Claude Code 348 detik.
Jadi yang paling cepat adalah Hermes, yang paling hemat token adalah Kimi Kode, keduanya tidak tumpang tindih.
Tim Composio menyimpulkan secara langsung: jika Anda ingin mengurangi biaya agen, periksa terlebih dahulu harness yang digunakan, bukan langsung mengganti model. Data mereka menunjukkan bahwa harness saja bisa membedakan biaya hingga 9 kali, sementara kinerja model sebenarnya hampir sama.
Sebastian Raschka juga memposting setelah melihat hasil ini, mengatakan bahwa ini sejalan dengan pengamatan sebelumnya yang dilakukannya dengan Qwen3.6: Claude Code menggunakan jumlah token dua hingga tiga kali lebih banyak daripada banyak harness lainnya, dengan tingkat keberhasilan yang serupa.
Dia mengemukakan beberapa kemungkinan penyebab: apakah belum dioptimalkan? Apakah ada bug? Atau sengaja dirancang seperti ini (karena mungkin bermanfaat pada tugas yang lebih sulit)? Dia menyatakan perlu menghabiskan lebih banyak waktu untuk memeriksa secara teliti.
Selanjutnya ia menambahkan observasi yang ia catat saat menulis artikel tentang agent coding lokal bulan lalu. Saat itu, ia menganalisis mengapa Claude Code menggunakan lebih banyak token, dan menemukan bahwa perbedaan utama terletak pada token input, bukan token output. Artinya, Claude tidak menulis konten sebanyak dua kali lipat. Log menunjukkan bahwa harness Claude secara berulang memasukkan lebih banyak konteks kembali ke model selama interaksi multi-putaran, termasuk pesan sebelumnya, pemanggilan alat, output perintah, dan konten file. Sebagai contoh, dalam satu sesi, Claude menggunakan sekitar 578.000 token input, tetapi hanya menghasilkan sekitar 4.500 token output, melalui 25 putaran. Jadi, penjelasan yang lebih mungkin adalah bahwa harness Claude mengakumulasi atau memperhitungkan riwayat prompt yang lebih besar selama eksekusi agent multi-langkah.
Hasil pengujian ini tampaknya mengungkapkan tren yang tidak bisa diabaikan: pentingnya harness setara dengan model itu sendiri.
Sebuah makalah terbaru (dari Writer, perusahaan yang mengembangkan platform AI Agent berbasis perusahaan) secara sistematis mengungkapkan hal ini: melalui eksperimen variabel terkontrol, terbukti bahwa mengganti lapisan harness lebih efektif dalam mengurangi biaya daripada mengganti model, dan semua model mendapat manfaat.
Secara khusus, mereka melakukan eksperimen "kontrol variabel" yang ketat: dengan 22 tugas perusahaan dan 6 model dasar (Claude Sonnet 4.6, Gemini 3.1, Gemini Flash 3.5, Qwen 3.6, GLM 5.1, Palmyra X6) tetap konstan, mereka hanya mengganti lapisan orkestrasi—mengganti siklus agen produksi tradisional dengan Harness milik Writer sendiri.
Hasil eksperimen menunjukkan: biaya rata-rata per tugas berkurang 41% (dari $0,21 menjadi $0,12), latensi median berkurang 44% (dari 48 detik menjadi 27 detik), konsumsi Token berkurang 38% (dari 14,2k menjadi 8,8k), sementara kualitas penyelesaian tugas tetap stabil (0,78 menjadi 0,81, dianggap tidak signifikan karena sampel kecil). Dalam hal nilai biaya, peningkatan kualitas per dolar mencapai 82%, sementara jumlah tugas yang dapat diselesaikan per juta Token naik dari 54,9 menjadi 92,0.
Jadi, setelah model berubah menjadi "listrik, air, dan gas", apakah harness lah yang menjadi AC yang menentukan tagihan listrik Anda? Dengan kata lain: dulu ada yang mengatakan "model adalah produk", sekarang "harness adalah produk"?
Since harness is so important, shouldn't the subsequent accounting be more detailed?
Seseorang menunjukkan bahwa kita perlu menambahkan item "pajak harness" ke dalam benchmark yang ada. Terutama mengingat bahwa ketika pemanggilan alat dan pengulangan memasuki loop, pajak ini tidak meningkat secara linier.
Dengan kata lain, dalam kompetisi agen masa depan, babak pertama mempertandingkan "apakah bisa dilakukan", sedangkan babak kedua akan mempertandingkan "siapa yang lebih hemat dalam melakukan hal yang sama"—dan rahasia penghematan bukan terletak pada model, melainkan pada harness.
Selama menjalankan Agent, apakah Anda pernah mengalami hal serupa? Silakan diskusikan di kolom komentar.
Artikel ini berasal dari akun WeChat "Machine Heart" (ID: almosthuman2014), penulis: Machine Heart