Sabihin ng lahat na ang Claude Code ay nagwawala ng Token, gaano karami ang pagkawala? Sa huli, may nakalkula na ng eksaktong bilang.
Mayroong isang interesanteng eksperimentong paghahambing noong nakaraan, mula sa komunidad ng Composio. Ginamit nila ang parehong modelo Kimi K3, ilagay sa tatlong magkakaibang agent framework (harness) ——Claude Code, Hermes, at Kimi Code—— Sinubukan ang 28 na ganap na magkakaparehong gawain.
Result, ang成功率 ng tatlong harness ay halos pareho: Kimi Ang Code ay may 22 na tagumpay sa loob ng 28, ang Hermes ay 21, at ang Claude Code ay 20. Ang pagkakaiba ay hindi malaki.
Ang tunay na nagpapalaki sa pagkakaiba ay ang paggamit ng token. Sa iisang gawain, ang paggamit ng token ay maaaring magkaiba ng hanggang 30 beses depende sa ginamit na harness!
Sa median, Kimi Ang code ay gumagamit ng humigit-kumulang 61,000 na token, ang Hermes ay humigit-kumulang 67,000, habang ang Claude Code ay tumalon agad sa 340,000, halos Kimi 6 beses ang code.
I-click Kimi K3 ay naka-base sa presyo ng $3 bawat milyong input token (sa loob ng agent workflow, ang input token ay karaniwang nagsasagawa ng halos 95%), ang average na gastos bawat task ay: Kimi Ang code ay $0.22, ang Hermes ay $0.28, habang ang Claude Code ay umabot na sa $2. Malinaw ang pagkakaiba.
Magkaiba rin ang bilis. Ang median na oras, pinakamabilis ang Hermes, 179 segundo; Kimi Code 297 segundo; Claude Code 348 segundo.
Kaya ang pinakamabilis ay ang Hermes, at ang pinakamakaipon ng token ay Kimi Code, hindi sila nagkakasundo.
Kaya nagwakas ang komunidad ng Composio sa isang direkta konklusyon: kung gusto mong bawasan ang gastos ng agent, tingnan muna kung anong harness ang ginagamit, hindi agad palitan ang modelo. Ayon sa kanilang data, ang harness mismo ang nakakapagpapalit ng gastos ng 9 beses, habang ang kakayahan ng modelo ay halos magkakapareho.
Nakapost din si Sebastian Raschka pagkatapos makita ang resultang ito, na nagsasabi na katulad nito ang kanyang nakaraang obserbasyon gamit ang Qwen3.6: ang Claude Code ay karaniwang gumagamit ng 2 hanggang 3 beses na higit pang token kaysa sa iba pang harness, habang may katulad na rate ng tagumpay.
Ibinigay niya ang ilang posibleng dahilan: hindi ba ito maayos na pinag-optimiza? May bug ba? O sinadyang ganyan ang disenyo (dahil maaaring makatulong sa mas mahirap na mga gawain)? Sinabi niya na kailangan niyang magpass ng karagdagang oras para masuri ito nang mabuti.
Sinunod niya ang pagpapaliwanag ng kanyang obserbasyon habang isinusulat niya ang artikulo tungkol sa local coding agent noong nakaraang buwan. Noong panahong iyon, sinuri niya kung bakit gumagamit ang Claude Code ng mas maraming token at natuklasan na ang pagkakaiba ay nasa input token, hindi sa output token. Ibig sabihin, hindi naglalabas ang Claude ng dalawang beses na laman. Ang mga log ay nagpapakita na ang harness ng Claude ay paulit-ulit na nagpapakita ng mas maraming konteksto sa modelo sa loob ng maraming interaksyon, kabilang ang mga nakaraang mensahe, pagtawag sa mga tool, output ng mga utos, at nilalaman ng mga file. Bilang halimbawa, isang pagkakataon ay nagamit ng Claude ng halos 578,000 input token, ngunit ang output ay lamang halos 4,500 token, na nangyari sa loob ng 25 round. Kaya mas malamang na ang paliwanag ay ang harness ng Claude ay nakakalap o nakakapag-include ng mas malaking kasaysayan sa prompt side habang tumatakbo ang multi-step agent.
Ang mga resulta ng pagsubok ay tila nagpapakita ng isang hindi maaaring kalimutan na trend: ang kahalagahan ng harness ay hindi na mas mababa kaysa sa modelo mismo.
Isang kamakailang papel (mula sa Writer, isang kumpanya na nagbuo ng enterprise-grade AI Agent platform) ay sistematikong ipinakita ito: ito ay nagpatunay gamit ang mga eksperimento na may control variables na ang pagbabago ng isang harness layer ay mas epektibo sa pagbawas ng gastos kaysa sa pagbabago ng model, at lahat ng mga model ay nakikinabang.
Sa partikular, isinagawa nila ang isang mahigpit na eksperimento na may "controlled variables": sa pamamagitan ng pagpapanatili ng 22 mga enterprise task at 6 mga base model (Claude Sonnet 4.6, Gemini 3.1, Gemini Flash 3.5, Qwen 3.6, GLM 5.1, Palmyra X6) na hindi nagbabago, nagpalit lamang sila ng orchestration layer—ginawa nilang palitan ang tradisyonal na production-grade agent loop sa Harness ng Writer.
Ang mga resulta ng eksperimento ay nagpapakita: bumaba ang average na gastos sa bawat gawain ng 41% (mula sa $0.21 patungo sa $0.12), nagkabawas ang median na delay ng 44% (mula sa 48 segundo patungo sa 27 segundo), at bumaba ang paggamit ng Token ng 38% (mula sa 14.2k patungo sa 8.8k), habang ang kalidad ng pagkumpleto ng gawain ay nanatiling pareho (0.78 patungo sa 0.81, na maaaring ituring na walang makabuluhang pagkakaiba dahil sa maliit na sample size). Sa kahusayan sa halaga, tumataas ang pagpapabuti sa kalidad bawat dolyar ng gastos ng 82%, samantalang ang bilang ng gawain na natatapos bawat milyong Token ay tumalon mula sa 54.9 patungo sa 92.0.
Kaya, pagkatapos maging “水电煤” ang model, ang harness ang iyon na nagdedesisyon sa iyong bill sa kuryente? Sa ibang salita: dati ay sinasabi ng ilan na “model ay produkto”, ngayon ay “harness ang produkto”?
Since harness is so important, shouldn't the subsequent accounting be more detailed?
Ipinahihiwatig ng ilan na kailangan nating idagdag ang “harness tax” sa mga umiiral na benchmark, lalo na sa pag-uugnay na ang pagtawag ng tool at ang pag-uulit ay maaaring magpapakilala sa isang loop na hindi linyar ang pagdami.
Sa ibang salita, sa unang bahagi ng hinaharap na kompetisyon ng agent, ang paghahambing ay kung "kaya ba gawin", habang sa ikalawang bahagi, ang paghahambing ay kung "sino ang mas mura sa paggawa ng parehong bagay"—at ang lihim ng pag-save ng pera ay hindi nasa model, kundi sa harness.
Sa pagpapatakbo ng Agent, mayroon ka ba nang katulad na karanasan? Mag-usap sa comments section.
Ang artikulong ito ay galing sa WeChat public account na “Machine Heart” (ID: almosthuman2014), may-akda: Machine Heart