Noong Nobyembre 7, inilabas ng Microsoft ang isang teknikal na white paper tungkol sa Agent execution system, na naglalaman ng isang set ng mga resulta sa pagsubok na may kaunting pagkakaiba: gamit ang parehong Claude Opus 4.8, ngunit nagpalit lamang ng Harness sa likod ng Copilot Studio, tumataas ang rate ng pagkakamit ng mga kumplikadong gawain ng 22.1 puntos. Ang bago sistema ay halos nag-dobleng bilang ng pagtawag sa model para sa bawat gawain, ngunit nabawasan ang konsumo ng input Token sa pagkakasunod-sunod ng 21%.
Sampung araw na ang nakalipas, ipinahayag ng Microsoft ang pagpapalawak ng isang pinagsamang Copilot Harness sa kanilang maraming produkto at ang pagbebenta ng hosted services sa mga developer sa pamamagitan ng cloud platform.
Noong Nobyembre 5, ang Moonshot ay naglunsad ng Kimi Hosted Agents at opisyal na ipinakilala ang Harness as a Service. Noong Agosto, ang DeepSeek ay inilabas ang sarili nilang Harness; ang OpenAI at Anthropic ay mas maagang gawing serbisyo na maaaring i-call ng mga developer ang kanilang loob na sistema.
Ang "system na nagpapagalaw" sa likod ng malaking modelo ay nagsisimulang maging mahalagang tao sa paningin ng mga kumpanya ng modelo.
Ang larawan ay nilikha ng AI
01 Makisali sa Harness
Ang Harness ay maaaring maunawaan bilang isang sistema para sa pagpapatakbo ng Agent na binubuo sa palibot ng malaking modelo. Ito ay nagpapahintulot sa modelo na gamitin ang mga panlabas na kasangkapan, magpatuloy sa pagpapatupad ng mga marami-lahat na gawain, at i-adyus ang susunod na mga aksyon batay sa mga resulta ng pagpapatupad. Para sa mga Agent na nangangailangan ng mahabang panahon na pagpapatupad, ang Harness ay nagtataglay din ng pag-save ng estado ng gawain upang magpatuloy ang trabaho pagkatapos ng isang pagpapahinto.
Nasa ibang antas ito sa mga AI application. Halimbawa, ang mga produkto tulad ng Claude Code at WorkBuddy ay direktang nakatuon sa mga user, habang ang pahinga na Harness ay maaaring muling gamitin ng iba’t ibang application, o maaari ring ipagkaloob bilang isang independiyenteng serbisyo sa mga developer. Habang lumalala ang mga gawain na tinatanggol ng Agent, ang Harness ay naging mahalagang salik sa pagkakamit ng tagumpay sa gawain, pagiging epektibo sa pagpapatupad, at ang gastos sa pagpapatakbo.
Ang Anthropic ay isa sa mga unaang kompanyang modelong nag-invest sa pagpapalawak ng Harness, na unang ginawa upang lutasin ang mga problema na kinakaharap ni Claude Code sa mahabang pag-program.
Sa dulo ng 2025, natuklasan ng Anthropic na kapag natapos na ang context window ni Claude, madalas ay hindi makapagpagsambit ang bagong pag-uusap sa nakaraang gawain. Kaya ay pinabuti ng mga inhinyero ang Harness sa likod ni Claude Code, upang ipaglaban ng Agent ang progreso bago matapos ang bawat yugto, at basahin muli ang mga rekord sa susunod na pagkakataon upang patuloy ang mga hindi natapos na gawain. Sa ganitong paraan, kahit matapos na ang isang sesyon ng modelo, maaari pa ring patuloy na pagbutihin ang buong programming task.
Noong Abril ng taong ito, idinagdag ng Anthropic ang Managed Agents, na nag-aalok ng kakayahang i-run ang mga Agent bilang isang cloud service para sa mga developer. Upang mapahintulutan ng mga negosyo ang matagal at matatag na pagpapatakbo ng mga Agent, binago rin ng Anthropic ang kanilang pader na arkitektura: ang Harness ang responsable sa pagpapagana ng mga gawain, ang kasaysayan ay maaaring i-save nang hiwalay, at ang sandbox para sa AI program ay maaaring palitan kahit kailan. Kahit magkakaroon ng pagkabigo ang sandbox, maaari pa ring muling makuha ng Agent ang kanilang nakaraang trabaho.
Mula sa loob ng sistema ng pagpapatakbo ng Claude Code hanggang sa mga serbisyo na inilalabas para sa mga developer, ginawa ng Anthropic ang kanilang matagal nang nakumpol na kakayahan sa harness bilang isang hiwalay na produkto.
Pumili rin ang OpenAI na buksan ang Harness sa likod ng Codex sa mas maraming developer. Noong Pebrero ng taong ito, inihayag ng OpenAI na ang web version, command line, at IDE plugin ng Codex ay gumagamit ng iisang sistema ng pagpapatakbo ng Agent. Noong Agosto, pinakilala pa nito ang Codex bilang isang bukas na platform na Harness na nagpapahintulot sa mga third-party app na mag-connect nang direkta. Noong Setyembre, ipinakilala ang Agents API, na pinamamahalaan at pinapanatili ng OpenAI ang sistema, kaya maaaring mag-connect nang direkta ang mga developer sa environment ng pagpapatakbo ng Agent.
Ang ruta na ito ay nagpapahintulot sa OpenAI na direktang maglingkod sa mga user sa pamamagitan ng Codex, at samantala ay magbigay din ng mga pangunahing kakayahan sa pagpapatupad sa iba pang mga kumpanya sa software. Maaaring panatilihin ng mga developer ang kanilang sariling interface ng produkto at proseso ng negosyo, habang ginagawa ng Codex ang mga partikular na gawain sa likod.
Inilabas ng DeepSeek ang buong code ng framework ng Harness sa ilalim ng MIT License noong Agosto 13, at itinataguyod nito ang “Everything is a Plugin,” na naghihiwalay sa buong sistema ng Agent sa mga plugin na maaaring libreng i-combine. Bukod sa pagpalit ng model at panlabas na kasangkapan, maaari rin ng mga developer na baguhin ang paraan kung paano tinatawag ng Agent ang model at isinasagawa ang mga gawain, kahit na pagsusulat at pag-install ng sariling mga plugin ng Agent.
Ang arkitekturang batay sa Cordis na ito ay naglalayong payagan ang mga developer na mag-develop ng iba’t ibang uri ng Agent ayon sa kanilang pangangailangan nang hindi kailangang magsimula mula sa zero ang pagbuo ng sistema.
Noong Nobyembre 5, ipinahayag ng Kimi na ang Hosted Agents ay nag-aalok ng 24/7 cloud environment, kung saan ang mga kumpanya ay maaaring i-insert ang Agent sa kanilang loobang sistema o i-embed sa mga produkto na ipinaglalabas, at malinaw na binanggit ang Harness as a service.
02 Harness Evolution
Sa katotohanan, ang pagtaas ng populasyon ni Harness ay hindi nagsimula mula sa mga kumpanya ng model.
Sa simula ng taong ito, ang pagiging sikat ng OpenClaw ay nagpakita sa industriya na isang kumpanya na walang base model ay maaari pa ring magdala ng malaking bilang ng mga user sa pamamagitan ng isang Agent running system. Sa Pebrero, binisita ni OpenAI ang tagapagtatag ng OpenClaw, si Peter Steinberger, upang makatulong sa pagbuo ng susunod na henerasyon ng personal na Agent.
Pagkatapos, inilunsad ng Nous Research ang Hermes Agent upang subukan ang pag-save ng mga karanasan na nakalap sa trabaho bilang mga maaaring muli gamitin na Skills at ang patuloy na pagpapabuti sa mga susunod na gawain.
Sa huling bahagi ng Marso, inilahad ng Stanford University at iba pang mga institusyon ang Meta-Harness, na nagpapahintulot sa AI na direktang baguhin ang Harness code batay sa mga nakaraang pagkabigo at i-verify ang epekto sa pamamagitan ng mga pagsubok. Sa isang eksperimento sa pagklasipikasyon ng teksto, tumataas ang akurasyo ng 7.7% at bumaba ang paggamit ng context tokens sa kalahati ng orihinal.
Bakit值得 ang pag-invest ng mga model company sa mga pag-aaral na ito? Noong Oktubre, sinubukan ng Nanyang Technological University sa Singapore ang 66 na model kasama ang Harness, at natuklasan na ang pagbabago ng Harness ay maaaring magbago sa ranking ng performance sa pagitan ng mga model.
Ang FrontierHarness Eval ay nagsabing ang parehong Kimi K3 ay may pass rate na 66.7% gamit ang Codex, 63.3% gamit ang DeepSeek Harness Creator, at 56.7% gamit ang Kimi Code.
Para sa mga kompanya ng base model, ang pagpapabuti ng performance ng model, maliban sa pagpapabuti sa model mismo, ay nagsisigla na sa disenyo at optimisasyon ng Harness.
Patuloy pa ang mga mananaliksik na sinusubukang gamitin ang mga aral mula sa Harness para sa pagtatrabaho ng modelo. Ang Co-Harness, na ipinakilala noong Hulyo, ay una nang pinabuti ang Harness gamit ang mga rekord ng pagkabigo, at pagkatapos ay ginamit ang pinabuting execution data para sa pagtuturo ng modelo. Ang HarnessFlow, na ipinahayag noong Nobyembre, ay sumubok na awtomatikong maghanap ng mas mahusay na disenyo ng Harness, at nakapagpataas ng average na marka sa anim na kategorya ng gawain ng 10.89 puntos.
Gayunpaman, may mga panganib din ang awtomatikong pag-optimize. Isang pag-aaral noong unang bahagi ng Nobyembre ay natuklasan na sa isang partikular na eksperimento, bumaba ang dating marka ng isang Harness sa SWE-bench mula sa 94% patungo sa 32% pagkatapos ay mapag-optimize para sa isang bagong gawain. Maaari ring gawing walang epekto ang pag-upgrade ng modelo sa mga disenyo na dati ay epektibo.
Ibig sabihin nito, ang teknikal na karanasan ng Harness ay mahirap lunasan nang isang beses na lang. Paano manatiling matatag ang iba’t ibang gawain habang patuloy na pinapabuti, ay isang problema na patuloy pa ring hindi nalulutas.
Sinabi ng ilang tagapag-ugnay sa industriya na ito ay isa rin sa malalaking hamon sa pag-deploy ng open-source models. Kaya, ang mga kompanya ng model ay nagsimulang magbenta ng Harness service. Maaaring makakuha ng libreng open-source framework, ngunit kung gusto ng mga negosyo na mag-run nang matatag at matagal ng Agent, kailangan pa rin nilang harapin ang gastos sa deployment at pagpapanatili. Nakita ng mga kompanya tulad ng Kimi at Anthropic ang pagkakataon na tanggapin ang mga gawaing ito, at ginawa ang Harness bilang isang hiwalay na negosyo, ngunit malaki ang pagkakaiba sa paraan ng paggawa ng iba’t ibang kompanya.
Ang nakatagong halaga ng 03 Harness
Ang Harness ay nagsisimula na maging isang serbisyo na may hiwalay na bayad, ngunit ang kasalukuyang pricing schedule ay nagpapakita na ang model inference ay patuloy na pangunahang pinagkukunan ng bayad.
Ang Anthropic ay nagmamay-ari ng mga Managed Agents na may bayarin na $0.08 bawat aktibong oras ng sesyon, kasama ang mga token na may karagdagang bayarin. Ayon sa halimbawang gawain sa pag-program na isinagawa sa isang oras na ipinahayag ng opisyal, ang kabuuang bayarin ay $0.58, kung saan ang bayarin para sa managed execution ay bumubuo lamang ng halos 14%.
Ang pagkakaltas ng Kimi ay binubuo ng model Token, sandbox execution, at mga bayad na plugin. Ang isang halimbawang gawain sa legal na pagsusuri ng investment bank ay may estima ng gastos na humigit-kumulang 30 yuan, habang ang bayad sa sandbox ay mas mababa sa 0.1 yuan. Ang OpenAI ay walang pagkakaltas para sa karagdagang serbisyo sa panahon ng pagsusulit ng Agents API, at ang pagkakaltas ay batay sa paggamit ng modelo at mga kasangkapan. Ang DeepSeek ay isinara ang Harness sa ilalim ng MIT License at walang direktang sistema ng pagkakaltas.
Kaya ang direktang kita na natatanggap ng model company sa kasalukuyan mula sa harness ay maaaring sobrang maliit.
Kung gayon, bakit pa kailangan mag-invest ng malaking yaman sa pag-aaral at pag-unlad?
Isang mahalagang dahilan ay ang pagkatapos ng tunay na pag-deploy ng Agent ng isang kumpanya, ang pangangailangan sa Harness ay maaaring mas matatag kaysa sa isang partikular na modelo.
Ang American legal services company na ABC Legal ay orihinal na nag-deploy ng Agent sa mga computer ng mga empleyado gamit ang scheduled tasks. Habang lumalawak ang sakop ng paggamit, nagsimula ang CTO na si Brandon Fuller na hanapin ang isang platform na mag-uunify sa pagpapamahala ng mga Agent na ito. Ipinaghambing niya ang maraming solusyon at sa huli ay pumili siya ng Managed Agents ng Anthropic, dahil ayaw ng kumpanya na patuloy na pangalagaan ang mga nakalat na environment ng pagpapatakbo.
Ayon sa Anthropic, ginamit ng ABC Legal ang 50+ na Agent sa produksyon sa loob ng isang buwan, at halos 310 na empleyado ang gumagamit ng Claude araw-araw. Hindi kailangan ng mga empleyado na magkaroon ng kaalaman sa software development upang lumikha ng mga bagong Agent sa pamamagitan ng konfigurasyon.
Ito ay nagpapakita na ang atraksyon ng托管 Harness ay nagmumula sa tunay na pangangailangan ng mga negosyo. Mas pipiliin ng mga kumpanya ang pagbili ng mga umiiral na serbisyo kaysa mag-develop mula sa simula, i-deploy, at magpanatili ng mga sistema sa matagal, upang maalok ang kanilang mga yunit ng rekayasa sa kanilang sariling negosyo.
Ngunit hindi siguradong gustong mag-bind ang mga negosyo sa isang kumpanya ng modelo.
Noong Agosto ng taong ito, ipinahayag ng VentureBeat ang isang pag-aaral sa 107 na kumpanya. Ang 85% ng mga kumpanyang nasakop ay gumagamit ng dalawa o higit pang mga platform para sa pag-organisa ng mga Agent. Sa pagpili ng platform, ang 29% ng mga kumpanya ay pinakamahalaga ang flexibility ng mga modelo at mga kasangkapan, samantalang ang 10% lamang ang nagbigay-pansin sa native compatibility sa isang namumunong modelo. Bagaman ang sample ay nakatuon sa mga malalaking teknolohiya na kumpanya, ipinapakita nito na mayroong isang trend sa pagbili: gustong-gusto ng mga customer ang kakayahang palitan ang mga modelo.
Ito ay nagbibigay ng isang iba’t ibang negosyal na lohika para sa Harness. Kung handa ang isang kumpanya na gamitin ang isang sistema nang matagal, kahit hindi makakamit ng provider ang eksklusibong pagtawag sa modelo, maaari pa rin niyang kumita nang patuloy mula sa pag-host, pagpapanatili, at mga serbisyo para sa enterprise development, at makabuo ng mas matatag na ugnayan sa mga kliyente.
Sa paraang ito, maaaring makita ng Harness ang tunay na proseso ng pagpapatupad ng mga gawain sa negosyo. Kumpara sa simpleng model API, maaari ng Harness na i-record ang buong trahektorya ng isang gawain mula sa simula hanggang sa pagkumpleto, kabilang ang pagtawag sa model, pagpapatupad ng mga kasangkapan, pag-uulit ng pagsubok kapag may pagkabigo, at ang huling resulta. Ang mga rekord na ito ay nakakatulong sa mga negosyo upang masuri ang anumang problema at magbigay ng mahalagang feedback para sa pag-unlad ng model.
Kung makakakuha ang mga kumpanya ng modelo ng patuloy na verified at totoong feedback mula sa mga gawain, may pagkakataon silang mas mabilis na makakita ng mga problema ng modelo sa production environment. Gayunpaman, ang benepisyong ito ay limitado nang malinaw ng mga karapatan sa data.
Nagdadala ito ng isang bagong tanong sa mga kumpanya ng modelo: Kung ang mga negosyo ay maaaring libreng palitan ang ilalim na modelo at patuloy na mananatili sa pagkakaroon ng kanilang sariling data, gaano kalaki ang matagalang kahusayan na maaari pang itayo ni Harness?
Para sa mga kompanya ng model, ang Harness ay maaaring magdala ng mas mahabang panahon na halaga kaysa sa direkta pagkakautang. Kapag ang mga negosyo ay nagbibigay ng mas maraming trabaho sa Agent, ang sinumang makapagbibigay ng mapagkakatiwalaang sistema ng pagpapatakbo ay may pagkakataon na makaapekto sa pagpili ng model at kung paano makikilahok ang AI sa totoong negosyo.
Isang pamilyar at karaniwang salita: entry.
Ngunit ang salitang ito, na malalim na nakapaloob sa panahon ng internet, ay laging nagpapakilos sa sensitibong mga selula ng kompetisyon sa panahon ng AI. Ngayon, kinabibilangan ng Harness sa ilang paraan ang mga inaasahan at imahinasyong ito.
Twitter: https://twitter.com/BitpushNewsCN
BitPush TG na grupo sa pag-uusap: https://t.me/BitPushCommunity
BiyPush TG subscription: https://t.me/bitpush