Ipinaliwanag ng white paper ng Microsoft na ang paggamit ng Harness Switch ay nagpapataas ng performance ni Claude ng 22.1%

iconTechFlow
I-share
AI summary iconSummary
Ipinakalabas ng Microsoft ang isang teknikal na white paper noong Nobyembre 7, 2026, na nagpapakita na ang pagpapalit sa Harness system sa Copilot Studio ay nagpabuti ng 22.1% sa performance ng Claude Opus 4.8. Ang update ay halos nagdobleng pagtaas sa bilang ng model calls bawat gawain habang binawasan ang paggamit ng input tokens ng 21%. Ang mga teknikal na indikador ay nagpapakita ng mga pagpapabuti sa efficiency, kasama ang on-chain data na nagpapakita ng mas malakas na execution rates para sa mga kumplikadong gawain.

May-akda: Tencent Tech

Noong Nobyembre 7, inilabas ng Microsoft ang isang teknikal na white paper tungkol sa Agent execution system, na naglalaman ng isang set ng mga resulta sa pagsubok na may kaunting pagkakaiba: gamit ang parehong Claude Opus 4.8, ngunit palitan lamang ang Harness sa likod ng Copilot Studio, tumataas ang rate ng pagkakaroon ng tagumpay sa mga kumplikadong gawain ng 22.1 puntos. Ang bagong sistema ay nag-iimbita ng model nang halos dalawang beses kada gawain, ngunit nabawasan ang paggamit ng input Token ng 21% pagkatapos i-adjust.

Sampung araw na ang nakalipas, ipinahayag ng Microsoft ang pagpapalawak ng kanilang isang Copilot Harness sa kanilang maraming produkto at ang pagbebenta ng hosted services sa mga developer sa pamamagitan ng cloud platform.

Noong 5 ng Nobyembre, ang Moonshot ay naglunsad ng Kimi Hosted Agents at opisyal na ipinakilala ang Harness as a Service. Noong Agosto, ang DeepSeek ay inilabas ang kanilang sariling Harness; ang OpenAI at Anthropic ay mas maagang gawing serbisyo na maaaring i-call ng mga developer ang kanilang loobang sistema.

Ang "system na nagpapagalaw" sa likod ng malaking model ay nagsisimula nang maging mahalagang tao sa paningin ng mga kumpanya ng model.

Makisali sa Harness

Ang Harness ay maaaring maunawaan bilang isang sistema para sa pagpapatakbo ng Agent na binubuo sa paligid ng malalaking modelo. Ito ay nagpapahintulot sa modelo na gamitin ang mga panlabas na kasangkapan, magpatuloy sa pagpapatupad ng maraming hakbang na gawain, at i-adjust ang susunod na aksyon batay sa mga resulta ng pagpapatupad. Para sa mga Agent na nangangailangan ng mahabang panahon na pagpapatupad, ang Harness ay naglalayong i-save ang estado ng gawain upang maaari itong magpatuloy pagkatapos ng isang paghinto.

Nasa ibang antas ito sa mga AI application. Halimbawa, ang mga produkto tulad ng Claude Code at WorkBuddy ay direktang nakatuon sa mga user, habang ang panao naming Harness ay maaaring gamitin muli ng iba’t ibang aplikasyon o maibigay bilang isang independiyenteng serbisyo sa mga developer. Habang lumalala ang mga gawain na tinatanggapan ng Agent, ang Harness ay nagsisilbing mahalagang salik sa pagkakamit ng tagumpay sa gawain, efisyensiya sa pagsasagawa, at gastos sa pagpapatakbo.

Ang Anthropic ay isa sa mga kompanya ng modelong nagsimula na mag-invest sa pag-unlad ng Harness, na unang ginawa upang lutasin ang mga problema na kinakaharap ni Claude Code sa mahabang pag-program.

Sa dulo ng 2025, natuklasan ng Anthropic na kapag natapos na ang context window ni Claude, ang mga bagong pag-uusap ay madalas ay hindi kayang magpagsambit sa nakaraang trabaho. Kaya ay pinabuti ng mga inhinyero ang Harness sa likod ng Claude Code, upang ipaglaban ng Agent ang bawat progreso bago matapos ang bawat yugto, at basahin ang mga rekord na iyon sa susunod na pag-uusap upang magpapatuloy sa mga hindi pa natatapos na gawain. Sa ganitong paraan, kahit matapos na ang isang sesyon ng modelo, patuloy pa rin ang buong programming task.

Noong Abril ng taong ito, idinagdag ng Anthropic ang Managed Agents, na nag-aalok ng kakayahan sa pagpapatakbo ng mga Agent bilang isang cloud service para sa mga developer. Upang matiyak na maaaring magpatakbo nang matatag at pangmatagalang ang mga Agent ng mga negosyo, binago ng Anthropic ang ilalim na arkitektura: ang Harness ang nagpapagalaw sa pagpapatupad ng mga gawain, ang kasaysayan ay maaaring i-save nang hiwalay, at ang sandbox para sa AI program ay maaaring palitan anumang oras. Kahit na may mali ang sandbox, maaari pa ring mabawi ng Agent ang kanilang nakaraang trabaho.

Mula sa loob na sistema ng pagpapatakbo ng Claude Code hanggang sa hosted service para sa mga eksternal na developer, ginawa ng Anthropic ang kanilang matagal nang nakumpol na kakayahan sa harness bilang isang hiwalay na produkto.

Pumili rin ang OpenAI na buksan ang Harness sa likod ng Codex sa mas maraming developer. Noong Pebrero ng taong ito, inilahad ng OpenAI na ang web version, command line, at IDE plugin ng Codex ay gumagamit ng iisang agent runtime system. Noong Agosto, pinatibay pa ang Codex bilang isang bukas na Harness platform na nagpapahintulot sa mga third-party app na makakonekta nang direkta. Ang Agents API na ipinakilala noong Setyembre, na pinamamahalaan at pinapanatili ng OpenAI, ay nagpapahintulot sa mga developer na makakonekta nang direkta sa runtime environment ng Agent.

Ang ruta na ito ay nagpapahintulot sa OpenAI na direktang serbisyuhin ang mga user sa pamamagitan ng Codex, habang ibinibigay din ang mga pangunahing kakayahan sa pagpapatupad sa iba pang mga kumpanya sa software. Maaaring panatilihin ng mga developer ang kanilang sariling interface ng produkto at proseso ng negosyo, habang gagawin ng Codex ang mga partikular na gawain sa likod.

Inilabas ng DeepSeek ang buong code ng framework ng Harness sa ilalim ng MIT License noong Agosto 13, at itinataguyod nito ang “Everything is a Plugin,” na naghihiwalay sa halos buong sistema ng Agent sa mga plugin na maaaring libreng i-combine. Bukod sa pagpalit ng model at panlabas na kasangkapan, maaari ng mga developer na baguhin ang paraan kung paano tinatawag at inaexecute ng Agent ang model, at kahit na pagsusulat at pag-install ng sariling mga plugin ng Agent.

Ang arkitekturang ito batay sa Cordis ay naglalayong bigyan ang mga developer ng kakayahang mag-develop ng iba’t ibang uri ng Agent ayon sa kanilang pangangailangan nang hindi kailangang magsimula mula sa zero ang pagbuo ng sistema.

Noong Nobyembre 5, kinumpirma ng Kimi na ang Hosted Agents ay nag-aalok ng cloud environment na available 24/7, kung saan ang mga negosyo ay maaaring i-install ang Agent sa kanilang loobang sistema o i-embed sa mga produkto para sa pagbebenta, at malinaw na binanggit ang Harness as a service.

Harness Evolution

Sa katotohanan, ang pagtaas ng popularty ng Harness ay hindi nagsimula mula sa mga kumpanya ng model.

Sa simula ng taong ito, ang pagiging sikat ng OpenClaw ay nagpakita sa industriya na isang kumpanya na walang base model ay maaari pa ring magdala ng malaking bilang ng mga user sa pamamagitan ng isang Agent running system. Sa Pebrero, kinuha ng OpenAI ang tagapagtatag ng OpenClaw, si Peter Steinberger, upang makatulong sa pagbuo ng susunod na henerasyon ng personal na Agent.

Pagkatapos, inilunsad ng Nous Research ang Hermes Agent upang subukan na i-save ng Agent ang mga karanasan na nakalap sa trabaho bilang mga maaaring muli gamitin na Skills at patuloy na pagbutihin sa mga susunod na gawain.

Sa huling bahagi ng Marso, ang Stanford University at iba pang mga institusyon ay nagmungkahi ng Meta-Harness, na nagpapahintulot sa AI na direktang baguhin ang Harness code batay sa mga nakaraang pagkabigo at i-verify ang epekto sa pamamagitan ng mga pagsubok. Sa isang eksperimento sa text classification, tumataas ang akurasyo ng 7.7% at bumaba ang paggamit ng context token sa kalahati ng orihinal.

Bakit值得 ang pag-invest ng mga model company sa mga pag-aaral na ito? Noong Oktubre, sinubok ng Nanyang Technological University sa Singapore ang 66 na model kasama ang Harness at natuklasan na ang pagbabago ng Harness ay maaaring magbago sa ranking ng performance sa pagitan ng mga model.

Ang FrontierHarness Eval ay nagsabing ang parehong Kimi K3 ay may pass rate na 66.7% gamit ang Codex, 63.3% gamit ang DeepSeek Harness Creator, at 56.7% gamit ang Kimi Code.

Para sa mga kompanya ng base model, ang pagpapabuti ng performa ng model, maliban sa pagpapabuti sa sariling model, ay nagsisigla na sa disenyo at optimisasyon ng Harness.

Larawan: Pagkukumpara ng rate ng pagkakataon at gastos ng parehong Kimi K3 sa iba’t ibang konfigurasyon ng Harness

Patuloy pa rin ang mga siyentipiko sa pagsubok na gamitin ang karanasan ng Harness sa pagtuturo ng mga modelo. Ang Co-Harness, na ipinakilala noong Hulyo, ay una munang pinabuti ang Harness gamit ang mga rekord ng pagkabigo, at pagkatapos ay ginamit ang pinabuting data ng pagpapatupad upang turuan ang modelo. Ang HarnessFlow, na ipinahayag noong Nobyembre, ay nagsubok na awtomatikong hanapin ang mas mahusay na disenyo ng Harness, at nakapagpataas ng average na marka sa anim na kategorya ng gawain ng 10.89 puntos.

Larawan: Panahon ng Pag-unlad ng Teknolohiya ni Harness (Kasukdulan ng 2025 hanggang Nobyembre 2026)

Gayunpaman, may mga panganib din ang awtomatikong pag-optimize. Isang pag-aaral noong unang bahagi ng Nobyembre ay natuklasan na sa isang partikular na eksperimento, ang isang Harness ay bumaba mula sa 94% patungo sa 32% sa SWE-bench pagkatapos ay i-optimize para sa bagong gawain. Maaari ring mawalan ng epekto ang dating epektibong disenyo dahil sa pag-upgrade ng modelo.

Ibig sabihin nito, ang teknikal na karanasan ng Harness ay mahirap linisin nang isang beses na lang. Paano manatiling matatag ang iba’t ibang gawain habang patuloy na pinapabuti, ay isang problema na patuloy pa ring hindi nalulutas.

Sinabi ng ilang eksperto sa industriya na ito ay isa rin sa malalaking hamon sa pag-deploy ng open-source models. Kaya, ang mga kompanya ng model ay nagsimulang magbenta ng Harness services. Ang open-source frameworks ay maaaring makakuha nang libre, ngunit kung gusto ng mga negosyo na mag-run ng Agent nang matatag at matagal, kailangan pa rin nilang harapin ang mga gastos sa deployment at maintenance. Nakita ng mga kompanya tulad ng Kimi at Anthropic ang pagkakataon na tanggapin ang mga gawaing ito, at gawing hiwalay na negosyo ang Harness, ngunit iba-iba ang paraan ng bawat kompanya.

Hidden value ng Harness

Ang Harness ay nagsisimula na maging isang serbisyo na may sariling bayad, ngunit ang kasalukuyang pricing schedule ay nagpapakita na ang model inference ay patuloy na pangunahang pinagkukunan ng bayad.

Ang Managed Agents ng Anthropic ay nagmamay-ari ng $0.08 bawat aktibong oras ng sesyon, kasama ang mga token na may karagdagang bayarin. Ayon sa halimbawang gawain sa pag-program na isang oras na ipinahayag ng opisyal, ang kabuuang gastos ay $0.58, kung saan ang bayarin para sa managed execution ay tumatagal lamang ng halos 14%.

Ang pagkakasulit ni Kimi ay binubuo ng model Token, sandbox execution, at mga bayad na plugin. Ang isang pagtataya sa gastos para sa isang legal na pagsusuri ng investment bank ay nasa halagang humigit-kumulang 30 yuan, habang ang bayad sa sandbox ay mas mababa sa 0.1 yuan. Ang OpenAI ay walang pagkakasulit para sa karagdagang serbisyo habang nasa public beta ang Agents API, at ang pagkakasulit ay batay sa paggamit ng model at mga tool. Ang DeepSeek ay isinilid ang Harness sa ilalim ng MIT license at walang direktang sistema ng pagkakasulit.

Litrat: Pagkukumpara ng mga paraan ng pagbabayad at negosyong posisyon ng anim na modelong kumpanya na Harness

Kaya ang direktang kita ng model company sa kasalukuyan mula sa harness ay maaaring sobrang maliit.

Kung gayon, bakit pa kailangan mag-invest ng malaking yaman sa pag-aaral at pag-unlad?

Isang mahalagang dahilan ay ang pagkatapos ng tunay na pag-deploy ng Agent ng isang kumpanya, ang pangangailangan sa Harness ay maaaring mas matatag kaysa sa isang partikular na modelo.

Ang American legal services company na ABC Legal ay orihinal na nag-deploy ng Agent sa mga computer ng mga empleyado gamit ang scheduled tasks. Habang lumalawak ang sakop ng paggamit, nagsimula ang CTO na si Brandon Fuller na hanapin ang isang platform na magkakaroon ng isang centralized na pamamahala sa mga Agent na ito. Ipinagkumpara niya ang mga iba’t ibang solusyon at pumili sa wakas ng Managed Agents ni Anthropic, dahil ayaw ng kumpanya na patuloy na magpanatili ng mga hiwalay na environment para sa pagpapatakbo.

Ayon sa Anthropic, ang ABC Legal ay naglunsad ng higit sa 50 mga Agent sa produksyon sa loob ng isang buwan, at halos 310 na empleyado ang gumagamit ng Claude araw-araw. Hindi kailangan ng mga empleyado na magkaroon ng kaalaman sa software development upang lumikha ng mga bagong Agent sa pamamagitan ng konfigurasyon.

Ito ay nagpapakita na ang atraksyon ng pag-host ng Harness ay nagmumula sa tunay na pangangailangan ng mga negosyo. Mas pipiliin ng mga kumpanya ang pagbili ng mga umiiral na serbisyo kaysa mag-develop mula sa zero at magpanatili ng mga sistema sa mahabang panahon, upang maalok ang kanilang mga yunit ng insinyeriyo sa kanilang sariling negosyo.

Ngunit ang mga negosyo ay hindi laging handang mag-bind sa isang kumpanya ng modelo.

Noong Agosto ng taong ito, ipinahayag ng VentureBeat ang isang pag-aaral sa 107 na kumpanya. Ang 85% ng mga kumpanyang nasakop ay gumagamit ng dalawa o higit pang mga platform para sa pag-ayos ng mga Agent. Sa pagpili ng platform, ang 29% ng mga kumpanya ay pinakamahalaga ang flexibility ng model at mga tool, samantalang ang 10% lamang ang nagbigay-prioridad sa native compatibility sa isang lider na model. Bagaman ang sample ay may pagkiling sa malalaking tech companies, ipinapakita nito na mayroong trend sa pagbili: gustong manatili ang mga customer sa kalayaang palitan ang mga model.

Ito ay nagbibigay ng isang iba’t ibang negosyal na lohika para sa Harness. Kung handa ang isang kumpanya na gamitin ang isang sistema sa matagal, kahit hindi makakamit ng provider ang eksklusibong pagtawag sa modelo, maaari pa rin siyang makakuha ng tuloy-tuloy na kita mula sa pagtatampok, pangangalaga, at mga serbisyo para sa enterprise, at magtatayo ng mas matatag na ugnayan sa kliyente.

Sa ganitong paraan, maaaring makakita ang Harness sa aktwal na proseso ng pagpapatupad ng mga negosyo. Kumpara sa simpleng model API, maaari ng Harness na i-record ang buong trahektorya ng isang gawain mula sa simula hanggang sa pagtatapos, kabilang ang pagtawag sa modelo, pagpapatupad ng mga kasangkapan, pag-uulit ng pagsubok kapag may pagkabigo, at ang huling resulta. Ang mga rekord na ito ay nakakatulong sa mga negosyo upang masuri ang anumang problema at magbigay ng mahalagang feedback para sa pag-unlad ng modelo.

Litrat: Mga datos sa pagpapatupad ng apat na uri ng enterprise task na rekord ng Harness

Kung makakakuha ang mga kumpanya ng modelo ng patuloy na mga veripikadong tugon mula sa mga gawain, mas mabilis nilang makikita ang mga problema ng modelo sa production environment. Gayunpaman, ang benepisyong ito ay limitado nang malinaw sa pamamagitan ng mga karapatan sa data.

Ito ay nagtatapos sa isang bagong tanong para sa mga kumpanya ng modelo: Kung ang mga negosyo ay maaaring libreng palitan ang mga pundamental na modelo at patuloy na magkaroon ng kontrol sa kanilang sariling data, gaano kalaki ang matagalang kahusayan na maaari pang itayo ng Harness?

Para sa mga kompanya ng model, ang Harness ay maaaring magdala ng mas mahabang panahon na halaga kaysa sa direkta pagkakautang. Kapag ang mga negosyo ay nagpapasa ng mas maraming gawain sa Agent, sino man ang makapagbibigay ng mapagkakatiwalaang sistema ng pagpapatakbo, siya ang may pagkakataon na makaapekto sa pagpili ng model at kung paano makikilahok ang AI sa tunay na negosyo.

Isang pamilyar at karaniwang salita: entry point.

Ngunit ang salitang ito, na malalim na nakagawa sa panahon ng internet, ay laging nagpapagising sa sensitibong mga selula ng kompetisyon sa panahon ng AI. Ngayon, kinabibilangan ng Harness sa ilang paraan ang mga inaasahan at imahinasyong ito.

Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.