Mga iba’t ibang manufacturer ng chip ay nagtatangkang mag-explore ng mga bagong paraan ng pag-evaluate, at sa likod nito ay ang Agent ay nagbabago sa workload ng CPU.May-akda ng artikulo, pinagkukunan: Wall Street Journal
Ang mga aplikasyon ng agent ay nagsisigla sa mas detalyadong mga sitwasyon.
Mula sa mga AI na kasangkapan sa pag-program tulad ng Claude Code, hanggang sa mga asistente sa opisina na kayang mag-handle ng mga dokumento at mag-operate ng software, at pati na ang mga personal na asistente na tumutulong sa mga user na mag-plano ng kanilang pagbiyahe at mag-manage ng kanilang takdang-araw, ang Agent ay nagsisimulang magdala ng mas maraming espesipikong gawain.
Ang patuloy na paglalawak ng mga aplikasyon ay nagtataguyod ng mga bagong pangangailangan sa ilalim na computing power.
Sa ilalim ng kontekstong ito, ang Arm ay kahapon ay ipinakilala ang isang metodolohiya para sa pag-evaluate ng CPU performance para sa mga Agent, na naglalayong gamitin ang mga pagsubok na mas malapit sa tunay na mga aplikasyon upang tulungan ang mga negosyo na masukat ang performance ng iba’t ibang CPU sa mga gawain ng Agent.
Hindi ito isang kakaibang kaso. Noong una, ipinakilala na ng AMD ang isang framework para sa pag-evaluate ng CPU workload para sa Agent AI, kabilang ang pagpapatupad ng mga tool, pagkuha ng data, at pag-organisa ng mga gawain; habang ang Intel ay nagtapos din ng mga pagsusuri para sa Xeon 6 processor, na nakatuon sa throughput at efficiency ng pagpapatakbo ng mga Agent task.
Mga iba’t ibang manufacturer ng chip ay nagtatangkang mag-explore ng mga bagong paraan ng pag-evaluate, at sa likod nito ay ang Agent ay nagbabago sa workload ng CPU.
Sa mga nakalipas na taon, ang kompetisyon sa computing power ng malalaking modelo ay nakatuon sa GPU, at ang bilis ng pagbuo ng Token, throughput, at iba pang mga indikador ay naging mahalagang batayan para sa pagtataya ng performance ng AI inference.
Habang ang Agent ay nagsisimula na magpapatupad ng mga aktwal na gawain, kailangan itong mag-access sa database, magpapatupad ng code, at magtawag ng mga kasangkapan, at ang lahat ng mga bahaging ito ay maaaring mag消耗 ng malaking CPU resources.
Ang Arm Cloud AI Solutions Architecture Director na si Ravi Malhotra ay nagturo sa halimbawa ng software development agent na ang modelo ay una nang gumagawa ng pag-iisip at naglalikha ng code, pagkatapos ay kailangan pa ng CPU na tapusin ang pagbuo, pag-compile, at pagsubok ng code, na maaaring magkost ng malaking halaga ng oras.
“Sa ganitong uri ng use case, mahalaga na mabilis ang CPU sa pagkumpleto ng kanyang bahagi upang mabawi agad ang kontrol at ibalik sa mas mahal na GPU o accelerator para sa susunod na hakbang sa pipeline,” sabi ni Ravi Malhotra sa mga media tulad ng All-Things-D, “Kung hindi sapat ang bilis ng CPU, maaaring manatiling walang gawain ang mas mahal na GPU.”
Mas kumplikado pa, iba-iba ang performance bottleneck ng iba’t ibang Agent. Ang ilang mga gawain ay pangunahing limitado ng GPU inference speed, habang ang iba ay limitado ng CPU sandbox execution capability o data retrieval efficiency. Kahit sa iisang uri ng Agent, ang performance bottleneck ay maaaring magbago batay sa model, deployment environment, at partikular na gawain.
Halimbawa sa software development, ang compilation at pagsubok ng code ay kadalasang nangangailangan ng patuloy na paggamit ng CPU resources, kaya mas pinahahalagahan ang performans ng isang Agent. Sa kabilang banda, ang mga pagkakataon tulad ng corporate customer support at personal assistant ay karaniwang may maikling bawat operasyon, ngunit maaaring kailanganin ang pagtratrat ng maraming kahilingan nang sabay-sabay, na nagtataglay ng mas mataas na hiling sa concurrency capability ng CPU.
Ang mga pagkakaiba ay nagpapahintulot din sa pagtataya ng CPU performance na tumutok sa epektibong pagsasagawa ng buong Agent task at sa performance sa iba’t ibang workload.
Sa pagkakataong ito, inihayag ng Arm na isasama ang component-level testing sa end-to-end Agent benchmarking.
Kasama rito ang pagtukoy sa antas ng komponente sa mga bahagi tulad ng web server, database, model service, at sandbox execution, habang ang end-to-end testing ay naglalayong gamitin ang mga Agent benchmark tulad ng SWE-bench at Terminal-Bench upang suriin ang performance sa buong workflow.
Sa labas ng tradisyonal mga indikador tulad ng single-core performance at multi-core throughput, pinapansin ni Arm ang bilang ng agent concurrency, efisiyensiya ng pagpapatupad ng task, at performance bawat rack.
Teko ni Ravi Malhotra na kailangang magkaroon ng balanse sa pagtataya ng performance sa pagitan ng throughput at mga kinakailangan ng SLA (Service Level Agreement), at hindi lamang magpursige ng mas maraming Agent na nagpapatakbo nang sabay-sabay.
Dahil sa iba't ibang pangangailangan sa iba't ibang sitwasyon, hindi rin inirerekomenda ni Arm ang paggamit ng iisang paraan ng pagkakabigay ng timbang sa lahat ng mga use case ng Agent; sa halip, ipinopromote nito na piliin ng mga negosyo ang angkop na mga pagsusuri batay sa kanilang sariling aplikasyon.
Habang patuloy na pumasok ang Agent sa mga aktwal na proseso ng negosyo, ang mga marka ng performance na ito ay naging mahalagang gabay para sa mga negosyo sa pagpili at pag-upgrade ng kanilang CPU infrastructure.
Naniniwala si Ravi Malhotra na ang pag-unlad ng software, customer support, supply chain management, at personal assistant ay magiging mahalagang pwersa sa pag-upgrade ng CPU infrastructure ng mga negosyo.
“Para sa mga negosyo, ang mga aplikasyon tulad ng customer support, supply chain management, at personal assistant ay mas nakatuon sa performance bawat rack, at ang scalability at efficiency advantage ng Arm AGI CPU ay lalong nakakatangi sa mga scenaryo na ito,” ayon kay Ravi Malhotra.
Pinahusay ni Ravi Malhotra na ang anumang pag-upgrade sa umiiral na imprastruktura para sa mga aplikasyon ng Agent o ang pagdisenyo at pagbuo ng bagong imprastruktura ay magiging malinaw na pangangailangan sa pag-upgrade at magiging pangunahing pwersa sa paglago at pagpapalaganap ng Arm AGI CPU.
Para sa isang kumpanya, ang halaga ng pagtaas ng CPU performance ay kailangang maipakita sa praktikal na efisiyensiya at gastos.
Ang mga workload ng iba’t ibang Agent ay malaki ang pagkakaiba, at kailangan pa ng mas maraming praktikal na aplikasyon upang patunayan kung ang mga benepisyo sa performance sa benchmark ay talagang makakapagpataas ng efisiyensiya sa pagpapatupad at makakabawas sa gastos sa deployment.
Paalala sa panganib at pahayag ng pag-iwas sa pananagutan
May panganib sa merkado, maging maingat sa pag-invest. Ang artikulong ito ay hindi nagtataglay ng personal na rekomendasyon sa pag-invest at hindi tinanggal ang mga partikular na layunin, kalagayang pang-ekonomiya, o pangangailangan ng bawat user. Dapat suriin ng user kung ang anumang opinyon, pananaw, o konklusyon sa artikulong ito ay angkop sa kanilang partikular na kalagayan. Ang pag-invest batay dito ay responsibilidad ng user.