Beberapa produsen chip secara berturut-turut mengeksplorasi metode evaluasi baru, yang di belakangnya adalah Agent yang mengubah beban kerja CPU.Penulis artikel, sumber: Wall Street Journal
Aplikasi agen semakin spesifik.
Dari alat pemrograman AI seperti Claude Code, hingga asisten kantor yang dapat memproses dokumen dan mengoperasikan perangkat lunak, hingga asisten pribadi yang membantu pengguna merencanakan perjalanan dan mengelola jadwal, Agent mulai mengambil semakin banyak tugas spesifik.
Peningkatan penerapan skenario juga menimbulkan permintaan baru terhadap daya komputasi dasar.
Dalam konteks ini, Arm baru-baru ini meluncurkan metodologi evaluasi kinerja CPU berbasis Agent, yang berusaha menilai kinerja berbagai CPU dalam tugas Agent melalui pengujian yang lebih mendekati skenario aplikasi nyata.
Ini bukan satu-satunya kasus. AMD sebelumnya telah mengusulkan kerangka evaluasi beban kerja CPU untuk Agent AI, yang mencakup pengujian pada tahap eksekusi alat, pengambilan data, dan pengaturan tugas; Intel juga telah melakukan pengujian terkait pada prosesor Xeon 6, dengan fokus utama pada throughput dan efisiensi eksekusi paralel tugas Agent.
Beberapa produsen chip secara berturut-turut mengeksplorasi metode evaluasi baru, yang di belakangnya adalah Agent yang mengubah beban kerja CPU.
Dalam beberapa tahun terakhir, persaingan daya komputasi model besar terutama berfokus pada GPU, dengan indikator seperti kecepatan generasi token dan throughput menjadi tolok ukur penting untuk menilai kinerja inferensi AI.
Saat agen mulai menjalankan tugas nyata, selain memanggil model besar untuk inferensi, juga diperlukan akses ke database, eksekusi kode, dan pemanggilan alat, yang semuanya dapat mengonsumsi sumber daya CPU dalam jumlah besar.
Direktur Arsitektur Solusi AI Arm Cloud, Ravi Malhotra, mencontohkan software development agent, menjelaskan bahwa model terlebih dahulu melakukan inferensi dan menghasilkan kode, kemudian CPU masih perlu menyelesaikan pembangunan, kompilasi, dan pengujian kode, operasi-operasi ini dapat memakan banyak waktu.
“Dalam kasus penggunaan semacam ini, hal yang sangat penting adalah seberapa cepat CPU dapat menyelesaikan bagian pekerjaannya, sehingga kendali dapat segera dikembalikan ke GPU atau akselerator yang lebih mahal untuk menjalankan langkah berikutnya dalam pipeline,” kata Ravi Malhotra kepada media seperti All Things Digital. “Jika CPU tidak cukup cepat, GPU yang lebih mahal akan berada dalam keadaan menganggur.”
Lebih kompleks lagi, bottleneck kinerja berbagai Agent tidak sama. Sebagian tugas terutama dibatasi oleh kecepatan inferensi GPU, sementara sebagian lainnya dibatasi oleh kemampuan eksekusi CPU sandbox atau efisiensi pengambilan data. Bahkan bottleneck kinerja Agent dari jenis yang sama pun dapat berubah tergantung pada model, lingkungan penyebaran, dan tugas spesifiknya.
Sebagai contoh pengembangan perangkat lunak, kompilasi dan pengujian kode sering memerlukan penggunaan sumber daya CPU secara terus-menerus, sehingga lebih menekankan pada kinerja eksekusi satu Agent. Sebaliknya, dalam skenario seperti dukungan pelanggan perusahaan atau asisten pribadi, operasi tunggal biasanya lebih singkat, tetapi mungkin memerlukan penanganan sejumlah besar permintaan secara bersamaan, yang menuntut kemampuan paralel CPU yang lebih tinggi.
Perbedaan-perbedaan ini juga membuat evaluasi kinerja CPU mulai memperhatikan efisiensi eksekusi tugas Agent secara lengkap dan kinerja di bawah beban kerja yang berbeda.
Dalam acara ini, Arm mengusulkan untuk menggabungkan pengujian tingkat komponen dengan pengujian benchmark Agent end-to-end.
Di antaranya, pengujian tingkat komponen mencakup server web, database, layanan model, dan eksekusi sandbox, sementara pengujian end-to-end memperkenalkan benchmark agen seperti SWE-bench dan Terminal-Bench untuk mengevaluasi kinerja dalam alur kerja lengkap.
Selain metrik tradisional seperti kinerja inti tunggal dan throughput inti ganda, Arm juga memperhatikan jumlah agen paralel, efisiensi eksekusi tugas, dan kinerja per rak.
Ravi Malhotra menekankan bahwa evaluasi kinerja perlu menyeimbangkan antara throughput dan persyaratan SLA (Service Level Agreement), bukan hanya mengejar jumlah Agent yang berjalan secara bersamaan.
Karena kebutuhan berbagai skenario berbeda, Arm juga tidak merekomendasikan pendekatan alokasi bobot seragam untuk berbagai kasus penggunaan Agent, melainkan menyarankan perusahaan memilih indikator evaluasi yang sesuai dengan aplikasi mereka sendiri.
Sebagai Agent semakin masuk ke dalam proses bisnis nyata perusahaan, indikator kinerja ini juga menjadi referensi penting bagi perusahaan dalam memilih dan meningkatkan infrastruktur CPU.
Ravi Malhotra percaya bahwa skenario-skenario seperti pengembangan perangkat lunak, dukungan pelanggan, manajemen rantai pasok, dan asisten pribadi akan menjadi pendorong utama dalam meningkatkan infrastruktur CPU perusahaan.
“Bagi perusahaan, skenario seperti dukungan pelanggan, manajemen rantai pasokan, dan asisten pribadi lebih memperhatikan kinerja per rak, dan keunggulan skalabilitas serta efisiensi energi Arm AGI CPU sangat menonjol dalam skenario-skenario ini,” kata Ravi Malhotra.
Ravi Malhotra lebih lanjut menunjukkan bahwa baik memperbarui infrastruktur yang ada untuk aplikasi Agent maupun merancang dan mengembangkan infrastruktur baru, skenario-skenario ini akan menciptakan kebutuhan pembaruan yang jelas dan berpotensi menjadi kekuatan utama yang mendorong pertumbuhan dan adopsi Arm AGI CPU.
Bagi perusahaan, nilai yang dihasilkan dari peningkatan kinerja CPU akhirnya harus tercermin dalam efisiensi operasional dan biaya nyata.
Beban kerja berbagai Agent sangat berbeda, apakah keunggulan performa dalam pengujian benchmark benar-benar dapat diubah menjadi peningkatan efisiensi eksekusi tugas dan penurunan biaya deploy, masih perlu diverifikasi melalui lebih banyak aplikasi nyata.
Pernyataan Peringatan Risiko dan Klausul Penanggung Jawab
Pasar memiliki risiko, berinvestasilah dengan hati-hati. Artikel ini tidak merupakan saran investasi pribadi dan tidak mempertimbangkan tujuan investasi, keadaan keuangan, atau kebutuhan khusus individu tertentu. Pengguna harus mempertimbangkan apakah setiap pendapat, pandangan, atau kesimpulan dalam artikel ini sesuai dengan kondisi spesifik mereka. Bertanggung jawablah atas keputusan investasi Anda.