Pelbagai pengilang cip secara berturut-turut mengkaji kaedah penilaian baru, yang di belakangnya ialah Agent yang mengubah beban kerja CPU.Penulis artikel, sumber: Wall Street Journal
Aplikasi agen semakin spesifik.
Dari alat pengaturan AI seperti Claude Code, hingga pembantu pejabat yang mampu mengendalikan dokumen dan perisian, hingga pembantu peribadi yang membantu pengguna merancang perjalanan dan mengurus jadual, Agent mula mengambil alih lebih banyak tugas spesifik.
Pembukaan aplikasi yang berterusan juga menimbulkan tuntutan baru terhadap kuasa pengiraan asas.
Dalam konteks ini, Arm baru-baru ini melancarkan satu metodologi penilaian prestasi CPU yang ditujukan kepada Agen, mencuba untuk membantu syarikat menilai prestasi CPU yang berbeza dalam tugas Agen melalui ujian yang lebih mendekati skenario penggunaan sebenar.
Ini bukan kesan tunggal. AMD sebelum ini telah mengusulkan kerangka kerja penilaian beban kerja CPU untuk Agent AI, yang merangkumi ujian seperti pelaksanaan alat, pengambilan data, dan pengaturan tugas; Intel juga telah menjalankan ujian berkaitan untuk prosesor Xeon 6, dengan fokus utama pada throughput dan kecekapan pelaksanaan serentak tugas Agent.
Pelbagai pengilang cip secara berturut-turut mengkaji kaedah penilaian baru, yang di belakangnya ialah Agent yang mengubah beban kerja CPU.
Dalam beberapa tahun terakhir, persaingan kekuatan komputasi model besar berpusat pada GPU, dengan indikator seperti kelajuan penghasilan token dan throughput menjadi tolok ukur penting bagi prestasi inferensia AI.
Semasa agen mula menjalankan tugas sebenar, selain memanggil model besar untuk penalaran, ia juga perlu mengakses pangkalan data, menjalankan kod, dan memanggil alat, yang kesemuanya boleh menghabiskan sumber CPU yang banyak.
Ravi Malhotra, Ketua Arkitek Penyelesaian AI Awan Arm, menunjukkan dengan contoh Agent pembangunan perisian, model terlebih dahulu melakukan inferens dan menghasilkan kod, kemudian CPU masih perlu menyelesaikan pembinaan, kompilasi, dan ujian kod, operasi-operasi ini mungkin mengambil masa yang banyak.
“Dalam kes penggunaan ini, perkara penting ialah seberapa pantas CPU dapat menyelesaikan bahagian kerjanya sendiri, supaya kuasa kawalan dapat dipulangkan secepat mungkin kepada GPU atau akselerator yang lebih mahal, untuk melaksanakan langkah seterusnya dalam paip.” kata Ravi Malhotra kepada media seperti All-Weather Tech, “Jika CPU tidak cukup pantas, GPU yang lebih mahal akan berada dalam keadaan menganggur.”
Lebih kompleks lagi, bottleneck prestasi setiap agen tidak sama. Sebahagian tugas terutamanya dibatasi oleh kelajuan inferensi GPU, manakala sebahagian tugas lain dibatasi oleh kemampuan pelaksanaan sandbox CPU atau kecekapan pengambilan data. Bahkan bottleneck prestasi agen yang sama jenisnya juga boleh berubah mengikut model, persekitaran pelaksanaan, dan tugas spesifik.
Sebagai contoh dalam pembangunan perisian, penerjemahan dan pengujian kod sering memerlukan penggunaan sumber CPU secara berterusan, oleh itu lebih menekankan prestasi pelaksanaan setiap Agent. Sebaliknya, dalam skenario seperti sokongan pelanggan korporat atau pembantu peribadi, operasi tunggal biasanya lebih singkat, tetapi mungkin memerlukan pemprosesan permintaan dalam jumlah besar secara serentak, yang menuntut keupayaan selari CPU yang lebih tinggi.
Perbezaan-perbezaan ini juga menyebabkan penilaian prestasi CPU beralih kepada kecekapan pelaksanaan tugas Agent yang lengkap dan prestasi di bawah beban kerja yang berbeza.
Dalam kali ini, Arm mengusulkan untuk menggabungkan ujian peringkat komponen dengan ujian bersepadu end-to-end Agent.
Di antaranya, ujian peringkat komponen meliputi pelayan web, pangkalan data, perkhidmatan model, dan pelaksanaan sandbox, manakala ujian end-to-end memperkenalkan piawaian Agent seperti SWE-bench dan Terminal-Bench untuk menilai prestasi dalam alur kerja penuh.
Selain metrik tradisional seperti prestasi inti tunggal dan throughput inti banyak, Arm juga memperhatikan bilangan agen serentak, kecekapan pelaksanaan tugas, dan prestasi setiap rak.
Ravi Malhotra menekankan bahawa penilaian prestasi perlu mencapai keseimbangan antara throughput dan keperluan SLA (Service Level Agreement), dan tidak boleh hanya mengejar jumlah Agent yang berjalan serentak yang lebih banyak.
Oleh kerana keperluan dalam pelbagai senario berbeza, Arm juga tidak mencadangkan penggunaan pendekatan pembahagian bobot seragam untuk pelbagai kes penggunaan Agent, tetapi menekankan agar syarikat memilih indikator penilaian yang sesuai berdasarkan aplikasi mereka sendiri.
Sebagai agen semakin dimasukkan ke dalam proses perniagaan sebenar, indikator prestasi ini juga menjadi rujukan penting bagi perusahaan dalam memilih dan meningkatkan infrastruktur CPU.
Ravi Malhotra percaya bahawa skenario seperti pembangunan perisian, sokongan pelanggan, pengurusan rantaian bekalan, dan pembantu peribadi akan menjadi pendorong utama dalam peningkatan infrastruktur CPU perusahaan.
“Bagi perusahaan, skenario seperti sokongan pelanggan, pengurusan rantaian bekalan, dan pembantu peribadi lebih memperhatikan prestasi setiap rak, dan kelebihan Arm AGI CPU dalam skalabiliti dan kecekapan tenaga sangat menonjol dalam skenario ini,” kata Ravi Malhotra.
Ravi Malhotra juga menekankan bahawa sama ada meningkatkan infrastruktur sedia ada untuk aplikasi Agent atau merekabentuk dan membangunkan infrastruktur baharu, skenario-skenario ini akan membentuk keperluan peningkatan yang jelas dan berpotensi menjadi daya utama yang mendorong pertumbuhan dan penggunaan luas Arm AGI CPU.
Bagi perusahaan, nilai yang dibawa oleh peningkatan prestasi CPU akhirnya perlu direfleksikan dalam kecekapan operasi dan kos sebenar.
Beban kerja setiap agen berbeza-beza, dan kelebihan prestasi dalam ujian piawai masih perlu diverifikasi melalui lebih banyak aplikasi sebenar untuk menentukan sama ada ia benar-benar meningkatkan kecekapan pelaksanaan tugas dan mengurangkan kos penyebaran.
Pemberitahuan Risiko dan Klausul Penafian
Pasar mempunyai risiko, pelaburan perlu dijalankan dengan berhati-hati. Artikel ini tidak merupakan cadangan pelaburan peribadi dan tidak mempertimbangkan matlamat, keadaan kewangan, atau keperluan khas individu. Pengguna harus mempertimbangkan sama ada sebarang pendapat, pandangan, atau kesimpulan dalam artikel ini sesuai dengan keadaan khusus mereka. Tanggungjawab atas pelaburan berdasarkan maklumat ini adalah sepenuhnya atas tanggungjawab pengguna.