Birden fazla çip üreticisi, arka planda Agent'in CPU iş yükünü değiştirmesi nedeniyle yeni değerlendirme yöntemleri araştırıyor.Yazan, Kaynak: Wall Street Journal
Agent'in kullanım senaryoları giderek daha özelleşiyor.
Agentler, Claude Code gibi AI programlama araçlarından belgeleri işleme ve yazılımları kullanma görevini üstlenen ofis asistanlarına, kullanıcıların seyahat planlamasına ve günlük programlarını yönetmesine yardımcı olan kişisel asistanlara kadar giderek daha fazla spesifik görev üstlenmeye başlıyor.
Sürekli genişleyen uygulama senaryoları, temel hesaplama gücüne yeni ihtiyaçlar doğurmaktadır.
Bu bağlamda, Arm yakın zamanda, Agent görevlerinde farklı CPU'ların performansını değerlendirmek için şirketlere daha gerçekçi uygulama senaryolarına dayalı bir test yöntemi sundu.
Bu tekil bir durum değil. AMD daha önce Agent AI için CPU iş yükü değerlendirme çerçevesi sunmuş, araç yürütme, veri alma ve görev düzenlemeyi testlere dahil etti; Intel de Xeon 6 işlemcileri için ilgili testleri gerçekleştirdi ve Agent görevlerinin verimliliği ile paralel yürütme verimliliğine odaklandı.
Birden fazla çip üreticisi, arka planda Agent'in CPU iş yükünü değiştirmesi nedeniyle yeni değerlendirme yöntemleri araştırıyor.
Geçtiğimiz yıllarda büyük modellerin hesaplama gücü rekabeti ana olarak GPU'ya odaklanmıştı; Token üretimi hızı ve verimlilik gibi göstergeler, AI çıkarım performansını ölçmenin önemli temelleri haline geldi.
Agent gerçek görevleri yerine getirmeye başladıkça, büyük modelleri çıkarım için çağırmak yanı sıra veritabanına erişmek, kod çalıştırmak, araçları çağırmak gibi aşamalar da büyük CPU kaynakları tüketebilir.
Arm Cloud AI Çözümleri Mimari Direktörü Ravi Malhotra, bir yazılım geliştirme Agent örneğiyle, modelin önce çıkarım yaparak kod ürettiğini, ardından CPU'nun kod derleme, derleme ve test gibi işlemlerini tamamlaması gerektiğini ve bu işlemlerin çok zaman alabileceğini belirtti.
Bu tür senaryolarda kritik nokta, CPU'nun kendi kısmını ne kadar hızlı tamamlayarak kontrolü daha maliyetli GPU'ya veya akseleratöre geri vermesidir; böylece pipeline'daki bir sonraki adımı gerçekleştirebilirler. Ravi Malhotra, AllThingsD gibi medyalara şöyle dedi: "CPU yeterince hızlı değilse, daha maliyetli GPU boşta kalır."
Daha da karmaşık olan, farklı Agent'ların performans sınırlarının farklı olmasıdır. Bazı görevler ana hatla GPU çıkarım hızıyla sınırlıken, bazıları CPU kumandalı çalışma kapasitesi veya veri alma verimliliğiyle sınırlıdır. Hatta aynı türdeki bir Agent'ın performans sınırları, model, dağıtım ortamı ve spesifik görev değişikliklerine göre değişebilir.
Örnek olarak yazılım geliştirme durumunda, kod derleme ve test işlemi genellikle CPU kaynaklarını sürekli olarak tüketir; bu nedenle tek bir Agent'in yürütme performansı daha önemlidir. Bununla karşılaştırıldığında, şirket müşteri desteği veya bireysel asistan gibi senaryolardaki tek seferlik işlemler genellikle daha kısadır, ancak aynı anda birçok isteği işlemek zorunda kalır ve bu da CPU'nun paralel işleme kapasitesine daha yüksek bir talep getirir.
Bu farklılıklar, CPU performans değerlendirmesinin tam Agent görevlerinin yürütme verimliliğine ve farklı iş yükleri altındaki performansına odaklanmasını sağlamıştır.
Bu kez Arm, bileşen düzeyi testini uçtan uca Agent performans testleriyle birleştirmeyi öneriyor.
Bu arada, bileşen düzeyi testleri web sunucusu, veritabanı, model servisleri ve sandbox yürütme gibi aşamaları kapsar; uçtan uca testler ise SWE-bench, Terminal-Bench gibi Agent referanslarını kullanarak tam iş akışındaki performansı değerlendirir.
Geleneksel göstergelerin yanı sıra tek çekirdek performansı, çok çekirdek verimliliği gibi, Arm ayrıca ajan eşzamanlı sayısı, görev yürütme verimliliği ve her raf performansına da odaklanmaktadır.
Ravi Malhotra, performans değerlendirmesinin, aynı anda daha fazla Agent çalıştırmak yerine, verimlilik ile SLA (hizmet seviye anlaşması) gereksinimleri arasında dengede olmasının gerektiğini vurguladı.
Farklı senaryoların ihtiyaçları farklı olduğundan, Arm tüm Agent kullanım senaryoları için tek bir ağırlık dağılımı önermemekte ve şirketlerin kendi uygulamalarına uygun değerlendirme metriklerini seçmelerini önermektedir.
Agent, işletmelerin gerçek iş süreçlerine girdikçe, bu performans göstergeleri işletmelerin CPU altyapısını seçmesi ve yükseltmesi için önemli bir referans haline gelmektedir.
Ravi Malhotra, yazılım geliştirme, müşteri desteği, tedarik zinciri yönetimi ve kişisel asistan gibi senaryoların, şirketlerin CPU altyapısını yükseltmeyi teşvik eden önemli bir güç olacağını düşünüyor.
“Kurumlar için müşteri desteği, tedarik zinciri yönetimi ve bireysel asistan gibi senaryolarda, her raf başına performans daha çok önceliklidir; Arm AGI CPU’nun ölçeklenebilirlik ve verimlilik avantajları bu senaryolarda özellikle belirgindir,” diye belirtti Ravi Malhotra.
Ravi Malhotra, Agent uygulamaları için mevcut altyapıyı yükseltmek veya tamamen yeni bir altyapı tasarlamak ve geliştirmek gibi senaryoların, net bir yükseltme ihtiyacı yaratacağını ve Arm AGI CPU'nun büyümesini ve yaygınlaşmasını ön planda tutacak ana itici kuvvet olma potansiyeline sahip olduğunu vurguladı.
Şirketler için CPU performansındaki artışın değeri, nihayetinde gerçek operasyonel verimlilik ve maliyetlerde yansımaktadır.
Farklı Agent'ların iş yükleri büyük ölçüde değişiklik gösteriyor; performans avantajlarının, görev yürütme verimliliğindeki artışa ve dağıtım maliyetlerindeki düşüşe gerçekten dönüştürüp dönüştürülemeyeceği, daha fazla pratik uygulama ile doğrulanmalıdır.
Risk Uyarısı ve Sorumluluk Reddi
Piyasa riskleri vardır, yatırım yaparken dikkatli olun. Bu yazı, bireysel yatırım önerisi oluşturmamaktadır ve bireysel kullanıcıların özel yatırım hedeflerini, finansal durumlarını veya ihtiyaçlarını dikkate almamaktadır. Kullanıcılar, bu yazıdaki herhangi bir görüşü, görüşü veya sonucu kendi özel durumlarına uygun olup olmadığını değerlendirmelidir. Bu bilgilere dayalı olarak yapılan yatırımlar için kullanıcı sorumludur.