AMD, yerel programlama platformu Instinct Coder 355'i tanıttı; 8 adet MI355X, yerel çalıştırma performansıyla önde gelen modellerin %98'ine yakın çıkarım sağlıyor, varsayılan olarak internete bağlı değil, veriler yerelde kalıyor.Yazan: AIBase
AMD, büyük modelleri buluttan veri merkezine geri getiriyor ve bu sefer şirketlerin geliştiricilerine hizmet veriyor. Yerel saatle 9 Kasım'da, AMD, Spectro Cloud ile birlikte kurumsal AI destekli kodlama platformu Instinct Coder 355'i tanıttı; bu platform, GLM-5.3 çıkarımını yerel olarak çalıştırmayı ve öne çıkan modellerin %98'ine yakın performans sağlayacağını iddia ediyor.
Sekiz kart, bir programlama sunucusunu destekliyor.
Sistemin çekirdeği, 8 adet AMD Instinct MI355X akseleratörü, 2 adet 64 çekirdekli EPYC 9575F "Zen 5" işlemcisi, 3 TB DDR5-6400 bellek ve toplam 63,36 TB katı hal disk depolama ile oluşturulmuştur. Dell ve Supermicro, farklı konfigürasyonlarda tam sistem sürümleri sunmaktadır; kurumlar, veri merkezi alışkanlıklarına göre seçeneklerini seçebilir. Tek bir düğüm, en fazla 85 geliştiriciyi hizmet edebilir; bunlardan 50’si aynı anda kod yazabilir, bu da küçük bir ekip için gerekli hesaplama kapasitesini tek bir kasaya yerleştirmek anlamına gelir.
Varsayılan olarak bağlanmaz, veriler yerelde kalır
Şirketleri gerçekten ilgilendiren, "evde kalma" senaryosudur. Spectro Cloud, bu sisteme PaletteAI Inference Launchpad yönetim yazılımını eşlik ettiriyor ve varsayılan olarak bulut API'si yerine yerel hesaplama gücünü kullanıyor; hassas kodlar ve veriler dışarı gönderilmiyor. Maliyet ve uyumluluk baskısı altında, çıkarımları kendi veri merkezlerine geri taşımak, büyük şirketlerin yeni bir odak noktası haline geliyor—AMD'nin bu hamlesi, açıkça NVIDIA ve tüm bulut sağlayıcılarının tabağından bir pay almayı hedefliyor.