AMD meluncurkan platform pemrograman lokal Instinct Coder 355, dengan 8 unit MI355X yang mendukung kinerja lokal mendekati 98% dari inferensi model terdepan, secara default tidak terhubung ke internet dan data tetap di lokasi.Penulis artikel, sumber: AIBase
Mengembalikan model besar dari cloud ke ruang server, AMD kali ini berfokus pada pasar pengembang perusahaan. Pada 9 November waktu setempat, AMD bekerja sama dengan Spectro Cloud meluncurkan platform pemrograman berbantuan AI tingkat perusahaan, Instinct Coder 355, yang dapat menjalankan inferensi GLM-5.3 secara lokal dan diklaim mendekati 98% kinerja model terdepan.
Delapan kartu mendukung satu server pemrograman
Keunggulan sistem ini terletak pada spesifikasi tinggi: intinya terdiri dari 8 accelerator AMD Instinct MI355X, dilengkapi 2 prosesor EPYC 9575F "Zen 5" 64-core, ditambah memori DDR5-6400 sebesar 3TB dan penyimpanan SSD total 63,36TB. Dell dan Supermicro menyediakan versi mesin lengkap dengan spesifikasi berbeda, sehingga perusahaan dapat memilih solusi sesuai kebiasaan pusat data mereka. Satu node dapat melayani hingga 85 pengembang, dengan 50 di antaranya dapat secara bersamaan menulis kode, sehingga mampu menampung kebutuhan komputasi tim kecil dalam satu casing.
Secara default tidak terhubung ke cloud, data tetap di lokal
Yang benar-benar menarik perhatian perusahaan adalah fitur "tidak perlu keluar rumah". Spectro Cloud menyediakan perangkat lunak manajemen PaletteAI Inference Launchpad untuk sistem ini, yang secara default memanfaatkan daya komputasi lokal alih-alih API cloud, sehingga kode dan data sensitif tidak perlu dikirim keluar. Di bawah tekanan ganda dari biaya dan kepatuhan, memindahkan inferensi kembali ke pusat data sendiri kini menjadi arah baru yang diandalkan perusahaan besar—langkah AMD ini jelas ingin merebut sebagian pasar dari NVIDIA dan berbagai penyedia cloud.