AMD melancarkan platform pengaturcaraan tempatan Instinct Coder 355, dengan 8 unit MI355X menyokong prestasi tempatan yang mendekati 98% inferens model terkini, secara lalai tidak terhubung ke internet dan data kekal di tempat.Penulis artikel, sumber: AIBase
Membawa model besar kembali dari awan ke pusat data, AMD kali ini menargetkan pembangun perusahaan. Pada 9 November waktu setempat, AMD bekerjasama dengan Spectro Cloud melancarkan platform pemrograman berasaskan AI untuk perusahaan, Instinct Coder 355, yang mampu menjalankan inferensi GLM-5.3 secara tempatan dan dikatakan mendekati 98% prestasi model terkini.
Lapan kad menopang satu pelayan pengaturcaraan
Kekuatan sistem ini terletak pada spesifikasi tinggi: intinya terdiri daripada 8 unit akselerator AMD Instinct MI355X, dilengkapi dengan 2 unit pemproses EPYC 9575F "Zen 5" 64 inti, ditambah dengan memori DDR5-6400 sebanyak 3TB dan penyimpanan SSD sejumlah 63.36TB. Dell dan Supermicro menyediakan versi mesin lengkap dengan spesifikasi berbeza, membolehkan syarikat memilih pilihan yang sesuai dengan kebiasaan pusat data mereka. Satu nod boleh melayani sehingga 85 pembangun, dengan 50 orang boleh menulis kod secara serentak, seolah-olah mengumpulkan keperluan kuasa pengiraan sebuah pasukan kecil ke dalam satu kotak mesin.
Tidak disambungkan secara lalai, data disimpan secara tempatan
Yang benar-benar menarik minat perusahaan ialah konfigurasi "tidak perlu keluar rumah". Spectro Cloud menyediakan perisian pengurusan PaletteAI Inference Launchpad untuk sistem ini, yang secara lalai memanfaatkan kuasa komputasi tempatan bukan API awan, memastikan kod dan data sensitif tidak perlu dihantar keluar. Di bawah tekanan berterusan dari segi kos dan pematuhan, memindahkan inferens kembali ke pusat data sendiri kini menjadi arah baru yang disokong oleh syarikat besar—langkah AMD ini jelas bertujuan untuk mengambil sebahagian pasaran daripada NVIDIA dan penyedia awan lain.