AMD MI355X Lebih Unggul dari NVIDIA B200 dalam Deploymen Kimi K3

Ini mungkin saat yang telah lama ditunggu oleh AMD.

Baru-baru ini, Wafer AI telah menerapkan di AMD MI355X Kimi K3. Hasilnya, model yang sebelumnya memerlukan 16 NVIDIA B200 yang tersebar di dua server, kini dapat di-deploy di satu server AMD dengan 8 MI355X.

Yang lebih penting lagi, itu bukan hanya memasukkan modelnya.

Dalam pengujian dengan input 1024 Token dan output 400 Token, MI355X mencapai total throughput 952 Token/detik, dengan kecepatan generasi per pengguna mencapai 118 Token/detik.

Berdasarkan perhitungan satu node, throughput-nya sekitar 3,8 kali lebih tinggi daripada solusi 16 kartu B200, dan rasio harga-kinerjanya juga melebihi B200 dan B300.

Dan yang paling mengejutkan, ROCm kali ini ternyata tidak merepotkan sama sekali.

Kimi K3 memiliki 2,8 triliun parameter, hanya bobot model saja sudah memerlukan lebih dari 1,5 TB VRAM, belum termasuk KV Cache yang dibutuhkan untuk konteks jutaan Token.

Sebuah server 8 GPU B200, dengan setiap GPU memiliki memori video 192 GB, total kapasitas sekitar 1,5 TB. Artinya, bobot model pun sulit dimuat seluruhnya, apalagi menyediakan ruang untuk KV Cache. Oleh karena itu, B200 harus menggunakan dua server, 16 GPU.

B300 memiliki 288 GB VRAM per kartu, memungkinkan model untuk muat dalam satu node. Secara kebetulan, AMD MI355X juga memiliki 288 GB VRAM; delapan kartu MI355X total sekitar 2,3 TB, cukup dengan satu server.

Ini bukan hanya tentang mengurangi satu mesin. Setelah model berjalan lintas node, setiap token yang dihasilkan mungkin memerlukan sinkronisasi data melalui jaringan. Bahkan dengan jaringan RoCE v2 secepat sekitar 195 Gb/s, komunikasi lintas node tetap akan memperlambat decoding.

MI355X dengan memori GPU yang lebih besar, menyimpan seluruh model dalam satu node.

Dari hasil akhir, total throughput puncak dari 8 MI355X mencapai 952 Token/s, dengan kecepatan generasi per saluran sebesar 118 Token/s.

Sebagai perbandingan, total throughput dari deploy dual-node dengan 16 B200 adalah 498 Token/s, atau sekitar 249 Token/s per node.

Dengan demikian, throughput per node MI355X sekitar 3,8 kali lebih tinggi daripada rata-rata throughput per node pada penyebaran dual-node B200. Dalam hal kecepatan generasi pengguna tunggal, 118 Token/s MI355X juga lebih tinggi daripada 90 Token/s B200.

B300 tetap menjadi solusi dengan kinerja tertinggi. Total throughput node dengan 8 B300 mencapai 1568 Token/s, kecepatan generasi per jalur sebesar 172 Token/s, dengan total throughput sekitar 1,65 kali lebih tinggi daripada MI355X.

Namun, harga yang berubah mengubah kesimpulan. Wafer dihitung dengan biaya $2.5 per kartu per jam untuk MI355X, $4.25 untuk B200, dan $6 untuk B300.

Dengan asumsi harga ini, MI355X dapat menyediakan throughput puncak sekitar 48 Token/s per dolar; B200 sekitar 7 Token/s; B300 sekitar 33 Token/s.

B300 lebih cepat, tetapi efisiensi biaya per unit MI355X lebih tinggi. Bagi pusat data yang perlu menjalankan model terbuka dalam skala besar, hal ini mungkin lebih penting daripada sekadar bersaing untuk menjadi juara performa.

Selama ini, masalah terbesar GPU pusat data AMD sering bukan pada perangkat keras, melainkan perangkat lunak.

Model yang sama dapat dijalankan langsung di CUDA, tetapi di ROCm, mungkin perlu mengubah kerangka kerja, menambahkan operator, atau bahkan menulis ulang kernel dasar.

tetapi Kimi K3 berbeda situasinya.

AMD memberikan dukungan hampir sinkron sejak peluncuran. Wafer menyatakan bahwa model pada dasarnya dapat langsung dijalankan di MI355X, dan pekerjaan selanjutnya terutama berfokus pada beberapa masalah kompatibilitas dan optimasi kinerja.

Salah satu masalah muncul di tahap perkiraan dekoding. Kimi K3 sendiri tidak menyediakan parameter model draf yang diperlukan untuk MTP atau EAGLE, sehingga Wafer menggunakan model draf blok eksternal.

Solusi ini dapat berjalan langsung di CUDA, tetapi di lingkungan ROCm, permintaan nyata pertama menyebabkan kesalahan pada scheduler. Penyebabnya adalah fungsi bernama top_k_renorm_prob tidak didefinisikan di cabang ROCm.

Fungsi ini tidak rumit: memilih k nilai tertinggi dari distribusi probabilitas, mengatur probabilitas lainnya menjadi nol, lalu menormalisasi ulang probabilitas yang dipertahankan.

Wafer akhirnya menggunakan fungsi PyTorch biasa untuk mengisi logika ini, tanpa perlu menulis kernel GPU secara manual atau mendesain ulang sistem decoding spekulatif.

Setelah diperbaiki, perkiraan dekode meningkatkan kinerja satu jalur sekitar 2,2 kali, kinerja satu aliran di bawah koncurrency sedang meningkat sekitar 1,7 kali, dan throughput total puncak meningkat sekitar 18%.

Lebih penting lagi, sistem mampu mencapai throughput puncak di bawah konversi yang lebih tinggi.

Tentu, throughput bukan satu-satunya aspek dari layanan inferensi. Bagi pengguna nyata, indikator lain yang secara langsung memengaruhi pengalaman adalah TTFT, yaitu waktu tunggu dari pengiriman permintaan hingga munculnya Token pertama.

Pada tugas ini, MI355X awalnya tidak berkinerja baik. Menghadapi tugas pra-isian awal sekitar 172.000 Token, MI355X membutuhkan sekitar 51 detik, sementara B300 hanya membutuhkan sekitar 23 detik.

Pada model yang mendukung konteks jutaan token, tugas pre-filling bisa sangat besar. Jika menangani konteks panjang, pengguna harus menunggu puluhan detik atau lebih lama setiap kali, sehingga kecepatan decoding seberapa tinggi pun sulit memperbaiki masalah pengalaman pengguna.

Wafer akhirnya menemukan bahwa selisih kinerja hampir seluruhnya berasal dari satu kernel perhatian. Kimi K3 dalam konfigurasi paralel tensor 8 jalur, setiap GPU akan mendapatkan 12 kepala perhatian. Sedangkan kernel pra-isian MLA yang lebih cepat di AMD AITER hanya mendukung bentuk kelipatan 4, 8, atau 16.

12 kepala tidak dapat cocok, sehingga sistem mengembalikan implementasi Triton umum yang lebih lambat.

Solusinya sederhana: nolkan 12 kepala perhatian menjadi 16 kepala, gunakan kernel cepat yang sudah ada, lalu ambil kembali 12 kepala yang benar-benar dibutuhkan setelah perhitungan selesai. Tidak ada perubahan pada struktur model, tidak ada penulisan kernel assembly baru, hanya menambahkan empat nol.

Setelah dioptimalkan, kecepatan prefill stabil dari kernel AITER MLA mencapai sekitar 13.000 Token/s, sedangkan jalur fallback Triton sebelumnya hanya sekitar 4.000–7.000 Token/s, sehingga waktu prefill dingin berkurang sekitar dua hingga tiga kali lipat.

Optimasi ini tidak mengubah throughput decoding akhir, tetapi secara signifikan mengurangi waktu tunggu pengguna untuk munculnya karakter pertama.

Ini juga menunjukkan bahwa kesenjangan perangkat lunak yang tampak besar antara AMD dan NVIDIA terkadang bukan karena kurangnya kemampuan dasar, tetapi karena kernel berkecepatan tinggi yang ada belum mencakup bentuk model baru tertentu.

Satu tes tentu tidak bisa membuktikan bahwa AMD telah mengejar NVIDIA secara menyeluruh.

B200 terpaksa berjalan lintas node karena kurangnya memori video; kinerja absolut B300 tetap unggul; alat, kerangka kerja, dan ekosistem pengembang ROCm juga masih kalah dibanding CUDA.

Namun, model terbuka sedang dengan cepat memasuki era parameter triliunan. Ketika model menjadi terlalu besar untuk muat di satu server, kapasitas memori GPU tidak lagi sekadar angka di tabel parameter, tetapi akan secara langsung memengaruhi biaya komunikasi, kompleksitas penyebaran, dan throughput akhir.

Strategi AMD untuk memberikan lebih banyak HBM ke konfigurasi satu kartu sedang menjadi keunggulan sistem yang nyata.

Jika AMD dapat terus meningkatkan stabilitas ROCm, memperluas dukungan bentuk inti berkecepatan tinggi, dan menyediakan kompatibilitas hari pertama yang lebih cepat untuk model-model baru, maka pusat data harus mempertimbangkan GPU ini dengan serius. Harga lebih rendah, memori video lebih besar, kinerja cukup baik, dan perangkat lunak tidak lagi memerlukan usaha berbulan-bulan.

Apa pendapatmu tentang ini?

Tautan referensi:

https://x.com/wafer_ai/status/2083628389903315406

https://x.com/ChiragAsarpota/status/2083864019870634151

Artikel ini berasal dari akun WeChat "Machine Heart" (ID: almosthuman2014), penulis: yang memperhatikan LLM