Lanskap persaingan chip AI sedang mengalami perubahan mendalam. OpenAI meluncurkan chip Jalapeño yang berfokus pada inferensi LLM, NVIDIA menggabungkan GPU dengan LPU Groq untuk mencapai komputasi hibrida, sementara Google memisahkan pelatihan dan inferensi menjadi dua chip terpisah: TPU 8t dan TPU 8i. Tiga pendekatan ini mencerminkan kebutuhan sumber daya perangkat keras yang berbeda antara pelatihan dan inferensi: pelatihan menekankan perhitungan matriks dan koneksi skala besar, sedangkan inferensi memerlukan bandwidth HBM yang lebih tinggi, SRAM yang lebih besar, dan jalur jaringan yang lebih pendek. Seiring semakin lebarnya kesenjangan resep chip untuk kedua jenis workload ini, FLOPS bukan lagi satu-satunya ukuran, dan biaya token kini menjadi koordinat baru dalam persaingan perangkat keras AI.

Penulis artikel, sumber: Leifengwang

Biaya token menjadi koordinat baru dalam persaingan perangkat keras model besar

Embodied intelligence invades the greasy kitchen

Kisah robot bekerja di bawah lalu lintas satu juta

Wakil Presiden Covariant AI sebelumnya, Zhoupu Shuzhong, secara langsung merangkum peran LPU sebagai pengisi kekurangan Vera Rubin di area Decode latensi rendah.

Desain chip Groq juga hampir seluruhnya berfokus pada hal ini. Satu rak LPX memiliki 256 LPU, yang secara total hanya memiliki 128 GB SRAM, kapasitasnya tidak bisa dibandingkan dengan HBM di rak GPU, tetapi bandwidth SRAM agregat dapat mencapai 40 PB/s.

Desain ini menekankan "kedekatan". HBM dapat menyimpan banyak status model, tetapi jaraknya lebih jauh dari unit komputasi; SRAM mahal dan sulit diperbesar kapasitasnya, tetapi data berada di dalam chip, sehingga mampu menyediakan bandwidth sangat tinggi dan latensi akses sangat rendah.

Setiap langkah perhitungan terbatas, dan sering mengambil data; menempatkan data lebih dekat ke ALU akan secara langsung memengaruhi waktu tunggu untuk Token berikutnya.

Groq juga lebih mengurangi kontrol perangkat keras dinamis. LPU adalah arsitektur eksekusi deterministik, di mana penjadwalan instruksi sebagian besar diselesaikan secara software terlebih dahulu. Setiap chip berfungsi sekaligus sebagai prosesor dan router, di mana compiler mengatur sumber daya komputasi dan sumber daya jaringan secara bersamaan, bahkan menghilangkan mekanisme seperti kontrol aliran perangkat keras tradisional dan saluran virtual.

Biayanya juga jelas: arsitektur ini tidak seversatile GPU, dan SRAM on-chip tidak cukup untuk menyimpan seluruh status model besar. Oleh karena itu, NVIDIA tidak membuat Groq 3 berjalan mandiri secara penuh, melainkan membuat sistem hibrida yang lebih kompleks.

Prefill dilakukan di GPU, sebagian besar Decode dialihkan ke LPU; Attention dalam Decode dapat kembali ke GPU. GPU dan LPU masing-masing mempertahankan KV Cache sendiri, keduanya terutama bertukar Draft Tokens, sekaligus mengoverlapkan komputasi dan komunikasi melalui micro-batch. Karena LPU merupakan domain sinkron, sementara GPU dan KV Cache eksternal termasuk sistem asinkron, NVIDIA bahkan menambahkan FPGA sebagai jembatan asinkron antara keduanya.

Struktur ini sangat menunjukkan sejauh mana pembagian tugas chip AI telah berkembang. Ini tidak lagi hanya memisahkan "chip pelatihan" dan "chip inferensi", tetapi bahkan berbagai bagian dalam satu Decode pun dapat dijalankan pada arsitektur yang berbeda.

Namun, data yang ditampilkan oleh NVIDIA juga menunjukkan batasan jalur ini: ketika bisnis hanya mengejar total throughput dan dapat menerima latensi yang lebih tinggi, Rubin GPU tetap sangat efisien; seiring meningkatnya kebutuhan akan kecepatan Token per pengguna, LPX baru secara bertahap menunjukkan keunggulannya, dan setelah menggunakan lebih banyak LPU, efisiensi total throughput juga akan menurun.

Jadi, munculnya Groq 3 tidak berarti GPU dieliminasi untuk inferensi. Ini menunjukkan hal lain: sulit bagi satu GPU yang sama untuk secara bersamaan menguasai throughput tinggi dan latensi sangat rendah; dengan membiarkan dua jenis perangkat keras ini masing-masing berjalan di area yang lebih sesuai, sistem justru lebih mudah memperlebar kurva performa.

Google meletakkan potongan ini pada tingkat yang lebih tinggi.

Pelatihan dan inferensi, gunakan dua resep chip yang berbeda

Google pada generasi TPU 8 secara bersamaan mengembangkan TPU 8t dan TPU 8i,t untuk pelatihan,i untuk inferensi. Logika di balik pembagian ini langsung tertulis pada konfigurasi memori chip.

Hot Chips sedang menampilkan, TPU 8t menggunakan 6 kelompok HBM, sedangkan TPU 8i justru menggunakan 8 kelompok. Penjelasan dari Google adalah bahwa inferensi per unit komputasi memerlukan lebih banyak HBM, sekaligus memerlukan proporsi SRAM yang lebih tinggi, sehingga 8i mengalokasikan lebih banyak sumber daya untuk SRAM, kapasitas memori, dan bandwidth.

Perbedaan ini patut dipertimbangkan. Jika chip AI hanya berlomba dalam kekuatan matriks, tidak ada alasan bagi versi inferensi untuk menghabiskan begitu banyak area chip dan sumber daya packaging pada memori. Desain TPU 8i ini menunjukkan bahwa bottleneck yang dilihat Google telah berpindah ke pasokan data.

Selama pelatihan, batch besar dapat mendistribusikan biaya pembacaan bobot ke banyak token; selama decode, setiap token yang dihasilkan sangat sedikit, namun bobot dan KV Cache tetap sering diakses. Oleh karena itu, jumlah bandwidth HBM yang diperlukan per unit FLOPS berbeda antara dua tugas ini.

Google bahkan menerapkan perbedaan ini hingga ke topologi jaringan. Sebelumnya, 3D Torus yang sering digunakan TPU lebih cocok untuk pelatihan, dengan penekanan pada throughput keseluruhan dalam kluster berskala besar. TPU 8i mendukung BoardFly, dengan jalur jaringan yang lebih pendek: batas jalur BoardFly adalah 7 hops, sedangkan 3D Torus mencapai 16 hops.

Untuk pelatihan, setelah beberapa lompatan jaringan tambahan, biasanya masih ada sejumlah besar perhitungan matriks, sehingga waktu komunikasi dapat dirata-ratakan. Jendela perhitungan setiap langkah Decode singkat, sehingga latensi jaringan beberapa lompatan lebih mudah langsung masuk ke dalam interval token.

MoE membuat masalah ini menjadi lebih jelas. MoE memungkinkan satu Token hanya mengaktifkan sebagian Expert, yang secara komputasi lebih efisien, tetapi Router akan mengirim Token ke Expert yang berbeda. Ketika Expert-expert ini tersebar di chip yang berbeda, pengurangan komputasi disertai dengan peningkatan komunikasi All-to-All.

Oleh karena itu, TPU 8i juga menambahkan Collective Acceleration Engine, yang memproses sebagian operasi kolektif di I/O Die yang berdekatan dengan antarmuka jaringan. Data tidak perlu dipindahkan terlebih dahulu ke Compute Die, lalu melewati HBM untuk menyelesaikan operasi, sehingga dapat menghemat sebagian perpindahan data di dalam chip.

Resource allocation for the TPU 8t training version is clearly skewed toward the other side. Training requires massive FLOPS and a huge Scale-Up domain to synchronize parameters and gradients. The TPU 8t Superpod can scale up to 9600 chips, with approximately 2 PB shared HBM and 121 EFLOPS FP4 aggregated computational power; Google has also introduced the Virgo network to create a dedicated infrastructure for larger-scale training connections.

Google juga menyebutkan masalah desain chip yang sangat praktis: dark silicon.

Luas chip dan anggaran daya terbatas. Jika sumber daya komputasi matriks yang banyak dibutuhkan untuk pelatihan dan lebih banyak SRAM, HBM, serta jaringan latensi rendah yang dibutuhkan untuk inferensi dimasukkan ke dalam chip yang sama, maka saat satu jenis workload berjalan, sebagian sirkuit akan tetap menganggur.

Karena kedua tugas tersebut memerlukan proporsi sumber daya yang berbeda, membuat dua chip terpisah justru lebih bersih.

Dari FLOPS ke Ekonomi Token

Menggabungkan ketiga rute tersebut, perbedaannya sebenarnya jelas.

OpenAI membuat Jalapeño, mengkhususkan chip hingga lapisan inferensi LLM, tetapi mempertahankan penjadwalan fleksibel Prefill dan Decode pada perangkat keras homogen; NVIDIA terus memecah lebih dalam, membagi tahapan inferensi tunggal antara GPU dan Groq LPU; Google memotong ke atas, langsung menjadikan pelatihan dan inferensi sebagai dua TPU terpisah.

Di balik beberapa rute ini tidak ada prinsip komputasi baru yang misterius, yang berubah adalah proporsi sumber daya. Pelatihan menginginkan lebih banyak transistor dialokasikan untuk komputasi matriks dan interkoneksi skala besar, karena Batch tinggi dapat mendistribusikan biaya pemindahan data; inferensi latensi rendah memerlukan bandwidth HBM yang lebih tinggi, SRAM yang lebih besar, lokalitas KV Cache yang lebih baik, dan jalur jaringan yang lebih pendek, karena banyak waktu dihabiskan untuk menunggu data.

Ketika resep chip yang dibutuhkan oleh dua jenis beban semakin menjauh, menggunakan satu chip universal untuk melayani keduanya akan membuat kehilangan efisiensi menjadi semakin jelas.

Ini juga mengapa angka inti dalam persaingan perangkat keras kali ini sedang berubah. FLOPS tetap penting, tetapi kini muncul Tokens/s/user, TBT, TTFT, Tokens/kW, bandwidth HBM, dan latensi jaringan.

Mereka sebenarnya menggambarkan hal yang sama: daya komputasi sudah tersedia di sana, apakah sistem dapat terus menyediakan data dan mengeluarkan Token yang dihasilkan secepat mungkin.

OpenAI, NVIDIA, dan Google saat ini belum sepenuhnya sepakat di mana garis batasnya harus ditarik, dan yang kemungkinan besar akan terus berubah di masa depan adalah di mana garis ini seharusnya ditempatkan.

Pelatihan dan inferensi dapat dipisahkan, Prefill dan Decode dapat dipisahkan, dan Attention di dalam Decode serta perhitungan lainnya juga dapat dipisahkan lebih lanjut. Semakin halus pemisahannya, semakin mudah meningkatkan efisiensi masing-masing komponen, tetapi penjadwalan sumber daya, pemindahan KV Cache, dan komunikasi lintas perangkat juga menjadi lebih kompleks.

Oleh karena itu, tantangan dalam tahap berikutnya persaingan chip AI mungkin sudah bukan lagi sekadar membuat chip yang lebih kuat.

Yang lebih sulit adalah memutuskan: tugas mana yang layak dibuatkan chip khusus, dan tugas mana yang tetap ditempatkan dalam perangkat keras yang sama agar biaya Token keseluruhan sistem lebih rendah.