Penulis: Xiao Bing
AMD Mengakuisisi Taalas: Chip inferensi mulai mengukir bobot model ke dalam silikon
Pada 6 Agustus, AMD mengumumkan akuisisi perusahaan chip Toronto, Taalas, dengan harga transaksi yang tidak diungkapkan. Perusahaan rintisan yang didirikan pada 2023 dan telah mengumpulkan pendanaan sebesar $219 juta ini melakukan sesuatu yang terdengar agak gila: membakar bobot model AI langsung ke lapisan logam chip, menciptakan chip khusus yang hanya dapat menjalankan satu model.
GPU bekerja dengan menyimpan parameter model di memori berbandwidth tinggi (HBM), lalu secara berulang memindahkan data masuk dan keluar unit komputasi selama inferensi. Proses "pemindahan" ini menghabiskan sejumlah besar energi dan waktu, yang disebut industri sebagai "dinding memori". Pendekatan Taalas adalah menghilangkan pemindahan sama sekali, dengan meng固化 bobot langsung ke transistor chip, sehingga penyimpanan dan komputasi menjadi satu kesatuan.
Biayanya adalah chip ini hanya dapat menjalankan satu model, tetapi manfaatnya adalah peningkatan berlipat ganda dalam kecepatan dan efisiensi energi.
Apa artinya 17000 token per detik?
Chip HC1 dari Taalas didasarkan pada proses 6nm TSMC, dengan luas chip 815 mm² dan 53 miliar transistor, dengan model bawaan Llama 3.1 8B dari Meta.
Data performa HC1: sekitar 17.000 token/detik per pengguna. Sebagai perbandingan, Nvidia H200 mencapai sekitar 230 token/detik dan H100 sekitar 150 token/detik pada model yang sama. Perbedaan kecepatan 73 kali, dengan konsumsi daya hanya sepertiga dari kedua model tersebut.
Akuntansi ekonomi yang lebih intuitif: Biaya inferensi yang dilaporkan Taalas sekitar 0,75 sen per juta Token (Llama 8B), sementara solusi GPU berada di antara 20 hingga 49 sen. Setiap kartu HC1 mengonsumsi daya 250W, satu rak pendingin udara standar yang memuat 10 kartu hanya membutuhkan 12-15 KW, tanpa memerlukan pendinginan cair, sedangkan rak GPU sering kali mencapai 120-600 KW.
Analis Forbes Karl Freund menilai pada evaluasi Februari: “10 kali lebih cepat daripada platform inferensi tercepat (Cerebras Wafer-Scale Engine), dan dua orde lebih cepat daripada GPU.”
Namun, ada beberapa batasan penting. HC1 menggunakan format data 3-bit buatan Taalas yang dikombinasikan dengan parameter 6-bit, sehingga kuantisasi sangat agresif dan kehilangan kualitas pada tugas inferensi kompleks adalah hal yang pasti terjadi. Data 17.000 token/detik berasal dari pengujian benchmark pabrikan dengan input 1K/output 1K, dan tidak merepresentasikan performa nyata di lingkungan produksi. Selain itu, Llama 3.1 8B adalah model yang dirilis pertengahan 2024, dan versi kuantisasi dengan 8B parameter bahkan dapat dijalankan di Raspberry Pi 5. HC1 menunjukkan potensi arsitektur, bukan daya saing produk yang matang.
Apa yang harus dilakukan jika model diganti?
Membakar model ke dalam chip, pertanyaan paling intuitif adalah: bagaimana jika model diiterasi? Apakah chip menjadi sia-sia?
Jawaban Taalas adalah: tidak akan dibuang. Siklus desain ASIC tradisional memerlukan lebih dari dua tahun. Taalas mengembangkan proses desain otomatis yang hanya memerlukan perubahan sedikit masker logam pada lapisan atas chip, sehingga model baru dapat dikompilasi menjadi chip baru dalam waktu sekitar 8 minggu. Perusahaan telah memperhitungkan biaya 3 kali pembaruan chip dalam model biaya selama siklus hidup 4 tahun.
Jawaban ini dapat mengatasi sebagian kecemasan, tetapi tidak dapat menghilangkannya sepenuhnya.
Kekuatan fleksibilitas GPU terletak pada kemampuan kartu yang sama untuk menjalankan Llama hari ini, Claude besok, dan model baru yang belum dirilis lusa. Chip Taalas tidak dapat melakukan hal ini. Jika seorang pelanggan membutuhkan beberapa model sekaligus (yang sangat umum di lingkungan produksi), mereka perlu menyediakan chip berbeda untuk setiap model, sehingga meningkatkan kompleksitas manajemen inventaris dan operasional.
HC2 sedang dalam pengembangan, dengan target model berukuran sekitar 20 miliar parameter, menggunakan floating point 4-bit untuk meningkatkan akurasi. Taalas awalnya berencana untuk mendukung model tingkat terdepan sebelum akhir 2026.
Akuisisi AMD membawa sinergi antara lini produk Instinct GPU dan sistem rak Helios, memungkinkan pelanggan menggunakan GPU untuk menangani beban kerja yang fleksibel dan beragam, serta chip Taalas untuk inferensi model tunggal yang stabil dan frekuensi tinggi.
Perlombaan senjata chip inferensi
AMD mengakuisisi Taalas, yang merupakan transaksi terbaru dalam gelombang akuisisi chip inferensi selama 8 bulan terakhir dalam konteks industri.
Pada Desember 2025, Nvidia mengakuisisi Groq senilai 20 miliar dolar AS, menguasai arsitektur inferensi latensi rendah berbasis SRAM.
Pada Mei 2026, Cerebras melakukan IPO dengan kapitalisasi pasar sekitar $56 miliar, menjadi IPO teknologi terbesar sejak Snowflake pada 2020.
Pada Juni, Etched mengakhiri periode selama lebih dari dua tahun bersembunyi, mengumumkan bahwa chip pertamanya yang dirancang khusus untuk Transformer telah berhasil diproduksi di proses N4P TSMC, dengan kontrak pelanggan senilai lebih dari 1 miliar dolar AS. Dilaporkan bahwa Intel telah menandatangani surat niat akuisisi dengan SambaNova, sementara Qualcomm sedang berkomunikasi dengan Tenstorrent.
Transaksi-transaksi ini menunjukkan kesimpulan yang sama: reasoning sedang menjadi medan pertempuran utama dalam pengeluaran daya komputasi AI.
Prediksi industri menyatakan bahwa pada tahun 2026, inferensi akan menyumbang dua pertiga dari pengeluaran komputasi AI, dan pada tahun 2030, ASIC inferensi khusus mungkin menguasai 45% pasar inferensi. GPU Nvidia tetap mendominasi sisi pelatihan, tetapi di sisi inferensi, arsitektur umumnya menghadapi tantangan dari chip khusus dari berbagai arah.
Taalas berada di posisi paling ekstrem pada spektrum ini: ia melepaskan universalitas bahkan dari "model kelas satu" dan langsung membuat chip khusus untuk "satu model".
Groq menggunakan SRAM untuk menghindari dinding memori, Cerebras menggunakan luas wafer untuk menerobos secara langsung, Etched hanya dioptimalkan untuk arsitektur Transformer, sementara taruhan Taalas lebih agresif: ia mempertaruhkan bahwa model AI akan secara perlahan menjadi stabil, seperti protokol komunikasi yang akhirnya akan berkonsentrasi pada beberapa standar utama. Ketika model tidak lagi berganti setiap bulan, membuat chip khusus terpisah untuk beberapa model paling populer menjadi ekonomis.
Model taruhan akan "membeku"
Vamsi Boppana, Wakil Presiden Senior AMD, mengatakan dalam pengumuman tersebut bahwa tujuan akuisisi ini adalah memberi pelanggan "solusi komputasi optimal untuk setiap beban kerja AI." Kalimat ini diterjemahkan sebagai strategi persaingan: GPU bertanggung jawab atas fleksibilitas, chip Taalas bertanggung jawab atas efisiensi ekstrem, dan pelanggan dapat menggabungkannya sesuai kebutuhan.
Kebenaran logika kombinasi ini bergantung pada asumsi inti: apakah siklus pembaruan model AI akan melambat.
Jika model besar terus mengalami pembaruan arsitektur setiap beberapa bulan, maka pendekatan membakar bobot ke dalam silikon seperti menuangkan beton di pasir bergerak—chip belum balik modal, modelnya sudah usang. Namun, jika kemampuan model cenderung konvergen, dan model teratas secara stabil melayani selama satu hingga dua tahun menjadi hal biasa, maka chip khusus seperti Taalas akan menjadi pilihan yang wajar, seperti chip baseband di industri komunikasi, berubah dari eksperimen gila menjadi pilihan yang logis.
Melihat kembali 12 bulan terakhir, ritme pembaruan model memang mengalami perubahan halus. Interval antara Llama 3.1, 3.2, hingga 4 menjadi lebih panjang, sementara perubahan arsitektur dari GPT-4 ke GPT-4o hingga GPT-5 semakin berkurang. Lebih banyak model baru dikembangkan melalui distilasi, kuantisasi, dan fine-tuning pada arsitektur yang sudah ada, sehingga iterasi model dasar sedang melambat.
Jika tren ini berlanjut, Taalas tepat menebak.
Twitter：https://twitter.com/BitpushNewsCN
Grup diskusi TG BitPush: https://t.me/BitPushCommunity
Langganan TG BitPush: https://t.me/bitpush