AMD Mengakuisisi Taalas untuk Menanamkan Bobot Model AI ke dalam Silikon untuk Inferensi

Penulis: Xiao Bing

Pada 6 Agustus, AMD mengumumkan akuisisi perusahaan chip Toronto, Taalas, dengan harga transaksi yang tidak diungkapkan. Perusahaan rintisan yang didirikan pada 2023 dan telah mengumpulkan dana sebesar $219 juta ini melakukan sesuatu yang terdengar agak gila: membakar bobot model AI langsung ke lapisan logam chip, menciptakan chip khusus yang hanya dapat menjalankan satu model.

GPU bekerja dengan menyimpan parameter model di memori berbandwidth tinggi (HBM), lalu menggerakkan data bolak-balik ke unit komputasi selama inferensi. Proses "pengangkutan" ini menghabiskan banyak energi dan waktu, dan dikenal di industri sebagai "dinding memori". Pendekatan Taalas adalah menghilangkan pengangkutan sama sekali, dengan meng固化 bobot langsung ke transistor chip, sehingga penyimpanan dan komputasi menjadi satu kesatuan.

Harganya adalah chip ini hanya dapat menjalankan satu model, tetapi manfaatnya adalah peningkatan kecepatan dan efisiensi energi sebesar satu orde.

Chip HC1 dari Taalas didasarkan pada proses 6nm TSMC, dengan luas chip 815 mm² dan 53 miliar transistor, dengan model bawaan Llama 3.1 8B dari Meta.

Data performa HC1: sekitar 17.000 token/detik per pengguna. Sebagai perbandingan, Nvidia H200 mencapai sekitar 230 token/detik dan H100 sekitar 150 token/detik pada model yang sama. Perbedaan kecepatan 73 kali, dengan konsumsi daya hanya sepertiga dari kedua model tersebut.

Akuntansi ekonomi yang lebih intuitif: Biaya inferensi yang dilaporkan Taalas sekitar 0,75 sen per juta Token (Llama 8B), sementara solusi GPU berada di antara 20 hingga 49 sen. Setiap kartu HC1 mengonsumsi daya 250W, satu rak pendingin udara standar yang memuat 10 kartu hanya membutuhkan 12-15 KW, tanpa memerlukan pendinginan cair, sedangkan rak GPU sering kali membutuhkan 120-600 KW.

Analis Forbes Karl Freund menilai pada Februari: "10 kali lebih cepat dari platform inferensi tercepat (Cerebras Wafer-Scale Engine), dan dua orde lebih cepat dari GPU."

Namun, ada beberapa batasan penting. HC1 menggunakan format data 3-bit buatan Taalas yang dikombinasikan dengan parameter 6-bit, sehingga kuantisasi sangat agresif dan kehilangan kualitas pada tugas inferensi kompleks adalah hal yang pasti terjadi. Data 17.000 token/detik berasal dari pengujian benchmark pabrikan dengan input 1K/output 1K, dan tidak merepresentasikan kinerja nyata di lingkungan produksi. Selain itu, Llama 3.1 8B adalah model yang dirilis pertengahan 2024, dan versi kuantisasi dengan 8B parameter bahkan dapat berjalan di Raspberry Pi 5. HC1 menunjukkan potensi arsitektur, bukan daya saing produk yang matang.

Membakar model ke dalam chip, masalah paling intuitif adalah: bagaimana jika model di-update? Apakah chip menjadi tidak berguna?

Jawaban Taalas: Tidak akan usang. Siklus desain ASIC tradisional memerlukan lebih dari dua tahun. Taalas mengembangkan proses desain otomatis yang hanya memerlukan perubahan sedikit masker logam pada lapisan atas chip untuk mengompilasi model baru menjadi chip baru, dengan siklus sekitar 8 minggu. Perusahaan telah memperhitungkan biaya 3 pembaruan chip dalam model biaya selama siklus hidup 4 tahun.

Jawaban ini dapat mengatasi sebagian kecemasan, tetapi tidak dapat menghilangkannya sepenuhnya.

Keunggulan fleksibilitas GPU terletak pada kemampuan kartu yang sama untuk menjalankan Llama hari ini, Claude besok, dan model baru yang belum dirilis lusa. Chip Taalas tidak dapat melakukan hal ini. Jika seorang pelanggan membutuhkan beberapa model sekaligus (yang sangat umum terjadi di lingkungan produksi), mereka perlu menyediakan chip berbeda untuk setiap model, sehingga meningkatkan kompleksitas manajemen inventaris dan operasional.

HC2 sedang dalam pengembangan, dengan target model berukuran sekitar 20 miliar parameter, menggunakan peningkatan presisi 4-bit floating point. Taalas awalnya berencana untuk mendukung model tingkat terdepan sebelum akhir 2026.

Akuisisi AMD menciptakan sinergi antara lini produk Instinct GPU dan sistem rak Helios, memungkinkan pelanggan menggunakan GPU untuk menangani beban kerja yang fleksibel dan beragam, serta chip Taalas untuk inferensi model tunggal yang stabil dan frekuensi tinggi.

AMD mengakuisisi Taalas, yang merupakan transaksi terbaru dalam gelombang akuisisi chip inferensi selama 8 bulan terakhir dalam konteks industri.

Pada Desember 2025, Nvidia mengakuisisi Groq senilai $20 miliar, menguasai arsitektur inferensi latensi rendah berbasis SRAM.

Pada Mei 2026, Cerebras melakukan IPO dengan kapitalisasi pasar sekitar $560 miliar, menjadi IPO teknologi terbesar sejak Snowflake pada 2020.

Pada Juni, Etched mengakhiri masa selama lebih dari dua tahun bersembunyi, mengumumkan bahwa chip pertamanya yang dirancang khusus untuk Transformer telah berhasil diproduksi menggunakan proses N4P dari TSMC, dengan kontrak pelanggan senilai lebih dari 1 miliar dolar AS. Dilaporkan bahwa Intel telah menandatangani surat niat akuisisi dengan SambaNova, sementara Qualcomm sedang berkomunikasi dengan Tenstorrent.

Transaksi-transaksi ini menunjukkan kesimpulan yang sama: penalaran sedang menjadi medan pertempuran utama dalam pengeluaran daya komputasi AI.

Prediksi industri menyatakan bahwa pada tahun 2026, inferensi akan menyumbang dua pertiga dari pengeluaran komputasi AI, dan pada tahun 2030, ASIC inferensi khusus mungkin menguasai 45% pasar inferensi. GPU Nvidia tetap mendominasi sisi pelatihan, tetapi di sisi inferensi, arsitektur umumnya menghadapi tantangan dari chip khusus dari berbagai arah.

Taalas berada di ujung paling ekstrem spektrum ini: ia melepaskan fleksibilitas bahkan dari "model kelas satu" dan secara langsung membuat chip khusus untuk "satu model".

Groq mengganti HBM dengan SRAM untuk menghindari dinding memori, Cerebras menggunakan luas wafer untuk menerobos secara brute force, Etched hanya dioptimalkan untuk arsitektur Transformer, sementara taruhan Taalas lebih agresif: ia mempertaruhkan bahwa model AI akan secara perlahan stabil, seperti protokol komunikasi yang akhirnya akan menyatu menjadi beberapa standar utama. Ketika model tidak lagi berganti setiap bulan, memproduksi chip khusus untuk beberapa model paling populer menjadi ekonomis.

Vamsi Boppana, Wakil Presiden Senior AMD, mengatakan dalam pengumuman tersebut bahwa tujuan akuisisi ini adalah memberi pelanggan "solusi komputasi optimal untuk setiap beban kerja AI." Kalimat ini diterjemahkan sebagai strategi persaingan: GPU bertanggung jawab atas fleksibilitas, chip Taalas bertanggung jawab atas efisiensi ekstrem, dan pelanggan dapat menggabungkannya sesuai kebutuhan.

Kebenaran logika kombinasi ini bergantung pada asumsi inti: apakah siklus pembaruan model AI akan melambat.

Jika model besar terus mengalami pembaruan arsitektur setiap beberapa bulan, maka cara menanam bobot ke dalam silikon seperti menuangkan beton di pasir bergerak—chip belum balik modal, model sudah ketinggalan zaman. Namun, jika kemampuan model cenderung konvergen, dan model teratas secara stabil melayani selama satu hingga dua tahun menjadi hal biasa, maka chip khusus seperti Taalas akan menjadi pilihan yang wajar, seperti chip baseband di industri komunikasi, berubah dari eksperimen gila menjadi pilihan yang logis.

Melihat kembali 12 bulan terakhir, ritme pembaruan model memang mengalami perubahan halus. Interval antara Llama 3.1, 3.2, hingga 4 menjadi lebih panjang, sementara perubahan arsitektur GPT dari 4 ke 4o hingga 5 semakin berkurang. Lebih banyak model baru dikembangkan melalui distilasi, kuantisasi, dan fine-tuning pada arsitektur yang sudah ada, sehingga iterasi model dasar sedang melambat.

Jika tren ini berlanjut, Taalas tepat menebak.