Yazar: Xiao Bing
AMD, Taalas'ı satın alıyor: Çıkarım çipleri artık model ağırlıklarını silikonun içine kazıyor
6 Ağustos'ta AMD, Toronto merkezli çip şirketi Taalas'ı satın aldığını duyurdu; işlem fiyatı açıklanmadı. 2023 yılında kurulan ve toplam finansmanı 219 milyon dolar olan bu startup, biraz çılgınca bir şey yaptı: AI modellerinin ağırlıklarını doğrudan çipin metal katmanlarına yaktı ve sadece bir modeli çalıştıran özel çipler üretti.
GPU, model parametrelerini yüksek bant genişlikli bellekte (HBM) tutar ve çıkarım sırasında verileri hesaplama birimleri arasında sürekli taşır. Bu "taşınma" süreci, endüstride "bellek duvarı" olarak bilinen büyük bir enerji ve zaman tüketimine neden olur. Taalas, ağırlıkları çipin transistörlerine sabitleyerek taşımayı tamamen ortadan kaldırır ve depolama ile hesaplama birleştirilir.
Bu çip yalnızca bir model çalıştırabilir, ancak hız ve verimlilikte sıralarca artış sağlar.
17000 token/sekund ne anlama gelir?
Taalas'ın teknik doğrulama çipi HC1, TSMC'nin 6 nm proses teknolojisini kullanır, 815 mm² çip alanı ve 53 milyar transistöre sahiptir; dahili modeli Meta'nın Llama 3.1 8B'dir.
HC1'nin performans verisi: Tek bir kullanıcı başına yaklaşık 17.000 token/saniye. Karşılaştırma olarak, Nvidia H200 aynı modelde yaklaşık 230 token/saniye, H100 ise yaklaşık 150 token/saniye. 73 kat hız farkı, tüketilen güç ise sadece ikincisinin onda biri.
Daha net bir ekonomik hesap: Taalas,推理 maliyetini yaklaşık olarak her milyon Token için 0,75 sent (Llama 8B) olarak bildirdi; GPU çözümleri ise 20 ile 49 sent arasında. Her HC1 kart 250 W güç tüketiyor, standart bir hava soğutmalı raf 10 kartla yalnızca 12-15 kW güç tüketiyor, sıvı soğutmaya gerek yokken, GPU rafı genellikle 120-600 kW güç tüketiyor.
Forbes analisti Karl Freund, Şubat'ta yaptığı değerlendirmede: “Cerebras wafer-level engine'den 10 kat daha hızlı, GPU'lardan iki sıralık daha hızlı.”
Ancak birkaç önemli sınırlama var. HC1, Taalas'ın kendi geliştirdiği 3-bit veri formatını 6-bit parametrelerle birlikte kullanıyor ve kuantizasyon çok agresif; karmaşık çıkarım görevlerinde kalite kaybı kesinlikle mevcut. 17.000 token/saniye verisi, 1K girdi/1K çıktı ile yapılan üretici benchmark testinden gelmektedir ve üretim ortamındaki gerçek performansı yansıtmaz. Ayrıca Llama 3.1 8B, 2024 ortasında yayınlanan bir modeldir ve 8B parametreli kuantize edilmiş versiyonu hatta Raspberry Pi 5 üzerinde çalışabilir. HC1, olgun bir ürünün rekabet gücünü değil, mimarinin potansiyelini göstermektedir.
Model değiştirme nasıl yapılır?
Modeli çipe yazmak, en doğrudan soru: Model güncellendiğinde, çip çöpe mi gidiyor?
Taalas'ın yanıtı şudur: Kaldırılmayacak. Geleneksel ASIC tasarım döngüsü iki yıldan uzundur. Taalas, yeni bir modeli yeni bir çipe derlemek için yalnızca çip üst katmanındaki az sayıda metal maskeyi değiştirmenizi sağlayan otomatik bir tasarım süreci geliştirdi; bu süreç yaklaşık 8 hafta sürer. Şirket, maliyet modelinde 4 yıllık yaşam döngüsü içinde 3 kez çip güncellemesi maliyetini önceden varsaymıştır.
Bu yanıt, kaygının bir kısmını giderir, ancak tamamen ortadan kaldırmaz.
GPU'nun esnekliği, aynı kartın bugün Llama'yı çalıştırmakta, yarın Claude'u çalıştırmakta ve bir sonraki gün henüz yayınlanmamış yeni bir modeli çalıştırmakta olmasındadır. Taalas'ın çipi bunu yapamaz. Bir müşterinin üretim ortamında oldukça yaygın olan birden fazla model hizmetine aynı anda ihtiyacı varsa, her model için farklı bir çipe ihtiyaç duyulur ve envanter yönetimi ve operasyonel karmaşıklık artar.
HC2 geliştiriliyor ve hedeflenen model boyutu yaklaşık 20 milyar parametre, 4-bit kayan nokta ile doğruluk artırılıyor. Taalas, öncü düzey model desteği için orijinal olarak 2026 sonuna kadar planlıyordu.
AMD'nin satın alınması, Instinct GPU ürün hattı ve Helios raf sistemi arasında sinerji yaratıyor; müşteriler, GPU'ları esnek ve değişken iş yükleri için, Taalas çiplerini sabit ve yüksek frekanslı tek model çıkarımı için kullanabiliyor.
Yorumlama çiplerinin silahlanma yarışı
AMD, Taalas'ı satın alarak, son 8 aydır süren çıkarım çipleri satın alma dalgasının en son işlemi oldu.
2025 yılında Nvidia, SRAM tabanlı düşük gecikmeli çıkarım mimarisini ele geçirmek için Groq'u 20 milyar dolarla satın aldı.
Mayıs 2026'da, Cerebras, yaklaşık 56 milyar dolarlık bir piyasa değeriyle 2020 Snowflake'den bu yana en büyük teknoloji IPO'su oldu.
Haziran'da Etched, iki yıldan fazla bir süredir gizlilik içindeyken, ilk Transformer özel çipini TSMC N4P prosesinde tamamladığını ve 1 milyar doların üzerinde müşteri sözleşmesine sahip olduğunu duyurdu. Intel'in SambaNova ile satın alma niyet mektubu imzaladığı rapor edildi, Qualcomm ise Tenstorrent ile görüşmelerde.
Bu işlemler aynı sonuca işaret ediyor: çıkarım, AI hesaplama harcamalarının ana savaş alanı haline geliyor.
Endüstri tahminlerine göre 2026 yılında çıkarım, AI hesaplama harcamalarının üçte ikisini oluşturacak ve 2030 yılına kadar özel çıkarım ASIC'leri çıkarım pazarının %45'ini ele geçirebilir. Nvidia'nın GPU'ları hâlâ eğitim tarafında egemen olsa da, çıkarım tarafında genel mimarisi, çeşitli yönlerden gelen özel çiplerle karşı karşıya kalıyor.
Taalas, bu spektrumun en uç noktasında yer alıyor: "birinci sınıf model" genelliğini bile terk edip doğrudan "tek bir model" için özel çip üretiyor.
Groq, bellek duvarını aşmak için SRAM ile HBM'yi değiştirmektedir; Cerebras,晶圆 düzeyi alanla brute force ile aşmaktadır; Etched, yalnızca Transformer mimarisi için optimize edilmiştir; Taalas ise daha cesaretli bir tahminde bulunuyor: AI modellerinin, iletişim protokollerinin sonunda az sayıda standarta doğru yakınsaması gibi, zamanla istikrarlı hale geleceğine inanıyor. Modeller aylık olarak değiştirilmeye başladığında, en popüler birkaç model için her biri özel çip üretmek ekonomik olarak karlı olacaktır.
Tahmin modeli “donacak”
AMD'nin üst düzey başkanı Vamsi Boppana, duyuruda, satın alımın amacı müşterilere "her AI iş yükü için en uygun hesaplama çözümünü" sunmak olduğunu söyledi. Bu ifade, rekabet stratejisi olarak şu şekilde yorumlanabilir: GPU esneklik için, Taalas çipleri ise maksimum verimlilik için; müşteriler ihtiyaçlarına göre kombinasyon yapar.
Bu kombinasyon mantığının geçerli olup olmayışı, bir temel varsayıma bağlıdır: AI modellerinin güncelleme döngüsü yavaşlayacak mı.
Eğer büyük modeller her birkaç ayda bir mimari düzeyde güncellenmeye devam ederse, ağırlıkları silikon üzerine dökme yaklaşımı, betonu çamur üzerine dökmeye benzer; çip henüz maliyetini geri alamadan model artık eski kalır. Ancak model yetenekleri bir noktada sabitlenir ve öncü modellerin iki yıl boyunca kararlı bir şekilde hizmet vermesi normal hale gelirse, Taalas tarzı özel çipler, telekomünikasyon endüstrisindeki baz istasyonu çipleri gibi, çılgın denemelerden doğal bir seçim haline gelir.
Geçen 12 ayı gözden geçirdiğimizde, model güncellemelerinin hızında ince bir değişiklik gözlemleniyor. Llama serisi 3.1'den 3.2'ye, ardından 4'e geçiş aralıkları uzuyor; GPT 4'ten 4o'ye, ardından 5'e geçişlerde mimari değişiklikler daralıyor. Daha fazla yeni model, mevcut mimariler üzerinde distilasyon, kuantizasyon ve ince ayarla oluşturuluyor; temel modellerin güncellenmesi yavaşlıyor.
Eğer bu trend devam ederse, Taala doğru tahmin etti.
Twitter：https://twitter.com/BitpushNewsCN
BitPush TG iletişim grubu: https://t.me/BitPushCommunity
BitPush TG abonelik: https://t.me/bitpush