Yapay zeka modelleri büyük ölçekli uygulamalara girdikten sonra, çıkarım hesaplama gücüne olan talep artmaya devam ediyor. Eğitim aşamasına kıyasla, modellerin çevrimiçi cevap üretmesi ve ajan görevlerini yürütmesi sırasında çip mimarisi, gecikme ve dağıtım maliyetleri farklı gereksinimler sunuyor. TechCrunch, çıkarım bulut hizmet sağlayıcısı General Compute'un bu alana daha hafif bir dağıtım çözümüyle girmeye çalıştığını rapor ediyor.
General Compute, 15 milyon ABD doları değerindeki tohum sermaye finansmanını tamamladı ve post-investasyon değeri 60 milyon ABD doları oldu. Bu tur, FUSE VC tarafından öncülük edildi ve Carya Venture Partners ile Village Global Ventures katıldı. Şirket, “muhakeme neocloud” olarak konumlanıyor ve temel olarak model çalışma aşamasında gerekli olan AI işleme gücü sağlıyor.
SambaNova çıkarım çipine bahis yapın
AI altyapı pazarında GPU hâlâ ana akım seçimi olmaya devam ediyor, ancak giderek daha fazla şirket, özellikle çıkarım senaryoları için tasarlanmış çiplere yatırım yapıyor. Haberde, General Compute'un daha yoğun GPU kaynaklarını doğrudan takip etmek yerine SambaNova ile iş birliği yaptığı belirtiliyor.
SambaNova, Intel'in desteklediği bir çip şirketi olup uzun süredir çıkarım hesaplamalarına odaklanmaktadır. General Compute ortak kurucusuna göre, SambaNova bu yıl çıkarım sırasında daha yüksek bağlam belleği sunan ve daha esnek bir mimariye sahip yeni bir çip çıkaracak. Şirketin açıklamasına göre, yeni çipin hızı saniyede 600 ila 700 token arasında olacakken, GPU'nun hızı saniyede yaklaşık 250 token kadardır.
General Compute, 300 milyon dolarlık SambaNova SN50 çipleri siparişi verdi ve bu çipleri dağıtan ilk neocloud şirketi olacak.
Mevcut veri merkezleri doğrudan dağıtılabilir.
Çip tedarikinin yanı sıra, AI hesaplama kapasitesinin genişletilmesinin diğer bir zorluğu veri merkezlerinin kurulmasıdır. Birçok yüksek performanslı AI çipi, sıvı soğutma ve daha yüksek elektrik konfigürasyonu gerektirir; bu da veri merkezi dönüşüm maliyetlerini artırır ve hizmete alma süresini uzatır.
General Compute, daha düşük güç tüketimli ve hava soğutmalı bir çıkarım çipi kullanmayı öneriyor. Bu sayede cihazlar, büyük ölçekli altyapı yükseltmeleri yapmadan doğrudan mevcut veri merkezlerine entegre edilebilir. Yeni bir çıkarım bulut şirketi için bu, kira edilebilir hesaplama gücü oluşturmayı hızlandırır.
Şirket, kendi donanımını üçüncü parti tesislerine yerleştirmek için barındırma ortaklıkları geliştirmektedir. Ortaklıklar, geleneksel veri merkezi operatörlerini ve dönüşüm hedefleyen kripto madencilik şirketlerini kapsamaktadır. Habere göre, bazı dönemlerde bitcoin üretimi maliyeti piyasa fiyatını aşmış ve bu durum bazı madenlerin yeni altyapı kullanım alanları aramaya zorlamıştır.
İşlem hızı ve maliyet üzerine odaklanan bulut rekabeti
General Compute, geçen hafta bulut hizmetlerini piyasaya sürdü ve MiniMax 2.7 açık kaynak büyük modelini çalıştırırken hızda önde olduğunu duyurdu. Şirket, bir saat süren kodlama ajantı görevlerini 5 ila 10 dakikaya indirmeyi ve müşteri hizmetleri ses ajantı gibi gerçek zamanlı senaryoların çıkarım maliyetlerini düşürmeyi hedefliyor.
Yatırımcı Joe Hassleman, bu iş birliğinin, CoreWeave'in erken dönemlerde Nvidia ile birlikte hesaplama gücü genişletmesiyle benzer olduğunu düşünüyor. SambaNova için General Compute, çiplerinin yüksek büyüme sahalarına girmesi için önemli bir kanaldır.
Rapor, bulut tabanlı çıkarımın, "çoklu model, çoklu ajan"ın birlikte var olduğu bir piyasa üzerine bahis yaptığını düşünüyor. Gelecekte tek bir model sağlayıcısının uzun vadeli monopoli olmazsa, çıkarım hızı ve birim maliyet daha doğrudan rekabet göstergeleri haline gelecektir. OpenRouter'un yakın zamanda 113 milyon dolarlık B turu finansmanını tamamlaması, çoklu modele erişim ve token maliyeti optimizasyonu talebinin arttığını göstermektedir.