ME Haberleri'ne göre, 20 Mayıs'ta (UTC+8), Beating izleme sistemi tarafından raporlanan bilgiye göre, wafer-level çip şirketi Cerebras, kurumsal testlerde trilyon parametreli büyük model Kimi K2.6'yı hayata geçirdi. Bu model, 12 inçlik silikon wafer üzerinde çipleri doğrudan entegre ederek geleneksel board-level iletişim bağlantı gecikmelerini tamamen ortadan kaldırdı. Üçüncü parti değerlendirme kuruluşu Artificial Analysis'ın gerçek zamanlı ölçümlerine göre, üretme hızı 981 token/s seviyesine ulaştı ve ana akım GPU bulut hizmetlerinden 6,7 kat daha hızlıdır. 10.000 giriş ve 500 çıktı token'lı uzun metin görevlerinde, toplam yanıt süresi Kimi'nin resmi arayüzündeki 163,7 saniyeden 5,6 saniyeye düşürüldü ve bu da 29 kat hızlanma anlamına gelir. Model ağırlıkları, aktifasyon değerlerini akışlı olarak birden fazla wafer arasında dağıtarak, katmanlar arası iletişim tamamen wafer içi ağ dokusu üzerinde çalışır hale getirildi ve fiziksel iletişim bant genişliği NVIDIA NVL72 mimarisindeki NVLink'in 200 katından fazlasına ulaştı. Dağıtık hesaplama optimizasyonu ile birlikte, Kimi K2.6, orijinal 4-bit (4 bit) ağırlıklarını kayıpsız şekilde depolarken, hesaplama sırasında 16-bit (16 bit) kayan nokta sayılarını kullanarak doğruluğu koruyor ve özel hesaplama çekirdekleri ile tahminli dekodlama ile gerçek zamanlı çalışmayı sağlıyor. (Kaynak: BlockBeats)
Cerebras, Uzun Metin Görevlerinde 29 Kat Hız Artışı ile Kimi K2.6 Modelini Test Ediyor
KuCoinFlashPaylaş
Özet
Cerebras, 20 Mayıs'ta (UTC+8), wafer ölçekli çiplerini kullanarak trilyon parametreli Kimi K2.6 modelini test ettiğini açıkladı. Şirket, çipleri doğrudan tam 12 inçlik bir wafer üzerine monte ederek iletişim gecikmelerini azalttı. Artificial Analysis'e göre, model 981 token/s hızla metin üretti, bu da standart GPU hizmetlerinden 6,7 kat daha hızlıdır. 10.000 girdi ve 500 çıktı token'lı uzun metin testinde, yanıt süresi 163,7 saniyeden 5,6 saniyeye düştü, bu da 29 katlık bir iyileşme anlamına gelir. Zincir üstü veriler, AI altyapısındaki performans kazanımlarını hâlâ vurgulamaktadır.
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.