Beating İzleme'ye göre,边缘数据库 şirketi SQLite AI, açık kaynaklı çıkarım motoru WASTE'yi duyurdu. Bu, Kimi K3'ün tüm katmanları ve uzmanlarını koruyarak 64 GB'lık bir MacBook Pro üzerinde çalışmasını sağlıyor. Dönüştürülmüş model yaklaşık 1 TB boyutunda ve saniyede 0,49 ile 0,54 Token üretiyor. WASTE, yaklaşık 27 GB model gövdesini bellekte tutuyor. 80.000'den fazla uzman, dahili SSD'ye yerleştiriliyor. Her Token üretildiğinde, yalnızca şu anda çağrılan uzman diskten okunuyor. Bu sürümde distilasyon, kesme veya uzman silinmesi yok. Ancak uzman ağırlıkları 3-bit'e yeniden nicelendirildi ve model gövdesi 4-bit ve 8-bit ile kullanılıyor.
SQLite AI, Kimi K3 için 64 GB MacBook üzerinde WASTE çıkarım motorunu açık kaynak hale getiriyor
MarsBitPaylaş
Özet
SQLite AI, çıkarım motoru WASTE’i açık kaynak hale getirdi ve tam Kimi K3 modelini 64 GB’lık bir MacBook Pro’da çalıştırmayı mümkün kıldı. Bu zincir içi haber, modelin saniyede 0,49 ile 0,54 token hızında çalışması nedeniyle AI + kripto haberlerinde büyük bir adım olarak işaretleniyor. 1 TB’lık model, 27 GB’lık temel yapıyı bellekte tutuyor ve gerekli olduğunda uzmanları SSD’den yükliyor. Ağırlıklar 3-bit’e yeniden nicelendirildi; temel yapı 4-bit ve 8-bit kullanıyor.
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.