SQLite AI, Kimi K3'ü 64 GB MacBook'ta çalıştırmak için WASTE Inference Engine'i açık kaynak hale getiriyor

iconKuCoinFlash
Paylaş
AI summary iconÖzet
SQLite AI, WASTE çıkarım motorunu açık kaynak hale getirdi ve tam Kimi K3 modelini 64 GB’lık bir MacBook Pro’da çalıştırmayı mümkün kıldı. 1 TB’ya dönüştürülen model, saniyede 0,49–0,54 token hızında çalışıyor. WASTE, SSD’den yalnızca gerekli uzmanları yükleyerek 27 GB’lık temel yapıyı bellekte tutuyor. Ağırlıklar, 3-bit ve 4–8-bit olarak yeniden nicelendirildi. Bu AI + kripto haberi, model verimliliği açısından zincir üstü haberlerde bir ilerleme adımını işaret ediyor.
ME AI Haberi, Beating İzleme'ye göre, kenar veritabanı şirketi SQLite AI, WASTE adlı açık kaynak çıkarım motorunu duyurdu. Bu, Kimi K3'ün tüm katmanları ve uzmanlarını koruyarak 64GB'lık bir MacBook Pro üzerinde çalışmasını sağlıyor. Dönüştürülmüş model yaklaşık 1 TB boyutunda ve saniyede 0,49 ile 0,54 Token üretiyor. WASTE, yaklaşık 27 GB model gövdesini bellekte tutuyor. 80.000'den fazla uzman, dahili SSD'de saklanıyor. Her Token üretildiğinde, yalnızca çağrılan uzman diskten okunuyor. Bu sürümde öğrenme, kesme veya uzman silinmesi yok. Ancak uzman ağırlıkları 3-bit'e yeniden nicelendirildi ve model gövdesi 4-bit ve 8-bit kullanıyor. (Kaynak: MLion)
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir. Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.