ME Haberleri'ne göre, 27 Mayıs'ta (UTC+8), Beating izleme sistemi tarafından tespit edildiğine göre, kendi geliştirilen büyük model MiMo-V2.5 serisi için API fiyatlarında kalıcı indirim uygulandıktan sonra, Xiaomi büyük model ekibi lideri Luo Fuli, X platformunda algoritma maliyet azaltma mekanizmasını duyurdu. Luo Fuli, API fiyatlarının DeepSeek ile eşitlendikten sonra, Xiaomi'nin yüksek yükteki çıkarım motorunun hâlâ maliyet-gelir dengesini koruyabildiğini açıkladı. Maliyet azalması, karışık dikkat mimarisi ve katmanlı KV önbellek optimizasyonundan kaynaklanmaktadır. Önbellek vuruşu (Cache Hit) maliyetini %99 azaltma hedefine yönelik olarak, Xiaomi çıkarım çerçevesi, kayan pencere dikkati (SWA) için katmanlı KV önbellek optimizasyonunu gerçekleştirdi. Üretim testleri, katmanlı optimizasyonun önbellek token kapasitesini 5 kat artırdığını ve önbellek maliyetini %80 azalttığını gösterdi. Küresel dikkat modülleri arasındaki önbellek okuma çakışması (Cache Read Overlap) teknolojisiyle birlikte, sistem önbellek vuruşunun gerçek maliyetini daha da düşürdü. Temel giriş ve çıkış maliyetlerinde %60 ila %80 azalma nedeni olarak, Luo Fuli, modelde uygulanan 1:7 katman seyreltme oranını, yani küresel dikkat (GA) ile kayan pencere dikkati (SWA) katmanlarının oranını gösterdi. Uzun metin ön-doldurma (Prefill) aşamasında, 60 katman SWA yalnızca yerel kayan pencereyi hesaplar; bu da 70 katmanlı MiMo-V2.5-Pro modelinin toplam dikkat hesaplama yükünü, 10 katmanlı geleneksel küresel GQA modeline eşdeğer hale getirir. Aşırı düşük hesaplama yükü, orijinal çıkarım maliyetini düşürür ve fiyat indirimi öncesi Xiaomi'ye 2 ila 3 kat aralığında kâr payı bırakır. Bu nedenle, indirim yapısal maliyet azaltmanın bir yansımasıdır, zararla rekabet değildir. Luo Fuli, düşük maliyetli çıkarım hizmetlerinin uç nokta akıllılık talebini teşvik ettiğini belirtti. Büyük model şirketlerinin, algoritma ve çıkarım sistemlerinin temel düzeydeki koordinasyonuyla gerçek çalışma maliyetlerini maliyet-gelir dengesi altına düşürerek, körüklenmiş fiyat savaşlarından kaçınması gerektiğini ifade etti. (Kaynak: BlockBeats)
Xiaomi'nin MiMo-V2.5 Modeli, 10 Katman Eşdeğer Dikkat Hesaplaması ile Maliyetleri Azaltıyor
KuCoinFlashPaylaş
Özet
Xiaomi'nin MiMo-V2.5 modeli, 10 katman eşdeğer dikkat hesaplaması kullanarak maliyetleri azaltıyor. 70 katmanlı Pro sürümü, önbellek vuruş maliyetlerini %99, girdi/çıktı maliyetlerini ise %60-80 azaltıyor. Zincir üzerindeki haberlere göre model, genel ve kayan pencere dikkati arasında 1:7 seyreltme oranı kullanıyor. Küresel kripto politika değişiklikleri, bu verimlilik kazançlarının AI dağıtımını nasıl etkileyeceğini etkileyebilir.
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.