Beating İzleme'ye göre, Çinli büyük model üreticisi MiniMax, Hugging Face üzerinde orijinal çokmodallı karışık uzman (MoE) modeli MiniMax M3 ağırlıklarını açık kaynak olarak yayınladı. MiniMax M3'ün toplam parametre sayısı 428 milyar, tek bir Token için aktive edilen parametre sayısı 23 milyar ve orijinal olarak 1 milyon uzunlukta bağlam desteği sunar. Dağıtım için GPU bellek maliyetini azaltmak amacıyla geliştirme ekibi MXFP8 kuantize versiyonunu yayınladı ve SGLang, vLLM, Transformers gibi ana akım çıkarım çerçeveleriyle uyumlu hale getirdi. Çokmodallı tasarım açısından, MiniMax M3, çokmodallı hizalamayı sonrası eğitimde değil, ön eğitim aşamasında metin, görüntü ve video için ortak eğitim yaparak orijinal semantik entegrasyonu sağlar. Çalışma mekanizması olarak, model iki çıkarım modu sunar: Karmaşık mantık ve araç düzenlemesi için Thinking (Düşünme) modu ve düşük gecikmeli diyalog ve kod üretimi için Non-thinking (Düşünmeyen) modu. Milyonlarca uzun bağlamı destekleyen temel çekirdek, aynı anda açık kaynak olarak yayınlanan hafifleştirilmiş dikkat çekirdek kütüphanesi MiniMax Sparse Attention (MSA)’dır. Resmi verilere göre, MSA, gruplanmış sorgu dikkati (GQA) blok arama mekanizmasını kullanır; 1 milyon Token’lık çok uzun bağlam testlerinde, NVIDIA Blackwell (SM100) mimarisine optimize edilmiş MSA operatörleri, geleneksel tam dikkat mekanizmasına kıyasla ön doldurma aşamasında 9 katından fazla hızlanma ve çözme aşamasında 15 kat hızlanma sağlarken, çıkarım maliyetini de önemli ölçüde azaltır.
MiniMax M3, Yerel Çoklu Mod Desteği ve 1M Bağlam Uzunluğu ile Açık Kaynak Hale Getirildi
MarsBitPaylaş
Özet
MiniMax, Hugging Face üzerinde 428 milyar parametre ve 1 milyon token bağlam uzunluğuna sahip yerel çoklu modlu MoE modeli M3'ü açık kaynak hale getirdi. Model, metin, görüntü ve video verilerini yerel semantik birleştirme ile destekliyor. MXFP8 kuantize edilmiş bir sürümü, SGLang, vLLM ve Transformers ile uyumludur. Büyük modeller için araçlara olan açık ilgi yüksek seviyede kalıyor. M3, önceden doldurma ve dekodlamayı hızlandıran açık kaynaklı MiniMax Sparse Attention (MSA) çekirdeğini kullanıyor. Korku ve avarelik endeksiyle yansıyan piyasa duygusu, AI altyapısına yönelik artan bir güven gösteriyor.
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.