ME Haberleri, 22 Nisan (UTC+8), Beating izleme sistemine göre, Princeton doktora öğrencisi Yifan Zhang, X üzerinde DeepSeek V4'ün teknik ayrıntılarını güncelledi. 19 Nisan'da "V4 gelecek hafta" dedi ve üç mimari bileşenin adını listeledi; bu gece tam parametre tablosunu açıkladı ve aynı zamanda 285B parametreli hafif bir V4-Lite sürümünün varlığını ilk kez ortaya koydu. V4'ün toplam parametresi 1,6T. Dikkat mekanizması DSA2; DeepSeek'in V3.2'de kullandığı DSA (DeepSeek Sparse Attention) ve bu yılın başındaki makalesinde önerdiği NSA (Native Sparse Attention) olmak üzere iki seyrek dikkat yöntemi birleştirilmiştir; head-dim 512, Seyrek MQA ve SWA (kayan pencere dikkati) ile birlikte kullanılmaktadır. MoE katmanında toplam 384 uzman vardır, her seferde 6'sı etkinleştirilir ve Fused MoE Mega-Kernel kullanılır. Kalıntı bağlantıları Hyper-Connections ile devam etmektedir. Eğitim tarafında ilk kez açığa çıkarılan ayrıntılar şunlardır: Optimizasyon aracı olarak Muon (Newton-Schulz ortogonalizasyonunu momentum güncellemelerine uygulayan bir matris düzeyi optimizasyonu) kullanılmıştır; ön-eğitim bağlam uzunluğu 32K'dır; takviyeli öğrenme aşamasında GRPO kullanılmış ve KL dağılımı düzeltmesi eklenmiştir. Sonuçta bağlam uzunluğu 1M'ye çıkarılmıştır. Modality tamamen metindir. Zhang, DeepSeek'te çalışmakta değildir ve DeepSeek resmi olarak bu bilgilerle ilgili bir yanıt vermemiştir. (Kaynak: BlockBeats)
DeepSeek V4 Teknik Özellikleri Açıklanıyor: 1,6T Parametre, 384 Uzman Aktif, 6 Aktivasyon
KuCoinFlashPaylaş
Özet
22 Nisan'da (UTC+8), Princeton Doktora öğrencisi Yifan Zhang, X üzerinde DeepSeek V4 için teknik göstergeler paylaştı. Model, 1,6 trilyon parametreye, her adımda 6 etkinleşen 384 MoE uzmanına ve 285 milyar parametrelik bir V4-Lite sürümüne sahip. Eğitim, Muon optimizatörü, 32K ön-eğitim bağlam uzunluğu ve 1M son bağlam uzunluğu kullanılarak gerçekleştirildi. DeepSeek henüz yorum yapmadı. Piyasa duygusu hâlâ karışık; korku ve açgözlülük endeksi orta düzeyde belirsizliği gösteriyor.
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.