Alman AI Konsorsiyumu, Soofi S 30B-A3B'yi tanıttı ve İngilizce ve Almanca testlerde üstünlük sağladı

ME Haberleri'ne göre, 13 Temmuz (UTC+8) tarihinde, Almanya AI Derneği koordine eden bir konsorsiyum, Soofi S 30B-A3B adlı açık kaynaklı büyük dil modelini yayınladı. Bu modelin toplam parametre sayısı 31,6 milyar olup, her token için yaklaşık 3,2 milyar parametre aktif hale getiriliyor. MoE mimarisi, Mamba-2 ve standart dikkat katmanlarının karışımından oluşuyor. Model tamamen Deutsche Telekom München Endüstriyel AI Bulutu'nda eğitildi ve eğitim verilerinde Almanca oranı birinci aşamada %7,2'den ikinci aşamada %15,3'e yükseltildi. Standart testlerde Soofi S, İngilizce ve Almanca için tamamen açık kaynaklı tüm modeller arasında en yüksek toplam puanı aldı ve OLMo 3 32B ile Apertus 70B'yi geçti. HumanEval'de %73,8, MBPP'de 70,2 ve Almanca versiyonu MBPP'de 84,2 puan aldı. Bağlam penceresi en fazla 1 milyon token'u destekliyor ve 40.000 token uzunluğunda, aynı boyutta yoğun modellere kıyasla üretkenlik yaklaşık 8 kat daha yüksek. Model ağırlıkları açık kaynaklı hale getirildi. 🔗 Makaleyi okuyun: https://the-decoder.com/german-ai-consortium-releases-soofi-s-an-open-30b-model-that-tops-benchmarks-in-both-english-and-german via AI HOT · https://aihot.virxact.com/items/cmrj6actv0651bilkm5pfz6ub (Kaynak: AiHot)