Le consortium allemand d’intelligence artificielle lance Soofi S 30B-A3B, qui surpasse les benchmarks en anglais et en allemand

Selon les nouvelles de ME, le 13 juillet (UTC+8), un consortium de recherche coordonné par l'Association allemande de l'IA a publié le modèle de langage à grande échelle open source Soofi S 30B-A3B. Ce modèle compte 31,6 milliards de paramètres au total, avec environ 3,2 milliards de paramètres activés par token, utilisant une architecture MoE combinant Mamba-2 et des couches d'attention standard. Le modèle a été entièrement entraîné sur le cloud industriel allemand de l'IA de Deutsche Telekom à Munich, avec la part du contenu en allemand augmentant de 7,2 % à la première phase à 15,3 % à la deuxième phase. Sur les tests de référence, Soofi S obtient le meilleur score global en anglais et en allemand parmi tous les modèles entièrement open source, surpassant OLMo 3 32B et Apertus 70B. Il obtient 73,8 % sur HumanEval, 70,2 sur MBPP et 84,2 sur la version allemande de MBPP. La fenêtre de contexte prend en charge jusqu'à 1 million de tokens, avec un débit de génération environ 8 fois supérieur à celui des modèles denses de taille similaire à une longueur de 40 000 tokens. Les poids du modèle sont désormais open source. 🔗 Lire l'article original : https://the-decoder.com/german-ai-consortium-releases-soofi-s-an-open-30b-model-that-tops-benchmarks-in-both-english-and-german via AI HOT · https://aihot.virxact.com/items/cmrj6actv0651bilkm5pfz6ub (source : AiHot)