Немецкий консорциум ИИ запускает Soofi S 30B-A3B, превосходит по показателям на английских и немецких тестах

Согласно новости ME, 13 июля (UTC+8) исследовательский консорциум, координируемый Немецкой ассоциацией ИИ, выпустил открытую большую языковую модель Soofi S 30B-A3B. Общее количество параметров модели составляет 31,6 миллиарда, при этом для каждого токена активируется примерно 3,2 миллиарда параметров. Модель использует архитектуру MoE с гибридом Mamba-2 и стандартных слоев внимания. Обучение модели полностью проводилось на облачной платформе Munich Industrial AI Cloud компании Deutsche Telekom; доля немецкого языка в обучающих данных увеличилась с 7,2% на первом этапе до 15,3% на втором этапе. В тестах Soofi S показала наивысший общий результат среди всех полностью открытых моделей по английскому и немецкому языкам, превзойдя OLMo 3 32B и Apertus 70B. Результат на HumanEval — 73,8%, на MBPP — 70,2, на немецкой версии MBPP — 84,2. Длина контекстного окна поддерживает до 1 миллиона токенов; при длине в 40 000 токенов пропускная способность генерации составляет примерно в 8 раз выше, чем у аналогичных плотных моделей. Веса модели уже открыты. 🔗 Читать оригинал: https://the-decoder.com/german-ai-consortium-releases-soofi-s-an-open-30b-model-that-tops-benchmarks-in-both-english-and-german via AI HOT · https://aihot.virxact.com/items/cmrj6actv0651bilkm5pfz6ub (источник: AiHot)