Consórcio alemão de IA lança Soofi S 30B-A3B, supera em benchmarks em inglês e alemão

Notícia da ME, 13 de julho (UTC+8): Uma aliança de pesquisa coordenada pela Associação Alemã de IA lançou o modelo de linguagem grande de código aberto Soofi S 30B-A3B. O modelo possui um total de 31,6 bilhões de parâmetros, com apenas cerca de 3,2 bilhões de parâmetros ativados por token, utilizando uma arquitetura MoE híbrida de Mamba-2 e camadas de atenção padrão. O modelo foi totalmente treinado na nuvem industrial de IA da Deutsche Telekom em Munique, com a proporção de dados em alemão aumentando de 7,2% na primeira fase para 15,3% na segunda fase. Nos testes de referência, o Soofi S obteve a pontuação mais alta combinada em inglês e alemão entre todos os modelos totalmente abertos, superando o OLMo 3 32B e o Apertus 70B. Obteve 73,8% no HumanEval, 70,2 no MBPP e 84,2 na versão em alemão do MBPP. A janela de contexto suporta até 1 milhão de tokens, e com comprimento de 40 mil tokens, o throughput de geração é cerca de 8 vezes maior do que o de modelos densos de tamanho similar. Os pesos do modelo já estão disponíveis de código aberto. 🔗 Leia o artigo original: https://the-decoder.com/german-ai-consortium-releases-soofi-s-an-open-30b-model-that-tops-benchmarks-in-both-english-and-german via AI HOT · https://aihot.virxact.com/items/cmrj6actv0651bilkm5pfz6ub (fonte: AiHot)