El consorcio alemán de IA lanza Soofi S 30B-A3B, superando los benchmarks en inglés y alemán

Noticias de ME: el 13 de julio (UTC+8), un consorcio de investigación coordinado por la Asociación Alemana de IA lanzó el modelo de lenguaje grande de código abierto Soofi S 30B-A3B. Este modelo tiene un total de 31.6 mil millones de parámetros, activando aproximadamente 3.2 mil millones de parámetros por token, utilizando una arquitectura MoE que combina Mamba-2 con capas de atención estándar. El modelo se entrenó completamente en la nube industrial de IA de Deutsche Telekom en Múnich, y la proporción de datos en alemán aumentó del 7.2% en la primera fase al 15.3% en la segunda fase. En pruebas de referencia, Soofi S obtuvo la puntuación más alta combinada en inglés y alemán entre todos los modelos completamente abiertos, superando a OLMo 3 32B y Apertus 70B. Obtuvo un 73.8% en HumanEval, 70.2 en MBPP y 84.2 en la versión en alemán de MBPP. El contexto admite hasta 1 millón de tokens, y con una longitud de 40,000 tokens, el rendimiento de generación es aproximadamente 8 veces mayor que el de modelos densos del mismo tamaño. Los pesos del modelo ya están disponibles de forma abierta. 🔗 Leer el artículo original: https://the-decoder.com/german-ai-consortium-releases-soofi-s-an-open-30b-model-that-tops-benchmarks-in-both-english-and-german vía AI HOT · https://aihot.virxact.com/items/cmrj6actv0651bilkm5pfz6ub (fuente: AiHot)