Ang German AI Consortium ay naglunsad ng Soofi S 30B-A3B, na lumampas sa mga benchmark sa Ingles at Aleman

Balita mula sa ME News, noong Hulyo 13 (UTC+8), ang isang pag-aaral na koordinado ng German AI Association ay naglabas ng open-source na malaking language model na Soofi S 30B-A3B. Ang modelong ito ay may kabuuang 31.6 bilyong parameter, na nag-activate ng halos 3.2 bilyong parameter bawat token, gamit ang MoE architecture na may kombinasyon ng Mamba-2 at standard attention layers. Ang modelo ay fully na tinuruan sa German Telecom Munich Industrial AI Cloud, kung saan ang porsyento ng German sa training data ay tumataas mula sa 7.2% sa unang yugto patungo sa 15.3% sa ikalawang yugto. Sa mga benchmark test, ang Soofi S ay nakakuha ng pinakamataas na combined score para sa Ingles at German sa lahat ng buong open-source models, lalong-lalo na higit pa sa OLMo 3 32B at Apertus 70B. Nakakuha ito ng 73.8% sa HumanEval, 70.2 sa MBPP, at 84.2 sa German version ng MBPP. Ang context window ay sumusuporta sa maximum na 1 milyong token, at sa haba ng 40,000 token, ang generation throughput ay halos 8 beses ang bilis kumpara sa parehong laki ng dense model. Ang model weights ay nasa open source na. 🔗 Basahin ang orihinal na artikulo: https://the-decoder.com/german-ai-consortium-releases-soofi-s-an-open-30b-model-that-tops-benchmarks-in-both-english-and-german via AI HOT · https://aihot.virxact.com/items/cmrj6actv0651bilkm5pfz6ub (pinagmulan: AiHot)