Liên minh AI Đức ra mắt Soofi S 30B-A3B, vượt trội trên các bảng đánh giá tiếng Anh và tiếng Đức

Tin tức từ ME News, ngày 13 tháng 7 (UTC+8), liên minh nghiên cứu do Hiệp hội AI Đức phối hợp đã công bố mô hình ngôn ngữ lớn mã nguồn mở Soofi S 30B-A3B. Mô hình này có tổng tham số 31,6 tỷ, chỉ kích hoạt khoảng 3,2 tỷ tham số mỗi token, sử dụng kiến trúc MoE kết hợp Mamba-2 và các lớp chú ý tiêu chuẩn. Mô hình được huấn luyện hoàn toàn trên nền tảng AI công nghiệp Munich Cloud của Deutsche Telekom, tỷ lệ dữ liệu huấn luyện bằng tiếng Đức tăng từ 7,2% ở giai đoạn đầu lên 15,3% ở giai đoạn hai. Trong các bài kiểm tra chuẩn, Soofi S đạt điểm tổng hợp cao nhất về tiếng Anh và tiếng Đức trong số tất cả các mô hình mã nguồn mở hoàn toàn, vượt qua OLMo 3 32B và Apertus 70B. Điểm trên HumanEval là 73,8%, trên MBPP là 70,2 và trên phiên bản tiếng Đức của MBPP là 84,2. Cửa sổ ngữ cảnh hỗ trợ tối đa 1 triệu token, với độ dài 40.000 token, tốc độ sinh đạt khoảng 8 lần so với các mô hình dày đặc cùng quy mô. Trọng số mô hình đã được mở nguồn. 🔗 Đọc bài gốc: https://the-decoder.com/german-ai-consortium-releases-soofi-s-an-open-30b-model-that-tops-benchmarks-in-both-english-and-german qua AI HOT · https://aihot.virxact.com/items/cmrj6actv0651bilkm5pfz6ub (nguồn: AiHot)