Chính quyền Rio de Janeiro mở cửa mô hình AI có 397 tỷ tham số với khả năng suy luận ngầm được cải thiện

iconKuCoinFlash
Chia sẻ
AI summary iconTóm tắt
ME AI Tin tức, theo giám sát của Beating, công ty thông tin và quy hoạch thành phố IplanRIO thuộc chính quyền thành phố Rio de Janeiro, Brazil, đã mở nguồn Rio-3.5-Open-397B trên Hugging Face. Mô hình được tinh chỉnh dựa trên Qwen 3.5 397B, sử dụng kiến trúc MoE, với tổng tham số khoảng 397 tỷ, kích hoạt khoảng 17 tỷ tham số mỗi Token, hỗ trợ ngữ cảnh lên tới khoảng 1 triệu Token, và được phát hành dưới giấy phép MIT. Mô hình cho thấy Rio-3.5-Open-397B tích hợp khung suy luận SwiReasoning. SwiReasoning là một phương pháp suy luận không cần huấn luyện, chuyển đổi linh hoạt giữa suy luận chuỗi tư duy rõ ràng và suy luận trong không gian vector ẩn dựa trên sự thay đổi entropy thông tin. Suy luận rõ ràng chịu trách nhiệm diễn đạt kết luận dưới dạng Token ngôn ngữ tự nhiên, trong khi suy luận ẩn khám phá nhiều đường đi trong không gian ẩn, giảm thiểu đầu ra văn bản không cần thiết. Các bài kiểm tra do nhóm công bố cho thấy, sau khi kích hoạt suy luận ẩn, Rio-3.5-Open-397B đạt điểm 58.1 trên SWE-Bench Pro và 89.5 trên IMOAnswerBench. Để so sánh, phiên bản gốc Qwen 3.5 397B lần lượt đạt 50.9 và 80.9, trong khi phiên bản chỉ được tinh chỉnh nhưng không kích hoạt suy luận ẩn đạt 54.8 và 84.5. Điều này cho thấy suy luận ẩn không làm tăng hiệu suất tuyệt đối gấp đôi, nhưng giúp cải thiện tương đối so với mô hình nền gần như gấp đôi. Tính tương thích là hạn chế chính. Trong diễn đàn Hugging Face, các thành viên nhóm xác nhận các điểm số công khai này được đạt được sau khi kích hoạt SwiReasoning. SwiReasoning yêu cầu đầu vào các vector “soft embedding” liên tục có trọng số xác suất trong quá trình suy luận, trong khi các công cụ suy luận như llama.cpp chỉ hỗ trợ tạo ID Token rời rạc nên hiện chưa thể triển khai đầy đủ. Nhóm cho biết, ngay cả khi không kích hoạt suy luận ẩn, mô hình vẫn mạnh hơn đáng kể so với phiên bản gốc Qwen 3.5 397B, nhưng để phát huy đầy đủ năng lực, cần có sự hỗ trợ của khung suy luận cho đầu vào soft embedding. (Nguồn: BlockBeats)
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này. Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụngTiết lộ rủi ro của chúng tôi.