リオデジャネイロ政府、強化された暗黙的推論機能を備えた3970億パラメータのAIモデルを公開

iconKuCoinFlash
共有
AI summary icon概要
ME AI ニュース：動察 Beating の監視によると、ブラジル・リオデジャネイロ市が運営する市政情報・計画会社 IplanRIO が Hugging Face で Rio-3.5-Open-397B をオープンソース公開しました。このモデルは Qwen 3.5 397B をベースに後学習され、MoE アーキテクチャを採用しており、総パラメータ数は約3970億、1トークンあたりの活性化パラメータ数は約170億、約100万トークンのコンテキストをサポートし、MIT ライセンスで公開されています。モデルカードによると、Rio-3.5-Open-397B は SwiReasoning 推論フレームワークを統合しています。SwiReasoning はトレーニング不要な推論手法で、情報エントロピーの変化に基づいて、明示的な思考チェーンと暗黙的なベクトル空間推論の間で切り替えます。明示的推論は結論を自然言語トークンとして出力し、暗黙的推論は隠蔽空間内で複数のパスを探索することで、不要なテキスト出力を削減します。チームが公開したテスト結果では、暗黙的推論を有効にした場合、Rio-3.5-Open-397B の SWE-Bench Pro スコアは 58.1、IMOAnswerBench スコアは 89.5 でした。対照として、元の Qwen 3.5 397B はそれぞれ 50.9 と 80.9、後学習のみで暗黙的推論を無効にした場合は 54.8 と 84.5 でした。つまり、暗黙的推論によってモデルの絶対性能が2倍になったわけではありませんが、基盤モデルに対する相対的な改善幅はほぼ2倍に近づいています。互換性が主な制約です。Hugging Face のディスカッションボードでチームメンバーは、これらの公開スコアが SwiReasoning を有効にした状態で得られたことを確認しています。SwiReasoning は推論時に確率重み付きの連続「ソフト埋め込み」ベクトルを入力する必要があり、llama.cpp などの離散トークン ID の生成のみをサポートする推論エンジンでは現在のところ完全な実装が不可能です。チームは、暗黙的推論を無効にした場合でもモデルは依然として元の Qwen 3.5 397B よりも明確に優れていると述べていますが、完全な能力を発揮するには推論フレームワークがソフト埋め込み入力をサポートする必要があります。（出典：BlockBeats）
出典:原文を表示
免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。 デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。