ChainCatcherの情報によると、百度はオープンソースの文心 ERNIE-5.5-Flash-Base モデルの重みを公開しました。2025年6月の文心4.5シリーズ以来、約16か月ぶりに、百度は1000億パラメータ級の大規模モデルを再びオープンソース化しました。この期間に発表された文心5.0および5.1はいずれもオープンソース化されていません。文心5.5 Flashは推論効率を主な特徴としており、総パラメータ数は2800億で、1つのトークンを生成する際にわずか140億のパラメータのみが活性化されます。また、33.5兆トークンを用いてゼロから事前学習されています。このモデルは最大100万トークンの推論コンテキストをサポートします。百度は長文処理メカニズムを再設計し、43層のネットワークのうち37層では、128個の履歴トークンを1つのキャッシュレコードに圧縮し、残り6層では元のコンテンツに対する精細な検索機能を維持することで、長文処理におけるVRAMおよび計算オーバーヘッドを削減しています。公式には、このモデルをDeepSeek-V4-Flash-Base、腾讯Hy3-preview-Base、小米MiMo-V2.5-Baseと統一評価し、30のベンチマークテストのうち24で第1位を獲得しました。今回公開されたのは、中間学習および後学習を施されていない純粋なテキストベースモデルであり、開発者がドメインファインチューニング、インストラクショントレーニング、強化学習を継続的に実施できるようにすることを目的としています。百度は、後学習済みの文心5.5 Flashを今後リリースすると発表しています。ライセンスは前世代より厳格になっており、文心4.5はApache 2.0ライセンスを採用していましたが、文心5.5 Flashはカスタムライセンスに変更され、EU、英国、韓国での使用は許可されていません。また、過去12か月間の関連製品またはサービスの収益が5000万米ドルを超える場合、商用利用前に百度の書面による別途承認が必要です。
Baidu、2800億パラメーターを備えるERNIE 5.5 Flashモデルをオープンソース化
Chaincatcher共有
概要
Baiduは、2800億パラメータを備えたERNIE 5.5 Flashモデルのオープンソース化に関するオンチェーンニュースを発表しました。このモデルは1トークンあたり140億パラメータのみを活性化し、最大100万トークンのコンテキストをサポートします。30のベンチマークのうち24で1位を獲得しました。ベースモデルはドメイン特化トレーニング用に提供されており、事前学習済みバージョンは後ほど公開予定です。このリリースにより、新しいトークンの上場が恩恵を受ける可能性があります。ライセンスはEU、英国、韓国での使用を制限しており、収益が5億ドルを超える企業の商業利用には追加の許可が必要です。
出典:原文を表示
免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。
デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。