バイトダンス、10兆パラメータのAIモデルを訓練し、グローバルリーダーを目指す

ChainCatcherの情報によると、英国フィナンシャル・タイムズの報道によれば、中国企業が米国のトップAIラボとの差を縮め続ける中、バイトダンスはAnthropicの最先端のMythosシステムに近い規模のAIモデルを訓練中であるという。複数の関係者によると、この中国のテクノロジー大手は現在、パラメータ数が10兆レベルに達する可能性のある超大規模モデルの初期訓練段階にあり、これは現在中国で公開された最大のモデルである月之暗面のKimi K3モデルの約3倍に相当する。 ある関係者によると、バイトダンスのモデルは現在プリトレーニング段階にあり、この段階は通常3〜6か月を要する。問題がなければ、その後ファインチューニングを経てリリースされる予定である。モデルの具体的な規模は後期に決定される。Anthropicは自社モデルのパラメータ数を公表していないが、業界の推定では、最先端のMythos 5モデルのパラメータ数は約8兆、Fable 5は約5兆とされている。 なお、パラメータ数はモデルが情報を格納する基本的な容量または記憶上限を決定するが、モデルの実際の能力はデータの品質や訓練方法などの他の要因にも依存する。