バイトダンス、10兆パラメーターのAIモデルの訓練を開始、Anthropicの規模に近づく

動察 Beating の監視によると、英国フィナンシャル・タイムズは、3人の関係者を引用して、バイトダンスが最大10兆パラメーターの大規模モデルの事前学習を開始したと報じた。このプロジェクトはまだ初期段階にあり、最終的な規模は未定である。上限まで学習された場合、これはKimi K3の3倍以上となり、中国のチームが開発した既知のモデルの中で最もパラメーター数が多いものとなる。バイトダンスは今回、モデルの規模をAnthropicのフラッグシップモデルに近づけた。AnthropicはMythos 5のパラメーター数を公表していないが、フィナンシャル・タイムズは業界の推定を引用し、Mythos 5は約8兆パラメーター、Fable 5は約5兆パラメーターとされている。バイトダンスの新モデルが10兆パラメーターに達すれば、少なくともパラメーター規模において、米国最前線の閉鎖型モデルと同等のレベルに到達することになる。 このモデルは現在、事前学習段階（膨大なデータを用いてモデルの基礎能力を学習）にある。フィナンシャル・タイムズによると、この段階には通常3〜6か月かかり、その後、後学習を経てようやく公開される見込みである。パラメーター数が多ければ必ずしも性能が強くなるわけではなく、最終的な性能はアーキテクチャ、学習データ、学習手法に依存する。 張一鳴は最近、Seed内部で競合モデルの蒸留を明確に反対し、短期的な遅れを受け入れて自社開発で世界トップクラスを目指すようチームに指示した。この最大10兆パラメーターの新モデルは、バイトダンスがこれまでに展開した中で最も積極的な規模への賭けである。