字節跳動開始訓練參數達10兆的AI模型，逼近Anthropic的規模

根據動察 Beating 監測，英國《金融時報》援引三名知情人士稱，字節跳動已開始預訓練一款最高 10 萬億參數的大模型。項目仍處於早期階段，最終規模尚未確定。如果按上限訓練，它將達到 Kimi K3 的三倍以上，成為目前已知中國團隊中參數規模最大的模型。字節這次直接把模型尺寸推到了 Anthropic 旗艦附近。Anthropic 從未公佈 Mythos 5 的參數量，但《金融時報》援引行業估算稱，Mythos 5 約為 8 萬億參數，Fable 5 約為 5 萬億。字節新模型若做到 10 萬億，至少在參數規模上已經進入美國最前沿閉源模型的同一量級。這款模型目前還在預訓練（用海量數據訓練模型的基礎能力）。《金融時報》稱，這一階段通常需要 3 至 6 個月，之後還要繼續後訓練，順利才會發布。參數更多也不等於能力一定更強，最終表現還取決於架構、訓練數據和訓練方法。張一鳴近期在 Seed 內部明確反對蒸餾競爭對手模型，要求團隊接受短期落後，靠自研衝擊世界第一梯隊。這款最高 10 萬億參數的新模型，是字節目前最激進的一次規模下注。