source avatar0xMedia

分享

預訓練 12 天就能跑完,Beam 的強化學習卻用了 10,500 張 GB300 燒滿四周 Reflection AI @reflection_ai 聯合創始人兼 CEO Misha Laskin 拆解了開放模型 Beam 的訓練賬。這家公司由兩位前 Google DeepMind 研究者於 2026 年前創立,今年 4 月以 250 億美元投前估值完成新一輪融資。Beam 總參數 501B、激活參數 23B,預訓練消耗 23.8 兆 token,權重已於 10 月 16 日以 Apache 2.0 許可開放。 兩個階段的算力分配呈倒掛。預訓練運行在 6,144 張 GB300 NVL72 上,按他的說法,以現有基礎設施約 12 天即可完成。RL 階段使用了 10,500 張同型晶片、連續四周,折算約 4 萬 GB300 周,是預訓練那輪約 1 萬 GB300 周的四倍,所耗 FLOPs 反而更多。

No.0 picture
免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款和風險披露 。