12日で完了するはずの事前学習を、Beamの強化学習は10,500枚のGB300を用いて4週間消費した。 Reflection AI @reflection_ai の共同設立者兼CEO、Misha Laskinが、オープンモデルBeamのトレーニングコストを公開した。同社は2026年以前に元Google DeepMindの研究者2人によって設立され、今年4月に250億ドルのプレバリュエーションで新たな資金調達を実施した。Beamの総パラメータ数は501B、アクティブパラメータ数は23Bで、事前学習には23.8兆トークンを消費し、重みは10月16日にApache 2.0ライセンスで公開された。 計算リソースの配分は逆転している。事前学習は6,144枚のGB300 NVL72で実行され、彼の説明によれば、現在のインフラでは約12日で完了可能だ。一方、RL段階では同じチップを10,500枚使用し、連続4週間稼働させ、これは約4万GB300週に相当し、事前学習の約1万GB300週の4倍である。消費されたFLOPsはむしろさらに多い。