今回は、大きさが必ずしも良い結果をもたらさなかった。 コア貢献者 @valoryag は、Olasエージェントからの予測データを用いて、NVIDIAのNemotron 120BをOlas-Predict-R1-14Bの手法で微調整した。この手法には、選択された推論例、監督学習によるウォームアップ、その後の強化学習が含まれる。トレーニングは@thinkymachinesのTinkerを用いて実行された。 11,496件の保留データに対する予測結果では、Nemotronに明確な改善は見られなかった。トレーニング前→トレーニング後： • Brier誤差（低いほど良い）：0.265 → 0.267 • バランス精度（高いほど良い）：59.7% → 59.4% • 読み取り不可能な回答（少ないほど良い）：503 → 528 私たちがトレーニングした14Bモデルは、より良いキャリブレーション、より高いバランス精度、読み取り不可能な回答がわずか10件という結果を出した。Nemotronはやや低いBrier誤差（0.267対0.270）を維持していた。 なぜこの手法が転移しなかったのか？ Nemotronのエキスパート混合アーキテクチャは、予測に必要なより多様なデータや異なるトレーニング設定を必要としている可能性がある。これらの仮説はまだ検証されておらず、原因は未解決のままだ。 学んだこと：私たちの既存の手法とトレーニング予算は14Bモデルの改善に寄与したが、Nemotronには明確な利点をもたらさなかった。 次に、より大きな密結合モデルをテストし、フルトレーニングを実行する前に早期に改善の兆候を確認する予定です。 実験と結果の詳細はこちら：https://t.co/ZSziFiraIZ