Lebih besar tidak lebih baik kali ini. Kontributor inti @valoryag melakukan fine-tuning terhadap NVIDIA’s Nemotron 120B menggunakan data peramalan dari agen Olas, dengan resep yang digunakan pada Olas-Predict-R1-14B: contoh penalaran yang dipilih, warm-up terawasi, lalu reinforcement learning. Pelatihan berjalan melalui Tinker milik @thinkymachines. Pada 11.496 prediksi yang dihold-out, Nemotron tidak menunjukkan peningkatan yang jelas. Sebelum → setelah pelatihan: • Brier error (semakin rendah semakin baik): 0,265 → 0,267 • Balanced accuracy (semakin tinggi semakin baik): 59,7% → 59,4% • Jawaban tidak dapat dibaca (semakin sedikit semakin baik): 503 → 528 Model 14B kami yang dilatih memiliki kalibrasi lebih baik, akurasi seimbang lebih tinggi, dan hanya 10 jawaban tidak dapat dibaca. Nemotron tetap memiliki Brier error sedikit lebih rendah: 0,267 dibandingkan 0,270. Mengapa resep ini tidak dapat ditransfer? Desain mixture-of-experts Nemotron mungkin memerlukan data yang lebih beragam atau pengaturan pelatihan berbeda untuk peramalan. Kami belum menguji penjelasan ini, sehingga penyebabnya masih terbuka. Apa yang kami pelajari: resep dan anggaran pelatihan kami yang ada meningkatkan model 14B tetapi tidak membawa keuntungan jelas pada Nemotron. Selanjutnya, kami akan menguji model padat yang lebih besar, dengan pemeriksaan awal untuk menilai peningkatan sebelum berkomitmen pada pelatihan penuh. Baca eksperimen dan hasilnya: https://t.co/ZSziFiraIZ