На этот раз больше не означало лучше. Основной участник @valoryag дообучил NVIDIA Nemotron 120B на данных прогнозирования от агентов Olas, используя методику, лежащую в основе Olas-Predict-R1-14B: отобранные примеры рассуждений, надзорное предварительное обучение, а затем обучение с подкреплением. Обучение проводилось через Tinker от @thinkymachines. На 11 496 удержанных прогнозах Nemotron не показал явного улучшения. До → после обучения: • Ошибка Брайера (ниже — лучше): 0,265 → 0,267 • Сбалансированная точность (выше — лучше): 59,7% → 59,4% • Непонятные ответы (меньше — лучше): 503 → 528 Наша дообученная модель 14B продемонстрировала лучшую калибровку, более высокую сбалансированную точность и всего 10 непонятных ответов. Nemotron сохранил немного более низкую ошибку Брайера: 0,267 против 0,270. Почему методика не перенеслась? Возможно, архитектура Nemotron с миксом экспертов требует более разнообразных данных или других настроек обучения для прогнозирования. Мы не тестировали эти объяснения, поэтому причина остается открытой. Что мы узнали: наша существующая методика и бюджет обучения улучшили модель 14B, но не принесли явной выгоды Nemotron. Далее мы протестируем более крупную плотную модель, проведя раннюю проверку на улучшение перед полным запуском. Прочитайте эксперимент и результаты: https://t.co/ZSziFiraIZ