Desta vez, maior não foi melhor. O contribuidor principal @valoryag ajustou finamente o Nemotron 120B da NVIDIA com dados de previsão de agentes Olas, usando a receita por trás do Olas-Predict-R1-14B: exemplos de raciocínio selecionados, um aquecimento supervisionado, seguido por aprendizado por reforço. O treinamento foi executado através do Tinker da @thinkymachines. Em 11.496 previsões mantidas fora do treinamento, o Nemotron não apresentou melhora clara. Antes → após o treinamento: • Erro de Brier (menor é melhor): 0,265 → 0,267 • Acurácia balanceada (maior é melhor): 59,7% → 59,4% • Respostas ilegíveis (menos é melhor): 503 → 528 Nosso modelo treinado de 14B apresentou melhor calibração, maior acurácia balanceada e apenas 10 respostas ilegíveis. O Nemotron manteve um erro de Brier ligeiramente menor: 0,267 contra 0,270. Por que a receita não se transferiu? O design de mistura de especialistas do Nemotron pode exigir dados mais variados ou configurações de treinamento diferentes para previsão. Não testamos essas explicações, então a causa permanece em aberto. O que aprendemos: nossa receita e orçamento de treinamento atuais melhoraram o modelo de 14B, mas não trouxeram ganho claro ao Nemotron. A seguir, testaremos um modelo denso maior, com uma verificação inicial de melhora antes de comprometer-nos com a execução completa. Leia o experimento e os resultados: https://t.co/ZSziFiraIZ