اس بار بڑا ہونا بہتر نہیں تھا۔ مرکزی کنٹریبیوٹر @valoryag نے Olas ایجینٹس کے فاریکاسٹنگ ڈیٹا پر NVIDIA کے Nemotron 120B کو Olas-Predict-R1-14B کے ریسیپ کے مطابق فائن ٹیون کیا: منتخب استدلال کے مثالیں، ایک سپروائیزڈ وارم اپ، پھر تقویت سیکھنا۔ تربیت @thinkymachines کے Tinker کے ذریعے چلی۔ 11,496 محفوظ کردہ پیش گوئیوں پر، Nemotron میں کوئی واضح بہتری نہیں دکھائی دی۔ تربیت سے پہلے → بعد: • بریئر خطأ (کم بہتر ہے): 0.265 → 0.267 • متوازن درستگی (زیادہ بہتر ہے): 59.7% → 59.4% • غیر قابل پڑھنے والے جوابات (کم بہتر ہیں): 503 → 528 ہماری تربیت شدہ 14B ماڈل میں بہتر کیلبریشن، زیادہ متوازن درستگی اور صرف 10 غیر قابل پڑھنے والے جوابات تھے۔ Nemotron میں تھوڑا کم Brier خطأ برقرار رہا: 0.267 بمقابلہ 0.270۔ کیوں ریسیپ ٹرانسفر نہیں ہوا؟ Nemotron کا مکسچر آف ایکسپرٹس ڈیزائن شاید فاریکاسٹنگ کے لیے زیادہ مختلف ڈیٹا یا مختلف تربیت کے اعداد و شمار کی ضرورت رکھتا ہے۔ ہم نے ان وضاحتوں کو ٹیسٹ نہیں کیا، اس لیے وجوہات اب بھی کھلی ہیں۔ ہم نے جو سीکھا: ہمارا موجودہ ریسیپ اور تربیت کا بجٹ 14B ماڈل میں بہتری لایا لیکن Nemotron میں کوئی واضح فائدہ نہیں لایا۔ اگلے مرحلے میں، ہم ایک بڑا ڈینس ماڈل ٹیسٹ کرینگے، جس میں مکمل رن کرنے سے پہلے بہتری کا ابتدائی جائزہ لینا شامل ہوگا۔ تجربہ اور نتائج پڑھیں: https://t.co/ZSziFiraIZ