इस बार बड़ा होना बेहतर नहीं था। कोर कंtributor @valoryag ने Olas एजेंट्स से प्राप्त भविष्यवाणी डेटा पर NVIDIA के Nemotron 120B को Olas-Predict-R1-14B के पीछे के रेसिपी का उपयोग करके फाइन-ट्यून किया: चयनित तर्क उदाहरण, एक सुपरवाइज्ड वॉर्म-अप, फिर पुनर्बलन शिक्षण। प्रशिक्षण @thinkymachines के Tinker के माध्यम से चला। 11,496 होल्ड-आउट भविष्यवाणियों पर, Nemotron में कोई स्पष्ट सुधार नहीं दिखा। प्रशिक्षण से पहले → प्रशिक्षण के बाद: • Brier त्रुटि (कम बेहतर है): 0.265 → 0.267 • संतुलित सटीकता (अधिक बेहतर है): 59.7% → 59.4% • अपठनीय उत्तर (कम बेहतर है): 503 → 528 हमारा प्रशिक्षित 14B मॉडल में बेहतर कैलिब्रेशन, उच्च संतुलित सटीकता और केवल 10 अपठनीय उत्तर थे। Nemotron में हल्का कम Brier त्रुटि बना रहा: 0.267 बनाम 0.270। क्यों यह रेसिपी स्थानांतरित नहीं हुई? Nemotron का मिक्सचर-ऑफ-एक्सपर्ट्स डिज़ाइन भविष्यवाणी के लिए अधिक विविध डेटा या अलग प्रशिक्षण सेटिंग्स की आवश्यकता हो सकती है। हमने इन समझदारियों की परीक्षा नहीं की है, इसलिए कारण अभी खुला है। हमने क्या सीखा: हमारी मौजूदा रेसिपी और प्रशिक्षण बजट ने 14B मॉडल में सुधार किया, लेकिन Nemotron में कोई स्पष्ट लाभ नहीं लाया। अगला कदम, हम एक बड़े घने मॉडल की परीक्षा करेंगे, और पूरे प्रशिक्षण में समय लगाने से पहले सुधार के लिए प्रारंभिक जाँच करेंगे। प्रयोग और परिणाम पढ़ें: https://t.co/ZSziFiraIZ