OpenAI ने GPT-6 Astra मूल्यांकन डेटा को समायोजित किया, जिससे पारदर्शिता के मुद्दे उठे

देखें Beating AI न्यूज़, OpenAI ने 3 सितंबर को GPT-6 Astra लॉन्च करने के बाद से कई मॉडल आकलन बेंचमार्क डेटा को लगातार समायोजित किया है, जिसमें कुछ संशोधनों से Astra का प्रदर्शन बेहतर हुआ है, जबकि कुछ प्रतिद्वंद्वी मॉडल्स के स्कोर गिरे हैं, जिससे AI के "बेंचमार्क फ्रॉड" और आकलन पारदर्शिता के बारे में सवाल उठे हैं। इसमें, Astra की हॉलूसिनेशन दर 4.2% से घटाकर 2% कर दी गई, GPT-5.6 Sol की 12.2% से 9.4% कर दी गई, लेकिन बाद में दोनों को फिर से 4.2% और 12.2% पर वापस कर दिया गया। गणितीय आकलन में, Anthropic के Fable 5.1 का स्कोर 87.8% से घटाकर 78% कर दिया गया, जो अब 83% पर वापस आ गया है; GPT-5.6 Sol का स्कोर 83% से 80.5% तक गिरा, लेकिन फिर 83% पर वापस आ गया। इसके अलावा, Astra का ARC-AGI-3 आकलन में प्रारंभिक प्रोजेक्ट पेज पर 98.6% से अंतिम पेज पर 99.99% तक सुधार किया गया, और प्रोग्रामिंग आकलन स्कोर 57.7% से 57.9% तक हल्का बढ़ाया गया। OpenAI ने कहा कि आकलन परिणाम मॉडल संस्करण, टूल कॉन्फ़िगरेशन, इनफ़रेंस स्तर और परीक्षण रन सहित कई कारकों से प्रभावित होते हैं, और इन समायोजनों का मकसद मॉडल के सर्वोत्तम प्रदर्शन को सटीकता से प्रतिबिंबित करना है। हालाँकि, स्टैनफोर्ड विश्वविद्यालय के शोधकर्ता मानते हैं कि आकलन को बार-बार चलाने में "Benchmaxxing" का मुद्दा हो सकता है, यानी परीक्षण परिस्थितियों को समायोजित करके बेंचमार्क स्कोर को अधिकतम करना। उद्योगविदों का मानना है कि AI मॉडल प्रतिस्पर्धा के कड़े होते ही, आकलन डेटा मॉडल की क्षमता के मापने और बाज़ार में प्रतिस्पर्धा के महत्वपूर्ण साधन बनते हैं, और बेंचमार्क परीक्षणों की पारदर्शिता और पुन:उत्पादनयोग्यता में सुधार पर हमेशा से अधिक ध्यान केंद्रित हो रहा है।