اوپن اے آئی نے GPT-6 Astra کی ایوالویشن ڈیٹا کو تبدیل کر دیا، جس سے شفافیت کے معاملات ابھرے ہیں

动察 Beating AI خبریں، OpenAI نے 3 ستمبر کو GPT-6 Astra جاری کرنے کے بعد، کئی ماڈل ایوانٹس کے ڈیٹا کو بار بار تبدیل کیا ہے، جس میں کچھ تبدیلیوں سے Astra کی کارکردگی بہتر ہوئی، جبکہ کچھ مقابلہ کرنے والے ماڈلز کے اسکورز میں کمی آئی، جس سے AI کے "بینچ مینیپولیشن" اور ایوانٹس کی شفافیت کے بارے میں سوالات اٹھائے گئے۔ اس میں، Astra کی ہالوسینیشن ریٹ 4.2% سے گھٹا کر 2% کر دی گئی، جبکہ GPT-5.6 Sol کی 12.2% سے 9.4% کر دی گئی، لیکن بعد میں دونوں دوبارہ 4.2% اور 12.2% پر واپس آ گئے۔ ریاضی کے ایوانٹس میں، Anthropic کے Fable 5.1 کا اسکور 87.8% سے 78% تک گھٹا، جو اب 83% تک واپس آ چکا ہے؛ GPT-5.6 Sol کا اسکور 83% سے 80.5% تک گھٹا، لیکن بعد میں دوبارہ 83% پر واپس آ گیا۔ علاوہ ازیں، Astra نے ARC-AGI-3 ایوانٹ میں اپنا اسکور جاری کرنے سے پہلے کے منصوبہ بندی والے 98.6% سے بڑھا کر نہایت نہایت آخری صفحہ پر 99.99% کر دیا، اور اس کا پروگرامنگ ایوانٹ اسکور بھی 57.7% سے تھوڑا بڑھا کر 57.9% کر دیا گیا۔ OpenAI نے کہا کہ ایوانٹس کے نتائج ماڈل ورژن، ٹولز کانفگریشن، استدلال سطح اور ٹیسٹ رن وغیرہ کے اثرات سے متاثر ہوتے ہیں، اور ان تبدیلیوں کا مقصد ماڈل کی بہترین پرفارمنس کو زیادہ درست طریقے سے ظاہر کرنا ہے۔ تاہم، اسٹینفورڈ یونیورسٹی کے تحقیقی ماہرین کا خیال ہے کہ ایوانٹس کو بار بار دوبارہ رن کرنا "Benchmaxxing" کا ممکنہ طریقہ ہو سکتا ہے، جس میں ٹیسٹ شرائط کو تبدیل کرکے بینچمارک اسکورز کو زیادہ سے زیادہ کرنے کا پروگرام بنایا جاتا ہے۔ صنعت کے ماہرین نے بتایا کہ جب AI ماڈلز کا مقابلہ بڑھ رہا ہے، تو ایوانٹس کا ڈیٹا ماڈلز کی صلاحیتوں کو ناپنے اور بازار میں مقابلہ کرنے کا اہم ذریعہ بن چکا ہے، اور بینچمارک ٹیسٹنگ کی شفافیت اور دوبارہ قابلِ تکرار صلاحیت پر زور دینا مسلسل زیادہ توجہ حاصل کر رہا ہے۔