ওপেনএআই জি পি -৬ আস্ট্রা মূল্যায়ন ডেটা সংশোধন করেছে, যা স্বচ্ছতার চিন্তার সৃষ্টি করেছে

দ্রুত সংবাদ: OpenAI যখন 3 সেপ্টেম্বর জি.পি.টি-6 আস্ট্রা প্রকাশ করে, তখন থেকে বিভিন্ন মডেল মূল্যায়ন বেঞ্চমার্কের ডেটা ধারাবাহিকভাবে পরিবর্তন করা হয়েছে। কিছু পরিবর্তন আস্ট্রার পারফরম্যান্সকে উন্নত করেছে, অন্যদিকে কিছু প্রতিদ্বন্দ্বী মডেলের স্কোর কমেছে, যা এআই "বেঞ্চমার্ক ফ্রড" এবং মূল্যায়নের স্বচ্ছতা নিয়ে বাইরের প্রশ্ন তুলেছে। উদাহরণস্বরূপ, আস্ট্রার হলুসিনেশন হার 4.2% থেকে 2% পর্যন্ত কমিয়েছিল, GPT-5.6 Sol-এর 12.2% থেকে 9.4% পর্যন্ত, কিন্তু পরবর্তীতে উভয়ই 4.2% এবং 12.2%-এ ফিরে আসে। গণিতের মূল্যায়নে, Anthropic-এর Fable 5.1-এর স্কোর 87.8% থেকে 78% পর্যন্ত কমেছিল, এখন 83% পর্যন্ত ফিরেছে; GPT-5.6 Sol-এর 83% থেকে 80.5% পর্যন্ত কমেছিল, তারপর 83%-এ ফিরেছে। অতিরিক্তভাবে, ARC-AGI-3 মূল্যায়নে আস্ট্রার স্কোর 98.6% (প্রকাশের আগের ড্রাফট) থেকে 99.99% (চূড়ান্ত পৃষ্ঠা) পর্যন্ত বৃদ্ধি পায়, এবং প্রোগ্রামিংয়ের মূল্যায়নও 57.7% থেকে 57.9%-এ সামান্যভাবে বৃদ্ধি পায়। OpenAI-এর মতে, মূল্যায়নের ফলাফলগুলি মডেলের versi on,টুলসের কনফিগারেশন,推理 level,এবংটেস্ট r un-এর মতো বিষয়গুলিরউপরনিরভরশীল,এবংএইপরিবর্তনগুলিমডেলটিরসেরাপারফরম্যান্সকেঅধিকভাবেপ্রতিফলিতকরারজন্যকরাহয়েছে।তবেস্টানফোর্ডবিশ্ববিদ্যালয়েরগবেষকদেরমতে,মূল্যায়নগুলিকেবারবারপুনঃচালানো"Benchmaxxing"-এরসঙ্গেসম্পৃক্তহতপারে,যাঅর্থহলঅধিকতমবেঞ্চমার্কস্কোরপাওয়ারজন্যটেস্টকনডিশনগুলিকেপরিবর্তনকরা।শিল্পবিশেষজ্ঞদেরমতে,এআইমডেলগুলিরপ্রতিদ্বন্দ্বিতাবৃদ্ধিরসঙ্গেসঙ্গে,মূল্যায়নডেটা(benchmark data)মডেলগুলিরক্ষমতা(capability)এবংবাজারঅধিগমন( market acquisition)পরিমাপকরণএকটিমূলপদক( key metric)হয়েউঠছে,এবংবেঞ্চমার্কটেস্টগুলিরস্বচ্ছতা(transparency)এবংপুনঃপুনঃউৎপাদনযোগ্যতা(reproducibility)বৃদ্ধিরদিকেআকৃষ্টহচছ।