اوپن اے آئی ریسرچر کا دعویٰ ہے کہ بڑے اے آئی لیبز اب پیپرز نہیں پڑھتے

کیا فرانت لیب کے لوگ اب پیپرز نہیں پڑھتے؟

ایک اسٹڈی ریسرچر نے ایک جملے میں تین بڑے کنفیرنسز کو نشانہ بنایا: بہت زیادہ بڑا بھاڑ اور دھوکہ!

وہ واقعہ ایک ICLR کی تحریر سے شروع ہوا جس کا اثر اتنے عمدہ تھا کہ سمجھنا مشکل تھا، جب نیٹ صارفین نے اس کا جائزہ لیا تو انہیں اس کا "راز" ملا۔

کیا ٹاپ کانفرنس میں پیپر جاری کرنا اب ایسے "تکامل" یافتہ ہو گیا ہے؟

سب سے پہلے یہ دیکھیں کہ کوڈ کھلا ہے یا نہیں، پھر تجرباتی طریقہ کار میں کوئی "غیر روایتی طریقہ" تو نہیں چھپا ہوا، اور تیسرے مرحلے پر یہ جانیں کہ حاصل کردہ نتائج مرکزی نتیجے کو سپورٹ کرتے ہیں یا نہیں — اس طرح کے سوالات کے بعد، ٹاپ کانفرنس کے پیپرز میں سے کتنے ہی امتحان برداشت کر پائیں؟

اس کو کرنے والا واقعی کوئی تھا۔

جولائی 2023 میں، شیکاگو یونیورسٹی کے کمپیوٹر سائنس اور ڈیٹا سائنس کے ایسوسی ایٹ پروفیسر ٹین چینہاؤ کے ساتھ مل کر بناۓ گئے SAI نے ایک بڑے "تجرباتی جائزہ" کا اعلان کیا۔

انہوں نے ICML 2026 کی تمام 168 شفافیت کی تحقیقی تحریریں منتخب کیں۔

اس سال ICML میں 23,918 تجاویز موصول ہوئیں، جن میں سے صرف 168 کو Oral کا درجہ دیا گیا، جو تقریباً 0.7% ہے۔

دوسرے الفاظ میں، SAI نے دو سے زائد ہزار مضمونوں میں سے سب سے بہترین کو چن لیا ہے۔

SAI Review صرف کاغذات، تجربی ڈیزائن اور نتائج کو روایتی جانچ کاروں کی طرح پڑھنے تک محدود نہیں ہے، بلکہ یہ کوڈ، ماڈل اور ڈیٹا ڈاؤن لوڈ کرتا ہے، ماحول کو کنفیگر کرتا ہے، تجربات چلاتا ہے، اور آخر میں نتائج کو اصل کاغذ کے ساتھ ایک ایک کرکے موازنہ کرتا ہے۔

SAI نے تمام 168 منہ سے بولی گئی باتوں کا جائزہ لیا، جن میں سے صرف 104 کے پیپرز کا کوڈ کھلا ہوا تھا، اور آخرکار 105 مکمل دوبارہ تشکیل دی گئیں۔

ان میں، صرف 34 مقالات نے 40% سے زیادہ دعوؤں کی تکرار کی؛ 80% سے زیادہ تکرار والے صرف 8 مقالات رہ گئے۔

چاہے ہر تحریر میں کم از کم 1، 3 یا 5 تصدیق شدہ دعوے ہوں، دوبارہ حاصل کردہ اسکور کا وسطیہ ہمیشہ 28%–30% رہا اور کل توزیع میں کوئی بڑا تبدیلی نہیں آئی۔

غیر چل رہے، پہلے ختم ہونے والے یا ہارڈویئر کی صلاحیت سے زیادہ کے تجربات کو خارج کرنے کے بعد، دوبارہ حاصل کردہ اسکور کا وسطیہ صرف 42%—50% ہے؛ جب ہر تحقیقی مقالے میں کم از کم 3 قابل تصدیق دعوے ہوں، تو وسطیہ 42% پر مستقل رہتا ہے۔

دوبارہ بنانے میں سب سے عام مسائل سب کو درپیش ہوئے: کوڈ کام نہیں کر رہا، فائلیں گمشدہ، ہدایات ناقص، انحصار خراب ہے، یا کوڈ کے نتائج پیپر کے ساتھ مطابقت نہیں رکھتے۔

چار مزید تحقیقی مقالے جو اب بند ہو چکے ماڈلز پر منحصر ہیں۔ بعد کے محققین، چاہے وہ پیسہ اور وقت کیسے بھی خرچ کریں، اسی نتائج کو دوبارہ حاصل نہیں کر سکتے۔

سائی نے دو مزید خاص مثالیں بھی دیں۔

ایک تحقیقی مقالہ نے "صرف بنیادی ماڈل کے 0.77% پیرامیٹرز کو ہی تربیت دیا جانا" کو اپنا اہم نقطہ بنا لیا، جبکہ اصل میں جاری کردہ چیک پوائنٹس میں 6.31% پیرامیٹرز تربیت دیے گئے، جو دعوے والی تعداد کے تقریباً 8 گنا ہے۔

ایک اور تحقیقی مقالہ میں قاضی ماڈل کے ذریعے درج کیے گئے اعتماد کے جدول کو دکھایا گیا ہے، لیکن اوپن سورس کوڈ میں اس قاضی ماڈل کو نہیں ملا جا سکا اور نہ ہی وہ اسکرپٹ جو جدول کے اعداد و شمار کو حساب کرنے کے لیے استعمال ہوتا ہے۔

SAI کے دوبارہ بنانے کے نتائج کافی خراب ہیں۔

مزید بدتر، یہاں دریافت ہونے والے مسائل صرف "شرطی طور پر دریافت ہونے والے" مسائل ہیں۔

جس کے پاس کوڈ نہیں ہے، وہ فوراً "بے عیب" ہو جاتا ہے۔

اور یہاں تک کہ اگر کوڈ مکمل طور پر عام ہو، تو ایک تحقیقی مقالہ کی تصدیق کے لیے جو وقت، محنت اور پیسہ لگتا ہے، وہ بہت زیادہ ہوتا ہے، اور آخری نتیجہ انتہائی ناکام ہوتا ہے، جس سے کتنا اداس ہونا پڑے گا۔

SAI کے Google Cloud کے علیحدہ قیمتوں کے مطابق تخمینے کے مطابق، ایک ICML Oral کا مکمل دوبارہ عمل کرنے کی لاگت کا درمیانی رقم تقریباً 8900 امریکی ڈالر ہے۔ 105 مقالوں میں سے 17 مقالے 100,000 امریکی ڈالر سے زیادہ کے ہیں، اور سب سے مہنگا مقالہ تقریباً 2.2 ملین امریکی ڈالر کا ہے۔

جتنا زیادہ کاغذ بڑے کمپیوٹیشنل ریسورسز پر منحصر ہو، اسقدر زیادہ انفرادی طور پر دوبارہ بنانا مشکل ہو جاتا ہے۔

کوڈ کے بغیر، کوئی بھی اس کی جانچ نہیں کر سکتا؛ اور کوڈ ہونے کے باوجود، اس کی لاگت ادا کرنے والا کوئی نہیں ہو سکتا۔

اس طرح، ایک مسئلہ والی تحقیقی تحریر مکمل طور پر جائزہ سے گزر سکتی ہے، حوالہ دی جا سکتی ہے، اور پھر اسے ریزومے میں شامل کیا جا سکتا ہے تاکہ قبولیت، استاد کی ملازمت یا بڑے لیب کا موقع حاصل کیا جا سکے۔

کبھی کبھی لوگ نتائج میں عدم مطابقت کا پتہ چلاتے ہیں، میٹنگز کم ہی دوبارہ جائزہ لیتی ہیں، اور پیپرز ضروری نہیں کہ واپس لیے جائیں۔

یہی وہ بات ہے جو کمنٹ سیکشن میں کہی جا رہی ہے کہ "بھیانک تحقیق کرنے سے منافع ہوتا ہے، لیکن اس کا تقریباً کوئی اخراج نہیں ہوتا۔"

بڑے ماڈلز کے شعبے میں، کئی اہم ترقیات واقعی پیپرز کی شکل میں نہیں آ رہی ہیں۔

اوپن اے آئی کے انجینئر کے طور پر، صنعت کی سرحد پر کھڑے ہونے کی وجہ سے ایسا محسوس کرنا آسان ہے۔ بالکل، زیادہ کمپوٹیشنل طاقت، تیز تر تجرباتی فیڈ بیک، اور بہت سے غیر منظر عام پر رکھے گئے اندر کے نتائج کی وجہ سے، "پیپرز نہ پڑھنا" کا جرات ہوتا ہے۔

لیکن ایسا کہنا کچھ حد تک جھنجھلاہٹ کا سبب بن سکتا ہے۔

ایک ٹِپّہ جس میں ٹیک کمپنیوں کے لوگوں کو "کنارے پر آنے کے بعد سیڑھیاں اٹھا لینا" کہا جاتا ہے: یہ اسکولوں سے تحقیقی عملہ کو نکال لیتے ہیں، اکادمک دنیا کی شفاف طور پر جمع کردہ کامیابیوں پر قائم ہوتے ہیں، زیادہ قیمتیں دے کر ماہرین اور جی پی یو کو چھین لیتے ہیں، خود کم از کم مساوی جائزہ کے عمل میں شرکت کرتے ہیں، اور آخرکار اکادمک تحقیق کو "زیادہ تر دھوکہ" قرار دے دیتے ہیں۔

کچھ زیادہ سخت لگتا ہے، لیکن اس میں حقیقت ہے۔

ان عصری لیبز کے لوگ "پیپر نہیں پڑھ سکتے"، لیکن داخلہ کے لیے پہلے پیپر جمع کرانا ضروری ہے۔

صنعتی تجربہ کے缺乏 والے طلبہ اور جوان محققین کے لیے، ٹاپ کانفرنس کے پیپرز اب بھی تحقیقی صلاحیت کا سب سے براہ راست ثبوت ہیں۔

ڈاکٹریٹ کے لیے درخواست دینا، اساتذہ کی پوزیشن تلاش کرنا، یا OpenAI جیسے عصری لیب میں شامل ہونا، سب پریشانی کے لیے تحقیقی مقالوں پر منحصر ہے۔

صنعت کے لوگ بڑے لیب میں داخل ہونے کے بعد مقالوں کو نظرانداز کرتے ہیں، لیکن باہر کھڑے لوگوں کو منتخب کرنے کے لیے مقالوں کی تعداد، کانفرنس کے سطح اور حوالہ جات کے اعداد و شمار کا استعمال کرتے رہتے ہیں۔

اس طرح، تحقیقی مقالہ ایک عجیب وضع میں پھنس جاتا ہے: اس کی علمی اشاعت میں قابلیت پر شک کیا جاتا ہے، لیکن صلاحیتوں کے مقابلے میں اس کی اہمیت مکمل طور پر نہیں گھٹی۔

تو، "بڑا لیب پیپرز نہیں پڑھتا" کہنا تھوڑا اعلیٰ اور غرور بھرا لگتا ہے۔ کیونکہ وہی لوگ جنہیں پیپرز نہ پڑھنے کا حق ہے، عام طور پر پیپرز کے ذریعے اس حد تک پہنچ چکے ہوتے ہیں۔

بالکل، سب طلبہ مکمل طور پر ڈیزائن کیے گئے دھوکہ باز اکیڈمک خلاف ورزی کار نہیں ہیں۔

ایک یونیورسٹی کے محقق نے مزاحیہ انداز میں کہا کہ وہ چاہتا ہے کہ اس کے طلباء پہلے ہی جھوٹی یا زیادہ بڑھائی گئی تحریر لکھنے کی صلاحیت رکھتے ہوں۔

کچھ لوگ "ماحولیاتی دھوکہ بازی" کر رہے ہیں، جبکہ کچھ لوگ ابھی تک LaTeX میں الجھے ہوئے ہیں۔

حوالہ لنک:

https://x.com/MathewShen42/status/2084465434506768867

https://x.com/kellerjordan0/status/2084721463089902074

https://sai.science/blog/how-much-science-is-verifiable

https://x.com/mengyer/status/2085134204786921886

یہ مضمون ویچن گروپ "机器之心" (ID: almosthuman2014) سے لیا گیا ہے، مصنف:机器之心