لکھنے والے: شن چاؤ ٹیکفلو
کوئی تربیت کی ضرورت نہیں، کوئی ڈیٹا کی ضرورت نہیں، کوئی گریڈینٹ ڈسکنٹ کی ضرورت نہیں۔
MIT کے تحقیقی افراد نے ایک اوپن سورس چھوٹے ماڈل کے وزن GPT-6 Astra کو دے دیے اور قدرتی زبان میں ایک ہدایت دی: "اس کی ریاضی کی صلاحیت بڑھائیں۔"
ایسٹرا نے 20 گھنٹے صرف کیے، 8 ارب پیرامیٹرز کو جانچا، اور دو لیyers کے نیٹ ورک میں 131,072 وزن کو ڈھونڈ کر سرجری کی۔
آپریشن سے پہلے، اس ماڈل نے MATH-500 بینچ مارک پر 7.9% اسکور حاصل کیا؛ آپریشن کے بعد، 48.1%۔
یہ آج کی سب سے زبردست AI خبر ہے۔
ایک بے درجہ سرجری
2 نومبر کو، ایم آئی ٹی کمپیوٹر سائنس اور آرٹیفیشل انٹیلی جنس لیب (CSAIL) کی تحقیقی ٹیم نے ایک بلاگ جاری کیا جس میں ان کے "وزن فضا پروگرامنگ" (Weight-Space Programming) کے تجربے کے نتائج شائع کیے گئے۔ پہلے مصنف رکیا تاکہہ، ایم آئی ٹی CSAIL کے پہلے سال کے ڈاکٹریٹ طالب علم ہیں، جبکہ ساتھیوں میں جیڈن ٹیو، الیکس زانگ، اور تاکہہ کے سپروائزر عمر خٹاب شامل ہیں۔
تجربے کا مرکزی خیال ایک جملے میں خلاصہ کیا جا سکتا ہے: ایک کافی طاقتور AI کو دوسرے AI کے "دماغ" کو براہ راست پڑھنے کے لیے موزوں بنائیں، مسئلہ کو تلاش کریں، اور پھر اسے چھری کی طرح درست کریں۔
چنے گئے "مریض" الی بابا کا اوپن سورس ماڈل Qwen3.5-0.8B ہے، جو ایک 8 ارب پیرامیٹرز کا چھوٹا زبانی ماڈل ہے۔ "سرجیکن" OpenAI کا نئے ترین GPT-6 Astra ہے۔
تحقیقی ٹیم نے اسٹرا کو تین چیزیں فراہم کیں: ریاضی کے مسائل کا ایک سیٹ، مدل کے وزن کو پڑھنے اور لکھنے کے قابل پائیتھن ماحول، اور مدل کے استنتاج کے لیے محدود ڈیل کالز۔ کوئی جی پی یو نہیں، کوئی تربیتی حلقوں کا نظام نہیں، کوئی آپٹیمائزر نہیں۔ اسٹرا کو ایک انسانی تحقیق کار کی طرح، مدل کے رویے کا مشاہدہ کرکے اور وزن کی قیمتیں چیک کرکے، مسئلہ تشخیص کرنا ہوگا، اور پھر براہ راست پیرامیٹرز میں تبدیلی کرنی ہوگی۔
پورا عمل 20.3 گھنٹے تک جاری رہا، جس میں 4.7 گھنٹے سروس کے中断 کے انتظار میں گئے۔ اسٹرا نے 158 بات چیتیں، 80 پائیتھن اجراء اور 50 ماڈل جائزہ لیے۔
آخر کار، اس نے MLP کے 15ویں اور 19ویں لیئر میں ایک "عددی سمت" دریافت کی جو ماڈل کو دہرائے جانے والے آؤٹ پٹ میں پھنسا رہی تھی، اور پھر اس نے 64 آؤٹ پٹ کالمز میں سے اس سمت کو منقصہ کر دیا۔ تبدیل کیے گئے وزن کل 131,072 تھے، جو ماڈل کے کل پیرامیٹرز کا 0.016% تھا۔
ریاضی کے اسکور میں چھ گنا اضافہ ہوا
چھوٹا تبدیلی، بڑا اثر۔
تین بنچ مارکس پر، تبدیلی سے پہلے اور بعد کا موازنہ درج ذیل ہے:
MATH-500: 7.9% → 48.1%
GSM8K: 13.8% → 67.1%
IFEval (ہدایات کی پابندی): 21.0% → 62.3%
ایک اور زیادہ واضح عدد یہ ہے: تبدیلی سے پہلے، Qwen3.5-0.8B نے MATH-500 پر 93% جوابات میں دہرائے جانے والے حلقوں میں پھنس کر 32,768 ٹوکن کی حد تک پہنچ گیا۔ تبدیلی کے بعد، یہ تناسب 33.1% تک کم ہو گیا۔
ونچر بیٹ کی رپورٹ نے اسے "نیورل نیٹ ورک کا جین ایڈیٹنگ" کہا۔ یہ تشبیہ بالکل درست ہے: روایتی ماڈل ٹریننگ ایک شخص کو بہت ساری مشق کر کے ریاضی کی صلاحیت بڑھانے جیسی ہے، جبکہ وزن فضا پروگرامنگ زیادہ تر دماغ کھولنا، غلط جڑی نیورون کو تلاش کرنا اور اسے دوبارہ جوڑنا ہے۔
لیکن تحقیقی ٹیم نے خود ایک اہم حد بیان کی: اسٹرا نے Qwen میں نئی ریاضی کی صلاحیت نہیں ڈالی، بلکہ اس نے صرف اس بات کو ختم کیا جو ماڈل کو اپنی موجودہ صلاحیتوں کو ظاہر کرنے سے روک رہا تھا۔
یہ فرق انتہائی اہم ہے۔ اس کی تصدیق کے لیے، ٹیم نے گوگل کے Gemma 3 270M ماڈل پر اسی تجربے کو دہرایا۔ Gemma 3 کو کم ہی دہرائے گئے نتائج کا مسئلہ تھا (صرف 8.5% جوابات نے token کی حد تک پہنچا)، اور نتیجہ میں Astra کا MATH-500 اسکور تقریباً کوئی بہتری نہیں لایا، جس میں ایک فیصد سے زیادہ کا افتراق نہیں تھا۔
نتیجہ واضح ہے: وزن فضا پروگرامنگ کی موجودہ صلاحیت "رکاوٹوں کو ختم کرنا" ہے، نہ کہ "نئے راستے بنانا".
صرف ریاضی نہیں
ریسرچ ٹیم نے صرف ایک منظر پیش کیا ہے، اسٹرا کی وزن سپیس میں صلاحیتیں اس سے کہیں زیادہ ہیں۔
"روح" کی شناخت: تحقیقی ٹیم نے چار ایسے اٹاری گیم کے اسٹریٹجی نیٹ ورکس (بریک آؤٹ، پونگ، پیک-من، فری وے) تربیت دی جن کی ساخت بالکل ایک جیسی تھی، اور پھر صرف وزن اسٹرا کو دے دیے، کوئی لیبل نہیں۔ اسٹرا نے صرف وزن کے اقدار کے ذریعے ہر نیٹ ورک کے متعلقہ گیم کو درست طور پر شناخت کیا۔ اس کا استدلال یہ تھا: بریک آؤٹ نیٹ ورک کا پہلا لیر وزن اسکرین کے نچلے حصے (پڈ کی جگہ) پر مرکوز ہوتا ہے، جبکہ آؤٹ پٹ لیر کے ایکشن کا تقسیم بائیں اور دائیں حرکت کی طرف مائل ہوتا ہے۔
صفر سے نیٹ ورک بنائیں: MinAtar (Atari کا مختصر ورژن) کے تجربے میں، اسٹرا نے وزن کی جگہ میں مستقیم طور پر گیم کی حکمت عملی نیٹ ورک "لکھا"۔ براک آؤٹ پر، اسٹرا کے لکھے گئے نیٹ ورک نے 517.4 اسکور کیا، جبکہ PPO الگورتھم کے استعمال سے 5 ارب قدم تربیت یافتہ نیٹ ورک نے صرف 25.3 اسکور کیا۔
فیل ہونے والے آٹو پائلٹ کو درست کریں: ایک PPO کے ساتھ تربیت یافتہ کار کنٹرولر پہاڑی پر گڑھ گیا اور مقامی بہترین حل میں چھوٹ گیا۔ اسٹرا نے صرف ایک بار مکالمہ کے ذریعے 3.5% وزن تبدیل کر کے درست کنٹرولر کو 1,024 ٹیسٹ میں تمام کامیابیوں کے ساتھ درست کر دیا۔
ان تجربوں کا مشترکہ نقطہ یہ ہے کہ اسٹرا صرف ہی وزن کو "پڑھ" سکتی ہے، ہر عدد کے کس سلوک کی نمائندگی کرتا ہے، بلکہ وزن کو "دوبارہ لکھ" سکتی ہے تاکہ ماڈل وہ کام کر سکے جو ٹریننگ الگورتھم کر نہیں سکتا۔
"نیورل نیٹ ورکس کا جینیاتی ایڈیٹنگ" کا کیا مطلب ہے؟
وزن فضا میں پروگرامنگ سے پہلے، اکیڈمک دنیا نے ماڈل کے وزنز کو براہ راست ایڈٹ کرنے کی کوشش کی تھی۔ 2022 کے NeurIPS پر ROME اور 2023 کے ICLR پر MEMIT نے دونوں ہی دکھایا کہ زبانی ماڈل کے وزن میں ایک تفصیلی معلومات کو کیسے درست یا تبدیل کیا جائے، جیسے کہ "ایفل ٹاور پیرس میں ہے" کو "ایفل ٹاور روم میں ہے" میں تبدیل کرنا۔
لیکن ROME اور MEMIT "FACTUAL LOOKUP AND REPLACE" کرتے ہیں، جس کا عمل ایک منفرد علمی نقطہ پر ہوتا ہے۔ MIT ٹیم نے اس بار ایک مختلف چیز دکھائی: Astra ماڈل کی عام صلاحیتوں، ریاضی کی استدلال اور ہدایات کی پابندی کو تبدیل کرتا ہے، جو "ایک علمی نقطہ کو ایڈٹ کرنا" سے "ایک رویے کے نمونے کو تبدیل کرنا" تک کی سرحد پار کرتا ہے۔
تاکہی نے اپنے بلاگ میں مزید جرأت کے ساتھ کہا: "نیورل نیٹ ورک کے وزن، جلد ہی وزن کو استدلال کرنے والے LLM کے ذریعے بنیادی طور پر بہتر بنائے جائیں گے۔"
اگر یہ راستہ تصدیق ہو جائے، تو ممکنہ заастعمالات میں شamil ہیں:
مڈل کی مرمت: ڈیپلوی کے بعد مڈل میں مسئلہ آ گیا، اسے واپس لے کر دوبارہ ٹرین نہیں کرنا، بلکہ ایک اور AI کو "ڈاکٹر" کی طرح بھیج کر اسے درست کریں۔ ایسے سامنے والے مڈلز کے لیے جن کی ٹریننگ لاگت کروڑوں امریکی ڈالر ہوتی ہے، یہ بہت بڑی لاگت بچت کا ممکنہ ذریعہ ہو سکتا ہے۔
ماڈل کی جانچ: اگر AI وزن کو سمجھ سکتا ہے، تو سیکیورٹی تحقیق کار بھی اس کا استعمال کرکے یہ جانچ سکتے ہیں کہ کیا ماڈل میں بیکڈور یا بری خصوصیات شامل کی گئی ہیں۔
اوپن سورس ماڈل کسٹمائزیشن: ایک کافی طاقتور AI قدرتی زبان کے حکمات کے مطابق، کسی بھی تربیتی بنیاد کے بغیر اوپن سورس ماڈل کو "کسٹمائز" کر سکتا ہے۔
سکے کا دوسرا پہلو
GPT-6 Astra خود ایک جدلیہ ماڈل ہے۔ OpenAI نے سیکورٹی کے خدشات کی وجہ سے اس کے اپ گریڈڈ ورژن GPT-6.1 Astra کی جاری کردگی کو تاخیر دے دی تھی۔
اوسٹرا کے تین دن بعد، اوپن اے آئی کے سربراہ سائنسدان جیکوب پیچوکی نے ایک مضمون لکھا جس میں انتباہ دیا کہ اوپن اے آئی کے اندری ٹیسٹ کے نتائج سے ظاہر ہوتا ہے کہ AI کی ترقی "ریکرسیو سلف ایمپروومنٹ" کی طرف جا رہی ہے، یعنی AI سسٹم اپنے اپنے جانشین بنانے میں زیادہ سے زیادہ شامل ہو رہے ہیں۔ اس نے کہا کہ کسی بھی لیب کا اندری جائزہ نظام اس مستقبل کا مقابلہ کرنے کے لیے کافی نہیں ہے۔
وزن فضا پروگرامنگ بالکل اس انتباہ کے مرکز کو چھوتی ہے۔ اگر ایک AI دوسرے AI کے وزن کو تبدیل کر کے اس کی صلاحیت بڑھا سکتا ہے، تو نظریہ طور پر، کیا ایک AI اپنے وزن کو تبدیل کر سکتا ہے؟
تحقیقی ٹیم نے اپنے بلاگ میں واضح طور پر اشارہ کیا ہے کہ انہوں نے ریکرسیو خود بہتری نہیں دکھائی، اور نہ ہی یہ کہ اثرات مستقل طور پر جمع ہو سکتے ہیں۔ لیکن اس نے سیکیورٹی کمیونٹی کی توجہ کو روک نہیں سکا۔ PauseAI کے ماکسیم فورنیس نے اسے "ایک بہت ہی بے رحم تحقیقی راستہ" کہا ہے۔
موجودہ پابندیاں حقیقی ہیں: تجربہ صرف ایک 8 ارب پیرامیٹر کے چھوٹے مدل پر کامیاب ہوا، جبکہ Gemma 3 پر ناکام رہا۔ پوری پروسیجر کو 20 گھنٹے اور بہت ساری کوششوں کی ضرورت تھی، اور کسی بھی مستقل ٹیم نے اسے دوبارہ نہیں بنایا ہے، اور روایتی فائن ٹیوننگ کے مقابلے میں لاگت کا فائدہ بھی تصدیق نہیں ہوا ہے۔
لیکن راستہ پہلے ہی بتا دیا گیا ہے۔ ICML 2026 میں ایک مقالہ پیش کیا گیا جس میں دعویٰ کیا گیا کہ وزن کا فضا جنریٹو AI کا "ایک درجے کا موڈ" بننا چاہیے، جس کے ساتھ متن، تصویر اور آواز کو بھی شمار کیا جائے، اور ماڈل کو وزن کو بنیادی طور پر سمجھنا اور ان کا استعمال کرنا چاہیے۔
اگر 2024 کو AI کے لیے "تصویر دیکھ کر بولنا" سیکھنے کا سال کہا جاتا ہے، تو 2025 کو AI کے لیے "کوڈ لکھنا" سیکھنے کا سال کہا جاتا ہے، تو 2026 شاید AI کے لیے "AI کو تبدیل کرنا" سیکھنے کا سال بن رہا ہے۔
یہ راستہ کہاں جاتا ہے، اب تک کسی کو نہیں معلوم۔