اوپن اے آئی ڈگ، اپنا اب تک کا سب سے بڑا پری-ٹریننگ ماڈل تیار کر رہی ہے

9 اگست کو، X صارف ChrisGPT جو OpenAI ماڈلز کے رجحانات پر طویل عرصے سے نظر رکھ رہے ہیں، نے انکشاف کیا کہ OpenAI ایک نئے بڑے پری ٹرینڈ ماڈل، جس کا کوڈ نام Doug ہے، پر کام کر رہا ہے۔

اس کے مطابق، Doug OpenAI کا اب تک کا سب سے بڑا پری ٹرینڈ پروجیکٹ ہوگا، اور یہ GPT-6 کا ایک ہی ماڈل نہیں ہے۔

بعد کے جواب میں، کرِس جی پی ٹی نے مزید بتایا کہ GPT-6 احتمالاً کل OpenAI کا وہ اپنا طاقتور ترین ماڈل Astra ہے جسے مسائلِ حفاظت کی وجہ سے فوری طور پر منسوخ کر دیا گیا تھا۔

Doug کے لیے، وہ 11 مہینے تک کے اندر جاری ہونے کی توقع کرتے ہیں۔

کریس جی پی ٹی Doug کا ذکر کرنے والا پہلا علناً سرچ کرنے والا ذریعہ نہیں ہے۔

7 اگست کو، سیمی اینالسسس، سیمی کنڈکٹر اور AI صنعت کا تحقیقی ادارہ، جو مینی اور گوگل کلاؤڈ پر ایک مضمون میں، ایک پہلے کے ادارہ جاتی صارفین کو بھیجے گئے تحقیقی میمو کو شائع کیا۔ اس میمو کی تاریخ 9 جولائی تھی۔

آرٹیکل کا لنک: https://newsletter.semianalysis.com/p/gemini-is-cooked-but-gcp-is-cooking

ایک بہت اہم جملہ ہے: OpenAI نے پری ٹریننگ کے مسائل کو دور کر لیا ہے، اور ایک Doug نامی، بہت بڑا ماڈل فی الحال فعال طور پر ترقی کر رہا ہے۔

اگر متعلقہ خبر درست ہے، تو Doug کا مطلب ہو سکتا ہے کہ OpenAI، جو پچھلے تقریباً دو سالوں سے صرف post-training، ری انفورسمنٹ لرننگ اور inference-time compute کے ذریعے صلاحیت کی ترقی پر منحصر تھا، اب ایک بڑی بنیادی ماڈل کی نسل تبدیلی کو دوبارہ شروع کر رہا ہے۔

کہانی GPT-4o سے شروع ہوتی ہے۔

13 مئی، 2024 کو، OpenAI نے GPT-4o جاری کیا اور اسے نیا فلگشپ ماڈل قرار دیا۔

اس کے بعد تقریباً دو سال تک، OpenAI نے GPT-4.5 جیسے نئے پری ٹرینڈ ماڈلز کو تربیت دی اور جاری کیا، لیکن ابھی تک ایک مکمل سائز کی پری ٹریننگ مکمل نہیں کر پائی جو بعد کے نسل کے مرکزی فرنٹائر ماڈل کے طور پر وسیع پیمانے پر ڈپلوی کی جا سکے۔

اسی دوران، OpenAI کے ماڈل کی صلاحیتوں میں اضافہ زیادہ تر دوسرے راستے سے ہو رہا ہے۔

12 ستمبر 2024، اوپن اے آئی نے o1-preview جاری کیا۔

گزشتہ زمانے میں جہاں صلاحیتوں کی نمو بڑے پیمانے پر پیش گئی تربیت پر منحصر تھی، وہاں o1 ایک دوسری سکیلنگ طریقہ کا مظاہرہ کرتا ہے: بڑے پیمانے پر تقویتی سیکھنے کے ذریعے ماڈل کو استدلال کے لیے زیادہ کمپوٹیشن کا استعمال کرنے کا طریقہ سکھانا۔ اس کے بعد، پوسٹ-ٹریننگ، RL اور انفرینس-ٹائم کمپوٹیشن OpenAI کے ماڈل سسٹم میں تدریجاً زیادہ اہمیت کے حامل بن گئے۔

اپریل 2025 میں، o3 کا باہمی اجرا ہوا۔ OpenAI نے دوبارہ زور دیا کہ o سیریز کی استدلال کی صلاحیت بڑے پیمانے پر تقویت سیکھنے سے حاصل ہوتی ہے۔

اگست 2025 میں، GPT-5 جاری کیا گیا۔ یہ صرف ایک واحد ماڈل نہیں بلکہ تیز ماڈل، گہرے استدلال ماڈل اور راؤٹنگ سسٹم سے مل کر بنا ایک یکجا آرکیٹیکچر ہے۔

سیمی اینالیسس کا خیال ہے کہ o1، o3 اور GPT-5 سیریز کے پیچھے GPT-4o کے برابر کوئی نیا بنیادی ماڈل نسلی ترقی نہیں ہوئی ہے، متعلقہ ماڈلز دراصل GPT-4o کے دور کے بنیادی ماڈل سسٹم پر ہی قائم ہیں۔

اوپن اے آئی نے کبھی اس تربیتی نسب کی تصدیق نہیں کی، لیکن اگر سیمی اینالسس کی معلومات درست ہیں، تو پچھلے تقریباً دو سال کا راستہ بہت واضح ہو جاتا ہے: بنیادی ماڈل میں اسی سطح کا نسلی ترقی نہیں ہوئی، بلکہ صلاحیتوں میں اضافہ زیادہ طاقتور پوسٹ-ٹریننگ اور آر ایل کے ذریعے ہوا۔

ماڈل سکیلنگ بھی اب پہلے کی طرح صرف پری-ٹریننگ پر منحصر نہیں رہا، بلکہ اب پری-ٹریننگ، RL اور انفرینس-ٹائم کمپیوٹ کے تین ابعاد تک پھیل چکا ہے۔

مسئلہ یہ ہے کہ اگر بنیادی ماڈل لمبے عرصے تک ایک جیسی ترقی نہ کرے اور صرف بعد کی تربیت اور استدلال کے حساب سے سکیلنگ جاری رکھی جائے، تو بالآخر حدی فائدے کم ہونے کا مسئلہ پیدا ہو جائے گا۔

جبکہ جمنی 3 کے ظہور نے اس ممکنہ تربیتی راستے کے مسئلے کو فوری طور پر حقیقی مقابلے کے دباؤ میں تبدیل کر دیا۔

18 نومبر 2025 کو، گوگل نے جیمینی 3 جاری کیا۔

دس دن بعد، SemiAnalysis نے TPUv7 تجزیہ میں ایک ایسا جائزہ پیش کیا جس نے وسیع بحث کو جنم دیا: GPT-4o کے بعد، OpenAI نے کوئی ایسی کامیاب مکمل سائز کی پری ٹریننگ نہیں کی جو نئے فرنٹیئر ماڈل کے طور پر وسیع پیمانے پر ڈپلوی کی جا سکے۔

جب گوگل نے جیمنی 3 لانچ کیا، تو یہ فرق صرف تربیت کے راستے کا مسئلہ نہیں رہا، بلکہ براہ راست مقابلے کا دباؤ بن گیا۔

1 دسمبر کو، کئی میڈیا رپورٹس کے مطابق، سام الٹمن نے OpenAI کے اندر "کوڈ ریڈ" کا اعلان کیا اور ٹیم سے چیٹ جی پی ٹی کو ترجیح دینے اور کچھ وسائل کو دوبارہ ترتیب دینے کا مطالبہ کیا۔

ایک دن کے بعد، زیادہ اہم تربیتی معلومات سامنے آئیں۔

2 دسمبر 2025 کو، The Information نے رپورٹ کیا کہ OpenAI ایک نیا پری ٹرینڈ ماڈل، Garlic کو تیار کر رہا ہے۔ رپورٹ میں اندر کے ذرائع کے حوالے سے کہا گیا کہ Garlic کوڈنگ اور ریزننگ ٹیسٹس میں اچھا پرفارم کر رہا ہے اور OpenAI نے اپنے پچھلے ٹریننگ عمل میں دریافت کیے گئے سیریز بگ فکسز کا استعمال کیا ہے۔

زیادہ اہم بات یہ ہے کہ ایک رپورٹ کے مطابق، OpenAI کے سربراہ تحقیقی افسر مارک چین نے ٹیم کو بتایا کہ کمپنی نے پہلے کے پری-ٹریننگ میں کچھ اہم مسائل حل کر لیے ہیں۔ رپورٹ میں یہ بھی کہا گیا ہے کہ ان تربیتی بہتریوں سے چھوٹے ماڈلز میں وہ جانکاری شامل ہو سکتی ہے جو پہلے بڑے ماڈلز کے لیے ضروری تھی۔

اسی رپورٹ میں، ایک اور جملہ بعد میں خاص طور پر اہم ثابت ہوا: OpenAI نے Garlic سے سیکھے گئے تجربات کی بنیاد پر ایک 'اور بڑا اور بہتر ماڈل' تیار کرنے شروع کر دیا ہے۔

ڈگ کی کہانی، اصل میں یہیں سے شروع ہو چکی ہے۔

6 جنوری 2026 کو، SemiAnalysis نے دوبارہ OpenAI کے ماڈل راستے پر بات کی۔ اس بار، انہوں نے براہ راست لکھا: OpenAI نے پری ٹریننگ کے مسائل حل کر لیے ہیں۔

یعنی، سیمی اینالیسس کے پاس جو معلومات ہیں، اس کے مطابق، OpenAI کو پہلے پورے سائز کی پری ٹریننگ کے مسائل کا سامنا تھا، جن کا حل نکال لیا گیا ہے۔

گارلک نے اس بات کی تصدیق کرنے کا کردار ادا کیا ہوگا کہ ان درستگیوں کا اثر کیا ہے، جبکہ ڈگ، ان تربیتی طریقوں کو بڑے پیمانے پر لاگو کرنے کا نتیجہ ہو سکتا ہے۔

اگر اوپر کا پیغام درست ہے، تو OpenAI کم از کم دو اہم ماڈل پروجیکٹس کو لگاتار آگے بڑھا رہا ہے: جو Astra جو اعلیٰ جائزہ کے مرحلے میں ہے، اور Doug جس کا سائز زیادہ بڑا ہونے کا دعویٰ کیا جاتا ہے۔

اور ڈگ نے دوسری بات کی طرف اشارہ کیا: بنیاد کو دوبارہ اسکیلنگ کی طرف متحرک کرنا۔

گزشتہ دو سالوں میں، OpenAI نے ثابت کر دیا ہے کہ پرانے بنیادی ڈھانچے کو RL، ریزننگ اور انفرنس ٹائم کمپیوٹ کے ذریعے مسلسل بلند کیا جا سکتا ہے۔

ڈگ نے ایک اور سوال کا جواب دینا ہے: جب بنیاد خود دوبارہ ایک بڑی کوچھل کر لے تو، اس پوسٹ ٹرینڈ سسٹم کو اب تک کس حد تک پہنچایا گیا ہے، اب وہ صلاحیتیں مزید کہاں تک لے جائے گی۔

یہ شاید OpenAI کے اگلے ماڈل کی مقابلہ کی حقیقی شروعات ہے۔

حوالہ لنک:

https://x.com/ChrisGPT/status/2086220662264250764

https://newsletter.semianalysis.com/p/gemini-is-cooked-but-gcp-is-cooking

https://newsletter.semianalysis.com/p/rl-environments-and-rl-for-science

https://www.theinformation.com/newsletters/ai-agenda/openai-developing-garlic-model-counter-googles-recent-gains

یہ مضمون ویچن گروپ "مشین سینٹر" (ID: almosthuman2014) سے ہے، مصنف: LLM پر توجہ دینے والی مشین سینٹر