اُوپن اے آئی اسٹرا کا یہ "ابتر"، بائٹ دانس نے پہلے ہی سال اپنی طرف سے شائع کر دیا تھا۔ اس راستے کو ریکرینٹ ڈیپتھ کہتے ہیں۔ سادہ الفاظ میں، یہ صرف لمبے CoT کو جنریٹ کرنے پر انحصار نہیں کرتا، بلکہ ایک ہی ٹرانسفارمر بلاکس کو ہڈن اسٹیٹ پر دوبارہ دوبارہ چلایا جاتا ہے تاکہ زیادہ کمپیوٹیشن کو لینٹ اسپیس میں ڈالا جا سکے۔ مشکل سوالات کئی راؤنڈ چلائیں، آسان سوالات جلد ختم کر دیں۔ پیرامیٹرز کو انفرنس ڈیپتھ کے ساتھ بڑھانے کی ضرورت نہیں، اور ٹیسٹ ٹائم کمپیوٹ کو بھی زیادہ لچکدار طریقے سے تقسیم کیا جا سکتا ہے۔ پچھلے اکتوبر میں، بائٹ دانس سیڈ نے Ouro کو شائع اور اوپن سورس کر دیا تھا، جو لوپڈ لینگوئج مڈل تھا۔ Ouro-1.4B اور 2.6B نے پری ٹریننگ کے دوران براہ راست اِٹریٹو لینٹ ریزننگ شامل کیا، جس میں 2.6B ڈیفالٹ طور پر متعدد راؤنڈز کا ریکرینٹ کمپوٹیشن کرتا ہے، اور ایڈاپٹو ایگزٹ کو بھی سپورٹ کرتا ہے تاکہ مختلف سوالات خود فیصلہ کر سکیں کہ وہ کتنے راؤنڈز تک سوچنا چاہتے ہیں۔ پچھلے سال صرف بائٹ دانس نے چھوٹے ماڈلز کے ذریعے اس طرح کا تجربہ کیا تھا، لیکن اب اُوپن اے آئی نے اسے اپنے سب سے آگے کے ماڈل میں شامل کر دیا ہے۔ اس کا مطلب ہے کہ ریکرینٹ ڈیپتھ شاید صرف اکادمک طور پر "دلچسپ" ڈیزائن نہیں رہا، بلکہ اب نسل جدید بڑے ماڈلز کی حقیقی انجینئرنگ راستہ بن چکا ہے۔ اور اس سے پیدا ہونے والے مسائل بینچ مارک سے زیادہ پیچیدہ ہیں۔ گزشتہ زمانے میں، رزننگ ماڈلز کی توسیع میں بہت سارا کمپوٹیشن CoT میں لکھا جاتا تھا۔ جتنا لمبا ماڈل سوچتا، اتنا ہی زیادہ رزننگ ٹوکنز پیدا ہوتے۔ حالانکہ CoT ماڈل کے مکمل اندرلے حالت کے برابر نہیں تھا، لیکن کم از کم اس سے ایک محفوظ مانٹرنگ ونڈو بن سکتی تھی۔ ریکرینٹ ڈیپتھ کمپوٹیشن کو مزید لینٹ اسپیس میں منتقل کرتا جائے گا۔ ایک ہی پیرامیٹرز گروپ ہڈن اسٹیٹ میں بار بار دوبارہ چل سکتے ہیں، جس سے ماڈل اندر ہی بڑھتے ہوئے بڑھتے حسابات مکمل کر لے، اور آخر میں صرف ایک چھوٹا سا متن پیدا کر دے۔ اس طرح ایک واقعی مسئلہ پیدا ہوتا ہے: ماڈل کا حقیقی استدلال مقام، قدرتی زبان سے آہستہ آہستہ باہر نکل رہا ہے۔ اور یہi وہ جگہ ہے جہاں تحقیق کرنے والے Astra کے بارے میں سب سے زائد فکرمند ہیں۔ اوپن اے آئی نے خود پچھلے زمانے میں Chain-of-Thought مانٹرنگ پر زور دیا تھا، کyunکہ اگر ماڈل دھوکہ دینا، رِوارڈ ہِک کرنا، ya قوانین سے بچنا چاہتا تھا تو وہ عام طور پر CoT میں پہلے نشانات ظاہر کرتا تھا۔ لیکن اگر زائد تر رزننگ لینٹ اسٹیٹ میں ہو رہا ہو تو آپ کونسا مانٹرنگ کر سکتے ہیں؟ آئندہ بتایا جاتا ہے کہ اوپن اے آئی Astra کو ریکرینٹ ڈีپتھ استعمال کرنے سے جان بوجھ کر روک رہا ہے تاکہ زائد قابلِ پڑھائی CoT برقرار رکھا جائے، اور ساتھ ہی اندرلے حالت اور روایت پر مانٹرنگ بھي نصب کرد جائے۔ اس بات مें حقًا دلچسپية ہے۔ گزشتہ کچھ سالوں ميں، بڑي ماڈلز كي استدلال كي وسعت كي راه بخوبى سمجھي جاتي تھي: ان كو زائد ٹوكن دو، ان كي زائد بات كرو۔ اب بعد كي راه شاید ان كي زائد اندرلو كائنات كي لوپ دينा ھو، لेकن وه ان عمل كي تفصيلات تم كي طرف نه بتانا۔