میڈیا کی رپورٹس کے مطابق، OpenAI کا جلد اجلاس ہونے والا Astra ماڈل ریکرنس ڈیپتھ (جسے لوپڈ ٹرانسفارمر بھی کہا جاتا ہے) کے آرکیٹیکچر پر مبنی ہے۔
عام ٹرانسفارمر کے برعکس جو ہر ٹوکن کو پیدا کرتے وقت مسلسل ہر لیئر سے گزرتا ہے، اسٹرا ایک ہی معلومات کو ایک ہی لیئرز کے گروپ سے متعدد بار گزرتا ہے اور بعد میں آؤٹ پٹ دیتا ہے۔ بائٹڈانس نے پچھلے سال اسی راستے کا اعلان کر چکا ہے۔
اس کے سیڈ ٹیم نے جاری کیا ہوا Ouro ایک Looped Language Model ہے، جو Transformer لیئرز کے ایک گروپ کو دوبارہ چلایا جاتا ہے، تاکہ زیادہ کمپوٹیشن کو مدل کے اندر ڈالا جا سکے اور چھوٹے مدلز بڑے مدلز کے اثرات تک پہنچنے کے لیے انفرینس کمپوٹیشن بڑھائیں۔
یہ ساخت محفوظیت کے خدشات کا باعث بناتی ہے: کچھ استدلال داخلی پوشیدہ حالت میں ہوتا ہے، جس کی مکمل متن کی ریکارڈنگ انسانوں کے لیے دستیاب نہیں ہوتی، اور ماڈل کی عدم اخلاقی سرگرمیوں کی جانچ کے لیے سوچ کے سلسلے کا استعمال مشکل ہو جاتا ہے۔
اس لیے OpenAI نے Astra کے recurrent depth کے استعمال کو محدود کر دیا، قابل فہم思维链 کو برقرار رکھا، اور مزید CoT مانیٹرنگ شامل کرنے کا منصوبہ بنایا ہے۔