وفقًا للتقارير الإعلامية، فإن نموذج Astra الذي ستطلقه OpenAI يستخدم بنية الاستدلال الدائري recurrent depth (المعروفة أيضًا باسم looped transformer).
على عكس Transformer العادي الذي يمرر كل توكين مُولَّد عبر الطبقات بشكل ثابت، يسمح Astra لنفس القطعة من المعلومات بالمرور متعدد المرات عبر نفس مجموعة الطبقات، وإجراء حسابات متعددة قبل الإخراج. وقد نشرت ByteDance مسارًا مشابهًا العام الماضي.
يُعد Ouro، الذي أصدره فريق Seed، نموذجًا لغويًا متكررًا، حيث يُجري مجموعة من طبقات Transformer عملية تكرارية، مما يدمج المزيد من الحسابات داخل النموذج نفسه، ليسمح للنماذج الأصغر بالاقتراب من أداء النماذج الأكبر من خلال زيادة حسابات الاستدلال.
يُثير هذا الهيكل مخاوف أمنية: حيث تحدث بعض عمليات الاستدلال داخل الحالات المخفية، ولا يمكن للإنسان رؤية السجل الكامل للنص، مما يجعل من الصعب التحقق من انتهاك النموذج من خلال سلسلة التفكير.
لذلك قيدت OpenAI استخدام Astra لعمق التكرار، واحتفظت بسلسلة التفكير القابلة للقراءة، وخططت لإضافة مراقبة إضافية لـ CoT.