मीडिया रिपोर्ट्स के अनुसार, OpenAI द्वारा जल्द ही लॉन्च किए जाने वाले Astra मॉडल में रिकर्सिव डेप्थ आर्किटेक्चर (जिसे लूपेड ट्रांसफॉर्मर भी कहा जाता है) का उपयोग किया गया है।
सामान्य Transformer के विपरीत, जहां प्रत्येक टोकन को निरंतर सभी परतों से गुजरना पड़ता है, Astra एक ही जानकारी को एक ही सेट की परतों से कई चक्रों में गुजरने और फिर आउटपुट देने की अनुमति देता है। बाइटडांस ने पिछले वर्ष इसी दिशा को सार्वजनिक किया था।
उनके Seed टीम द्वारा जारित Ouro एक लूपेड भाषा मॉडल है, जो Transformer परतों के समूह को लूप करके अधिक गणना को मॉडल के भीतर एकीकृत करता है, ताकि छोटे मॉडल निष्पादन गणना बढ़ाकर बड़े मॉडल के प्रभाव के करीब पहुँच सकें।
इस आर्किटेक्चर से सुरक्षा चिंताएँ उत्पन्न होती हैं: कुछ निष्कर्ष आंतरिक छिपे हुए स्थितियों में होते हैं, जिससे मानव विस्तृत टेक्स्ट रिकॉर्ड नहीं देख सकते और मॉडल की अनुपालन जाँच के लिए विचार श्रृंखला का उपयोग करना कठिन हो जाता है।
OpenAI ने इसलिए Astra के recurrent depth के उपयोग को सीमित कर दिया, पठनीय विचार श्रृंखला बनाए रखी और अतिरिक्त CoT मॉनिटरिंग जोड़ने की योजना बनाई है।