Ayon sa mga ulat sa media, ang darating na modelo ni OpenAI na Astra ay gumagamit ng recurrent depth architecture (kilala rin bilang looped transformer).
Sa pagkakaiba sa karaniwang Transformer na gumagawa ng isang Token sa pamamagitan ng bawat layer nang fixed, pinapayagan ng Astra na paulit-ulit na dumaan ang isang segment ng impormasyon sa parehong grupo ng layers, at mag-output lamang pagkatapos ng maraming round ng kalkulasyon. Ang ByteDance ay nagpahayag na ng ganitong direksyon noong nakaraang taon.
Ang Ouro na ipinakilala ng Seed team ay isang Looped Language Model na nagpapagalaw muli ng isang grupo ng Transformer layers, na naglalagay ng higit pang kalkulasyon sa loob ng modelo upang pagsamahin ang mas maliit na modelo sa epekto ng mas malaking modelo sa pamamagitan ng pagpapalaki ng kalkulasyon sa pagpapatakbo.
Dinadala ng arkitekturang ito ang mga pag-aalala sa kaligtasan: ang ilang pag-iisip ay nangyayari sa loob ng nakatagong estado, kaya hindi makikita ng tao ang buong rekord ng teksto, at mas mahirap gamitin ang chain of thought upang suriin kung lumabag ang modelo.
Kaya limitahan ng OpenAI ang paggamit ni Astra sa recurrent depth, pinapanatili ang readable na chain of thought, at plano nilang idagdag ang karagdagang CoT monitoring.