Menurut laporan media, model Astra yang akan dilancarkan oleh OpenAI menggunakan arsitektur rujukan berulang recurrent depth (juga dikenali sebagai looped transformer).
Berbeza dengan Transformer biasa yang setiap token yang dihasilkan melewati setiap lapisan secara tetap, Astra membenarkan maklumat yang sama melalui sekumpulan lapisan berulang kali, melakukan pengiraan berbilang putaran sebelum mengeluarkan output. ByteDance telah mengumumkan pendekatan serupa tahun lalu.
Ouro yang dikeluarkan oleh pasukan Seed adalah sebuah Looped Language Model yang sama-sama menjalankan sekumpulan lapisan Transformer secara berulang, membawa lebih banyak pengiraan ke dalam model itu sendiri, membolehkan model yang lebih kecil mendekati kesan model yang lebih besar dengan meningkatkan pengiraan inferens.
Arsitektur ini membawa kebimbangan keselamatan: sebahagian inferens berlaku dalam keadaan tersembunyi dalaman, di mana manusia tidak dapat melihat rekod teks penuh, menjadikan lebih sukar untuk memeriksa sama ada model melanggar peraturan melalui rantai pemikiran.
OpenAI seterusnya membatasi penggunaan recurrent depth oleh Astra, mengekalkan rantai pemikiran yang boleh dibaca, dan merancang untuk menambahkan pemantauan CoT tambahan.