Menurut laporan media, model Astra yang akan dirilis oleh OpenAI menggunakan arsitektur recurrent depth (juga dikenal sebagai looped transformer).
Berbeda dengan Transformer biasa yang secara tetap melewati setiap lapisan jaringan untuk setiap token yang dihasilkan, Astra memungkinkan informasi yang sama melewati sekumpulan lapisan yang sama berulang kali, melakukan perhitungan berulang sebelum menghasilkan output. ByteDance telah mengungkapkan jalur serupa tahun lalu.
Ouro yang dirilis oleh tim Seed adalah Looped Language Model yang sama-sama menjalankan serangkaian lapisan Transformer secara berulang, memasukkan lebih banyak komputasi ke dalam model itu sendiri, sehingga model yang lebih kecil dapat mendekati kinerja model yang lebih besar dengan meningkatkan jumlah komputasi inferensi.
Arsitektur ini menimbulkan kekhawatiran keamanan: sebagian inferensi terjadi dalam keadaan tersembunyi internal, sehingga manusia tidak dapat melihat catatan teks lengkap dan lebih sulit memeriksa apakah model melanggar aturan melalui rantai pemikiran.
OpenAI oleh karena itu membatasi penggunaan recurrent depth oleh Astra, mempertahankan rantai pemikiran yang dapat dibaca, dan berencana menambahkan pemantauan CoT tambahan.