Inovasi dari OpenAI Astra ini sebenarnya sudah pernah dilakukan oleh ByteDance tahun lalu. Jalur ini disebut recurrent depth. Secara sederhana, bukan lagi mengandalkan generasi CoT yang lebih panjang untuk berpikir lebih lama, melainkan membiarkan sekelompok blok Transformer yang sama berulang kali berputar pada hidden state, memasukkan lebih banyak komputasi ke dalam latent space. Soal sulit dijalankan beberapa putaran, soal mudah dikeluarkan lebih awal. Parameter tidak perlu tumbuh seiring dengan kedalaman inferensi, dan compute pada waktu pengujian juga dapat dialokasikan lebih fleksibel. Pada Oktober tahun lalu, ByteDance Seed telah mempublikasikan dan mengopen-source Ouro, yang merupakan Looped Language Model. Ouro-1.4B dan 2.6B secara langsung menambahkan iterative latent reasoning selama tahap pre-training; 2.6B secara default melakukan beberapa putaran recurrent computation, sekaligus mendukung adaptive exit, memungkinkan setiap pertanyaan menentukan sendiri berapa banyak putaran yang dibutuhkan. Tahun lalu, ini baru merupakan jalur samping yang diverifikasi oleh ByteDance dengan model kecil, kini telah dimasukkan oleh OpenAI ke dalam model paling mutakhir. Ini berarti recurrent depth kemungkinan besar tidak lagi hanya desain yang “menarik” secara akademis, tetapi mulai memasuki jalur teknis nyata untuk model besar generasi berikutnya. Namun, masalah yang ditimbulkannya jauh lebih rumit daripada benchmark. Di masa lalu, banyak komputasi dalam perluasan kemampuan reasoning model tertulis dalam CoT. Semakin lama model berpikir, semakin banyak token reasoning yang dihasilkannya. Meskipun CoT tidak sama dengan status internal penuh model, setidaknya ia tetap menjadi jendela pemantauan yang aman. Recurrent depth akan terus memindahkan komputasi lebih dalam ke latent space. Satu set parameter yang sama dapat berputar berkali-kali dalam hidden state, sehingga model telah menyelesaikan sejumlah besar komputasi internal, dan hanya perlu menghasilkan sedikit teks akhir. Maka muncul pertanyaan nyata: Lokasi sebenarnya di mana model menyelesaikan reasoning sedang perlahan meninggalkan bahasa alami. Ini juga menjadi kekhawatiran utama para peneliti terhadap Astra. OpenAI sendiri sebelumnya sangat menekankan pemantauan Chain-of-Thought, karena jika model berniat menipu, melakukan reward hacking, atau menghindari aturan, seringkali niatnya terungkap terlebih dahulu dalam CoT. Namun, jika semakin banyak reasoning terjadi di dalam latent state, apa yang bisa Anda pantau? Dilaporkan bahwa OpenAI saat ini bahkan sengaja membatasi tingkat penggunaan recurrent depth pada Astra, demi mempertahankan lebih banyak CoT yang dapat dibaca, sekaligus menambahkan pemantauan status internal dan perilaku ekstra. Hal ini sebenarnya sangat menarik. Selama beberapa tahun terakhir, jalur ekspansi reasoning pada model besar sangat mudah dipahami: berikan lebih banyak token, biarkan ia berbicara lebih banyak. Berikutnya mungkin akan menjadi memberinya lebih banyak siklus internal, tetapi ia tidak perlu memberi tahu Anda prosesnya.