Medya raporlarına göre, OpenAI'nin yakında çıkaracağı Astra modeli, döngüsel çıkarım mimarisi olan recurrent depth'i (döngüsel transformer olarak da bilinir) kullanıyor.
Astra, normal Transformer'ın her token üretimi için sabit katmanlardan geçmesine farklı olarak, aynı bilgi parçasının aynı katman grubundan birden fazla kez geçmesine ve çoklu hesaplama yapıldıktan sonra çıktı vermesine izin verir. ByteDance, geçen yıl benzer bir yaklaşımı kamuoyuna açıklamıştı.
Seed ekibinin yayınladığı Ouro, bir Looped Language Model'dir ve aynı şekilde bir Transformer katmanları grubunu döngüsel olarak çalıştırmaktadır; bu, daha fazla hesaplama işlemini modele entegre ederek, daha küçük modellerin çıkarım hesaplamalarını artırarak daha büyük modellerin performansına yaklaşmasını sağlar.
Bu mimari güvenlik endişeleri getirir: bazı çıkarımlar iç gizli durumlarda gerçekleşir, insanlar tam metin kaydını göremez ve modelin ihlal yapıp yapmadığını zincirleme düşünme yoluyla kontrol etmek daha zordur.
OpenAI, Astra'nın tekrarlayan derinlik kullanımını sınırladı, okunabilir bir düşünce zinciri korudu ve ek CoT izleme eklemeyi planlıyor.