Selon les médias, le modèle Astra bientôt publié par OpenAI utilise une architecture d'inférence récurrente recurrent depth (également appelée looped transformer).
Contrairement aux Transformers classiques, où chaque token généré traverse fixement toutes les couches, Astra permet à une même information de passer plusieurs fois par le même ensemble de couches avant d’être sortie. ByteDance a déjà révélé une approche similaire l’année dernière.
Ouro, publié par l'équipe Seed, est un modèle de langage bouclé qui fait circuler un ensemble de couches Transformer, intégrant davantage de calculs à l'intérieur du modèle afin que des modèles plus petits puissent approcher les performances de modèles plus grands en augmentant le calcul d'inférence.
Cette architecture soulève des préoccupations en matière de sécurité : une partie de l'inférence se produit dans des états internes cachés, empêchant les humains de consulter l'intégralité des enregistrements textuels et rendant plus difficile l'inspection des chaînes de raisonnement pour détecter les violations.
OpenAI a donc limité l'utilisation de Astra sur la profondeur récurrente, préservé une chaîne de pensée lisible, et prévoit d'ajouter une surveillance supplémentaire des CoT.