За повідомленнями ЗМІ, майже щойно запущена модель OpenAI Astra використовує архітектуру рекурентної глибини (також відому як looped transformer).
На відміну від звичайного Transformer, де кожен токен фіксовано проходить через всі шари при кожному генеруванні, Astra дозволяє одному й тому самому фрагменту інформації кілька разів проходити через одну й ту саму групу шарів перед виведенням. ByteDance раніше цього року уже оприлюднила подібний підхід.
Ouro, випущений командою Seed, — це петлева мова, яка також застосовує набір шарів Transformer у циклі, щоб вбудувати більше обчислень безпосередньо в модель, дозволяючи меншим моделям наближатися до ефекту більших за рахунок збільшення обчислювальних витрат при виведенні.
Ця архітектура викликає занепокоєння щодо безпеки: частина міркувань відбувається всередині прихованих станів, людина не може бачити повного текстового запису і складніше перевіряти за ланцюжком міркувань, чи не порушує модель правила.
OpenAI обмежила використання Astra рекурентної глибини, зберігаючи читабельний ланцюжок міркувань, і планує додати додатковий моніторинг CoT.