Согласно сообщениям СМИ, предстоящая модель OpenAI Astra использует архитектуру рекуррентной глубины (также называемую петлевым трансформером).
В отличие от обычных Transformer, где каждый токен проходит через слои сети фиксированное количество раз, Astra позволяет одному и тому же фрагменту информации многократно проходить через одну и ту же группу слоев с несколькими итерациями вычислений перед выводом. ByteDance уже раскрыла аналогичный подход в прошлом году.
Ouro, выпущенный командой Seed, представляет собой петлевую языковую модель, которая также заставляет группу слоев Transformer работать циклически, встраивая больше вычислений внутрь модели, чтобы меньшие модели могли приближаться к эффективности более крупных моделей за счет увеличения вычислительных затрат при выводе.
Эта архитектура вызывает опасения по поводу безопасности: часть выводов происходит внутри скрытых состояний, и люди не могут видеть полные текстовые записи, что затрудняет проверку модели на соответствие правилам с помощью цепочки рассуждений.
OpenAI ограничил использование Astra рекуррентной глубины, сохранив читаемую цепочку рассуждений, и планирует добавить дополнительный мониторинг CoT.