Segundo relatos da mídia, o próximo modelo da OpenAI, Astra, adota a arquitetura de raciocínio cíclico recurrent depth (também conhecida como looped transformer).
Diferentemente dos Transformers tradicionais, que atravessam fixamente todas as camadas para gerar cada token, a Astra permite que a mesma informação passe repetidamente pelo mesmo conjunto de camadas, realizando múltiplos cálculos antes de produzir a saída. A ByteDance já revelou uma abordagem semelhante no ano passado.
O Ouro, lançado pela equipe Seed, é um Looped Language Model que faz um conjunto de camadas Transformer operar em loop, incorporando mais cálculos internamente ao modelo, permitindo que modelos menores se aproximem do desempenho de modelos maiores aumentando o cálculo de inferência.
Essa arquitetura apresenta preocupações de segurança: parte da inferência ocorre em estados internos ocultos, impossibilitando que os humanos vejam registros completos de texto e dificultando ainda mais a verificação da cadeia de raciocínio para identificar violações do modelo.
A OpenAI limitou o uso do Astra na profundidade recorrente, preservando a cadeia de pensamento legível e planeja adicionar monitoramento adicional de CoT.