A OpenAI está prestes a lançar o novo modelo "Astra", que está gerando ampla atenção e controvérsia no círculo de pesquisa em IA — ele pode trazer o maior avanço de desempenho desde o GPT-4, mas a nova técnica de raciocínio por trás dele também levanta preocupações sobre a redução da capacidade de monitoramento de segurança da IA.Autor do artigo, fonte: The Information
Segundo relato da mídia tecnológica The Information em 2 de setembro, a Astra incorpora uma tecnologia inovadora cujo núcleo consiste em superar o limite dos modelos para "pensar" problemas complexos. Alguns pesquisadores acreditam que o aumento nas capacidades de codificação e uso de computadores da Astra pode ser comparável ao salto de desempenho trazido pela OpenAI com o lançamento do GPT-4 em 2023, superando amplamente o desempenho observado no lançamento do GPT-5 no verão passado. Isso representa um sinal positivo para toda a indústria, que depende do aumento da produtividade por meio de IA para sustentar investimentos em larga escala na construção de data centers.
No entanto, essa conquista técnica também trouxe riscos significativos. A nova tecnologia permite que o modelo realize raciocínio profundo sem completar a “cadeia de pensamento”, o que significa que os pesquisadores podem não conseguir monitorar o processo de raciocínio do modelo tão eficazmente quanto antes, enfraquecendo assim os mecanismos de revisão de segurança atuais. Atualmente, a OpenAI está tomando medidas para garantir que a cadeia de pensamento do Astra permaneça visível, mas a indústria ainda apresenta divergências sobre a direção de longo prazo desse equilíbrio.
Quebra de desempenho: Nova técnica de inferência ou reprodução do salto de nível GPT-4 está intimamente relacionado aos conceitos de “profundidade recorrente” (recurrent depth) e “transformadores cíclicos” (loop transformers) da Astra.
Segundo o The Information, essa técnica processa as questões ao passá-las repetidamente por várias “camadas” de operações matemáticas do modelo, gerando a próxima palavra na resposta, permitindo que o modelo exiba capacidades de raciocínio muito superiores ao seu tamanho real — com um efeito equivalente ao de um modelo muito maior.
Alguns pesquisadores acreditam que, graças à sua maior capacidade de codificação e uso de computadores, o aumento de desempenho da Astra pode ser comparável à avanço significativo visto com o lançamento do GPT-4 em 2023, superando amplamente a resposta de mercado relativamente tranquila observada com o lançamento do GPT-5 no verão passado.
Esse avanço tem importância significativa para toda a cadeia de valor da IA. A atual construção em larga escala de data centers globais baseia-se na aposta de que o contínuo aprimoramento das capacidades de IA impulsionará o crescimento da produtividade, traduzindo-se em receitas comerciais mais altas. Se o desempenho da Astra atingir as expectativas, fornecerá suporte sólido a esse raciocínio de investimento.
É importante notar que essa tecnologia não é um conceito novo. O pioneiro em pesquisa de IA Jürgen Schmidhuber apontou na plataforma social X que a ideia central do "depth recurrent" já estava presente em seu artigo de 2015, "On Learning to Think" (arXiv:1511.09249).
Ele afirmou que a rede de controle C no artigo é essencialmente um engenheiro de prompts, que aprende a consultar modelos neurais independentes para realizar raciocínio abstrato, onde os prompts e respostas gerados são sequências de vetores autoconstruídos internamente, sem necessidade de serem apresentados em linguagem natural.
Vulnerabilidade de segurança: O mecanismo de monitoramento da cadeia de pensamento enfrenta desafios; novas tecnologias, embora melhorem o desempenho, também representam um impacto potencial sobre os frameworks existentes de monitoramento de segurança de IA.
Relatos indicam que, atualmente, os principais modelos de IA geralmente produzem sua cadeia de raciocínio (chain of thought) na forma de texto ao lidar com problemas complexos. Esse mecanismo não apenas aumenta a explicabilidade do modelo, mas também é uma ferramenta essencial para pesquisadores monitorarem o comportamento do modelo e prevenir operações anômalas.
Segundo o The Information, o monitoramento de cadeia de pensamento foi uma das principais soluções propostas pela OpenAI após o ataque hacker à Hugging Face em julho deste ano, para evitar a repetição de incidentes de segurança semelhantes.
No entanto, a nova técnica de inferência adotada pela Astra pode não emitir completamente os passos de raciocínio quando o modelo “pensa” profundamente, realizando os cálculos internamente de forma “silenciosa”. Isso significa que quanto mais o modelo depender dessa nova tecnologia, menos transparente se tornará seu processo de inferência para observadores externos.
Para isso, a OpenAI está atualmente tomando medidas para equilibrar. A empresa está orientando o modelo a reduzir o número de iterações cíclicas na camada de cálculo, garantindo que a cadeia de pensamento da Astra mantenha um certo grau de visibilidade — quanto menos iterações, menor o espaço para o modelo “pensar em silêncio”.
Grandes laboratórios já estão acompanhando; a solução de monitoramento de longo prazo ainda aguarda resolução — o impacto dessa tendência tecnológica pode ir muito além da OpenAI. Segundo o The Information, essa nova técnica de inferência tornou-se um tema quente de discussão interna em grandes laboratórios de IA, e a possibilidade de instituições como Anthropic e Google adotarem linhas semelhantes não pode ser subestimada.
Vários pesquisadores apontaram que o monitoramento da cadeia de pensamento nunca foi a solução final para o monitoramento do comportamento da IA. À medida que as capacidades dos modelos continuam a evoluir, a característica de os modelos emitirem seus processos de pensamento na forma de texto é, em grande parte, apenas um subproduto dos métodos atuais de treinamento.
À medida que os desenvolvedores de modelos exploram novas direções de otimização e designs arquiteturais, a tendência dos modelos de gerar cadeias de pensamento espontaneamente pode diminuir gradualmente, obrigando os pesquisadores a desenvolver novas ferramentas de monitoramento.
O relatório aponta que a questão central atual é: sob a pressão de uma competição de desempenho cada vez mais intensa, os principais desenvolvedores de IA abandonarão voluntariamente as medidas de segurança atuais em busca de capacidades de inferência mais fortes? A resposta a essa questão determinará em grande parte o rumo da governança de segurança da IA na próxima fase.