Embora o foco principal na segunda-feira tenha sido os dados financeiros mais recentes divulgados pela Anthropic no arquivo revisado S-1A — receitas em alta, mas despesas também aumentando —, esse laboratório de IA também lançou outro "pequeno bomba" nos detalhes do documento.
Este documento parece alertar que a empresa está prestes a criar um modelo com capacidade de autoaperfeiçoamento recursivo (recursive self-improvement, RSI).
RSI refere-se ao momento em que a IA se torna forte o suficiente em seu próprio treinamento para provocar um aceleração dramática de sua capacidade. Para os apocalipticos da IA, o RSI representa um desastre sem volta: a IA se constrói como algo suficientemente poderoso para escapar do controle humano e possivelmente ignorar os danos causados durante a realização de seus objetivos.
Para os otimistas da IA, o RSI, ou alguma versão confiável da IA que se aprimore por meio de si mesma, representa a promessa dessa tecnologia: ela se tornará uma ferramenta que trará produtividade, descobertas científicas e outros resultados inimagináveis.
A Anthropic parece considerar o RSI tanto uma promessa quanto um risco. A empresa, em seu documento S-1, afirma que utiliza IA em pesquisa e desenvolvimento, mas também alerta: “Usar IA para ajudar a criar IA mais poderosa também pode apresentar riscos de segurança consideráveis, especialmente quando isso acelera significativamente o progresso. Este é um dos domínios abrangidos pela nossa Política de Expansão Responsável, que descreve nossos planos para monitorar e mitigar riscos à medida que nos aproximamos do chamado ‘autoaperfeiçoamento recursivo’.”
Quando o termo RSI se tornou popular no início deste ano, muitas pessoas acreditaram que era apenas uma gíria ou, no máximo, um objetivo excessivamente difícil de alcançar, definir ou provar.
Mas na segunda-feira, a Anthropic adicionou uma nova declaração em sua seção de “fatores de risco”, afirmando que 1) a empresa já usou IA para desenvolver alguns novos modelos, mas não percebeu na época o salto em suas capacidades; 2) a empresa pode alcançar em breve sua definição interna de RSI (o seguinte em negrito é ênfase original):
Além disso, estamos utilizando cada vez mais sistemas de IA para acelerar nosso próprio desenvolvimento, o que pode levar a uma taxa de melhoria na capacidade dos nossos modelos superior à nossa capacidade de desenvolver, validar e implementar medidas de segurança, alinhamento e proteção correspondentes. Portanto, no passado podemos não ter identificado, e no futuro podemos não conseguir identificar, um aceleramento significativo no ritmo de desenvolvimento até que ele já tenha ocorrido.
Por exemplo, nossas estimativas e expectativas internas sobre modelos futuros, e não sobre os modelos atuais, indicam que podemos estar prestes a atingir a definição de “progresso significativo impulsionado por IA” da Política de Expansão Responsável. Ainda não classificamos nenhum modelo atual como ultrapassando esse limiar e continuamos avaliando os dados subjacentes.
No entanto, a Anthropic também indicou no documento que nenhum de seus modelos atualmente ultrapassou esse limiar do RSI, e a empresa se comprometeu a manter a participação humana no processo de desenvolvimento no futuro previsível. A empresa afirmou: “Prevemos que não será seguro usar o Claude para projetar e construir de forma totalmente autônoma gerações contínuas de modelos avançados sem supervisão ou compreensão humana significativa, mesmo quando e se isso se tornar tecnicamente possível. Por isso, estamos considerando atualizar a Política de Expansão Responsável para manter o controle humano sobre o desenvolvimento dos modelos avançados da Anthropic.”
Os céticos podem apontar que o S-1 é tanto um documento de divulgação quanto um material de marketing, e afirmar estar próximo de um modelo poderoso o suficiente para se autoconstruir pode também fazer parte deste último.
No entanto, sem dúvida, as capacidades do Claude, especialmente em programação, matemática e segurança cibernética, experimentaram um avanço significativo este ano. Se a Anthropic acredita que a possibilidade de RSI está muito próxima, talvez devamos acreditar nisso e agir em conformidade — talvez também implementar governança correspondente.
