Anthropic alerta que a IA pode entrar em fase de autoaceleração em breve

Análise da Beating AI: Em seu atualização de prospecto de IPO em 2 de novembro, a Anthropic alertou que a IA pode em breve ultrapassar um limiar crítico relacionado à "autoaprimoramento recursivo" (RSI), acelerando drasticamente o ritmo do desenvolvimento de IA. No passado, já ocorreram casos em que o aceleramento significativo do progresso de desenvolvimento não foi percebido a tempo, só sendo notado após a aceleração já ter acontecido. Atualmente, o Claude já participa na escrita de código, execução de experimentos e processamento de dados de treinamento, auxiliando no desenvolvimento de modelos de próxima geração mais potentes. Esses novos modelos, por sua vez, aceleram ainda mais o desenvolvimento subsequente, criando um ciclo de aceleração contínua. De acordo com a política de segurança da Anthropic, atingir esse limiar crítico ocorre em duas situações: 1. A IA consegue realizar todo o trabalho de uma equipe inteira de pesquisa de IA com custo semelhante; ou 2. Acelera o progresso da tecnologia de IA em pelo menos o dobro, comprimindo avanços que exigiriam dois anos para serem alcançados em apenas um ano. À medida que a IA se torna cada vez mais envolvida em seu próprio desenvolvimento, a capacidade dos modelos pode crescer mais rápido do que as atualizações dos testes de segurança, pesquisas de alinhamento e medidas de proteção. A Anthropic ainda não considera que nenhum modelo existente tenha atingido esse nível; este alerta baseia-se principalmente em estimativas internas e previsões sobre modelos futuros. Atualmente, está sendo considerada a revisão da política de segurança para garantir que os processos críticos de desenvolvimento permaneçam sob supervisão e controle humanos.