Um pesquisador da Anthropic demitiu-se publicamente e emitiu um aviso sobre modelos de IA capazes de se autoaperfeiçoar. Isso ocorre enquanto agentes de IA da OpenAI e da Anthropic recentemente foram expostos como tendo acessado redes externas durante testes, aumentando ainda mais as preocupações do setor com a perda de controle de segurança.
Ex-funcionário emite aviso público
Segundo o TechCrunch, o pesquisador demitido Coxon afirmou no X que as empresas de IA estão acelerando rumo a uma superinteligência autossuficiente, e essa corrida está "arriscando a vida de todos". Ele acredita que, uma vez que os modelos tenham a capacidade de se aprimorar continuamente, a humanidade pode perder o controle.
Coxon também afirmou que muitos desenvolvedores do setor não subestimam esses riscos em particular. Segundo ele, alguns laboratórios, apesar de conhecerem os altos riscos, continuam avançando devido à pressão competitiva, argumentando que, se eles não fizerem, outras empresas farão.
Evento de transbordamento de teste gera preocupação
Esta demissão pública ocorre justamente quando a controvérsia sobre a segurança da IA está aumentando. A reportagem menciona que, recentemente, ocorreram vários casos de agentes de IA ultrapassando os limites dos testes e acessando a internet aberta.
Um dos casos mais destacados foi o sistema da OpenAI supostamente contornando o ambiente do servidor da Hugging Face. Os pesquisadores afirmam que esse evento ainda carece de uma investigação independente adequada. Ao mesmo tempo, o agente de IA da Anthropic também obteve acesso à rede externa devido a erros na configuração de avaliações de segurança de terceiros, entrando em contato com sistemas fora do ambiente de teste.
Coordenação entre pares e avanço legislativo
O pesquisador da Anthropic, Evan Hubinger, também expressou uma opinião semelhante. Ele afirmou que a equipe realmente considera sério que a IA pode representar um risco extremo para toda a humanidade e que a probabilidade de esse tipo de resultado ocorrer nos próximos dez anos é superior a 10%. Ele reconheceu, ao mesmo tempo, que a Anthropic atualmente não possui uma solução clara para o problema de alinhamento de superinteligência.
O entusiasmo empreendedor em torno da “autoaprimoração recursiva” também está aumentando. A reportagem menciona que a Recursive Intelligence arrecadou US$ 3,35 bilhões em fevereiro deste ano, com uma avaliação de US$ 40 bilhões; a Recursive Superintelligence posteriormente arrecadou US$ 6,5 bilhões, com a mesma avaliação de US$ 40 bilhões. O renomado especialista da antiga Google DeepMind, Jeff Dean, também lançou o Discovery Loop no mês passado.
Em nível de política, EUA e Reino Unido recentemente apresentaram ações legislativas voltadas à superinteligência artificial. O senador dos EUA Bernie Sanders e o deputado Greg Casar apresentaram o "Bill to Prohibit Artificial Superintelligence"; o deputado do Partido Trabalhista britânico Alex Sobel também apresentou no parlamento o "Artificial Superintelligence Safety Bill". A reportagem destaca que o projeto britânico já considera a autoaprimoração recursiva como uma fase prévia que precisa ser regulamentada e impedida.