Anthropic propõe pausa no desenvolvimento de IA em toda a indústria para avaliar riscos

A Anthropic, empresa por trás do modelo de IA Claude, publicou um post no blog em 4 de junho propondo algo que pareceria impensável de um laboratório de IA líder mesmo há um ano: uma pausa estruturada e temporária no desenvolvimento de IA de fronteira em toda a indústria.

A proposta, escrita por Marina Favaro e Jack Clark, visa um problema específico e verdadeiramente inquietante: modelos de IA estão se aproximando da capacidade de autoaperfeiçoamento recursivo, o que significa que podem modificar e aprimorar suas próprias capacidades sem intervenção humana.

Isso não é um chamado para desligar todas as GPUs e ir para casa. A Anthropic está defendendo um quadro coordenado e multilateral no qual grandes laboratórios de IA concordem em suspender temporariamente o trabalho de desenvolvimento mais avançado enquanto a pesquisa de segurança e os sistemas de verificação se atualizam.

A Anthropic argumenta explicitamente que ações unilaterais, nas quais uma única empresa ou um único país freia sozinha, são insuficientes e possivelmente contraproducentes. A proposta prevê cooperação entre laboratórios bem dotados dos Estados Unidos, China e outros países com programas sérios de IA. A Anthropic está enquadrando o desafio de verificação em termos emprestados do controle de armas nucleares, onde inspetores verificam a conformidade por meio de mecanismos de detecção acordados, em vez de confiar apenas na confiança.

A Anthropic afirma que realizará sua própria pesquisa para desenvolver essas ferramentas de detecção e verificação, criando o equivalente a inspetores de armas de IA — sistemas que possam confirmar se um laboratório está continuando secretamente o desenvolvimento de ponta, enquanto publicamente afirma cumprir uma pausa.

Em 2023, uma carta aberta pedindo uma pausa de seis meses no treinamento de IA além dos níveis do GPT-4 reuniu milhares de assinaturas de pesquisadores e figuras de destaque da tecnologia. Ela conseguiu aproximadamente nada. As pressões competitivas provaram ser muito mais persuasivas do que a ansiedade coletiva, e todos os principais laboratórios continuaram desenvolvendo.

A proposta da Anthropic é diferente na estrutura. Em vez de pedir uma moratória vaga apoiada por assinaturas, a empresa está propondo um sistema de conformidade verificável. A analogia com o controle de armas nucleares não está totalmente fora de lugar: tratados internacionais de armas funcionam, quando funcionam, devido a regimes de inspeção e consequências para fraudes, e não porque os signatários fizeram juramentos de dedo mindinho.

Em 2023, o autoaperfeiçoamento recursivo era uma preocupação teórica. Agora, observações internas da Anthropic sugerem que os modelos atuais estão se tornando cada vez mais capazes de codificar de forma autônoma, aproximando-se do limiar em que um sistema de IA poderia contribuir significativamente para sua própria próxima iteração.

Para qualquer pessoa com dinheiro em ativos relacionados à IA, incluindo tokens de criptomoeda focados em IA e projetos de blockchain que utilizam aprendizado de máquina, a proposta da Anthropic introduz uma nova variável no cálculo de risco. Um framework de pausa coordenada, mesmo que nunca se materialize totalmente, muda a conversa de “devemos regular a IA” para “como aplicamos a conformidade transfronteiriça”.

Projetos de criptomoeda impulsionados por IA, desde redes de computação descentralizadas até tokens de agentes de IA, derivam parte de sua proposta de valor da suposição de que o desenvolvimento de IA continuará acelerando sem interrupção. Um quadro de pausa crível, ou mesmo um movimento regulatório sério nessa direção, poderia introduzir incerteza nessas valorações.

Sistemas de verificação descentralizados poderiam se tornar parte da solução que a Anthropic está procurando. Se você precisar verificar se laboratórios ao redor do mundo estão cumprindo limites de desenvolvimento, um livro-razão transparente e resistente a alterações não é o pior instrumento para a tarefa.