Pesquisador da Anthropic renuncia, alerta que a IA pode perder controle até 2027

Mars Finance relata que o pesquisador da Anthropic, Jacob Coxon, anunciou sua demissão e está se preparando para deixar a indústria de IA. Nos últimos três anos, ele trabalhou em pesquisas de pré-treinamento na OpenAI e depois na Anthropic. Ele afirmou que nenhuma das duas empresas está avançando a IA de forma responsável, mas sim competindo para criar superinteligências capazes de continuar aprimorando suas próprias capacidades, "apostando nossas vidas". Coxon passou da OpenAI para a Anthropic este ano justamente porque a última parecia dar mais prioridade à segurança dos modelos. Ele reconhece que os esforços de segurança da Anthropic são sérios, mas acredita que, enquanto as empresas continuarem competindo para serem as primeiras a desenvolver a AGI (IA geral capaz de superar humanos em diversas tarefas), compromissos com a segurança serão inevitáveis, e a autoregulação de uma única empresa não resolverá o problema. Sua avaliação das duas empresas é: muitos dentro da OpenAI ainda não compreendem plenamente o quão grande é esse risco; já a Anthropic reconhece o risco, mas acha que as outras empresas não são confiáveis, por isso precisa ser a primeira a alcançá-la. Coxon afirma que alguns profissionais de IA são muito mais pessimistas em particular do que em declarações públicas, chegando até a temer que a IA possa destruir a humanidade antes do fim desta década. Ele próprio estima que, no cenário mais extremo, a IA poderá sair do controle já no final do próximo ano, e por isso essas decisões não deveriam ser tomadas apenas internamente pelos engenheiros de poucas empresas.