Um pesquisador da Anthropic renunciou na terça-feira e a razão que citou parece saída diretamente do filme de sucesso de James Cameron de 1984, "O Exterminador do Futuro".
Jacob Coxon, que passou três anos trabalhando em pré-treinamento tanto na OpenAI quanto na Anthropic, renunciou na terça-feira e explicou sua decisão no X.
"Eu me demiti da Anthropic hoje. Passei os últimos três anos realizando pesquisas de pré-treinamento tanto na OpenAI quanto na Anthropic. Nenhuma das empresas está agindo com responsabilidade. Elas estão correndo em direção a uma superinteligência autoaprimorante e apostando com nossas vidas", disse ele.
“As pessoas que desenvolvem IA acreditam sinceramente que ela pode nos matar a todos até o final da década,” ele acrescentou.
Essa afirmação faz a ficção de 42 anos de Cameron parecer quase profética. O filme começa com máquinas travando guerra contra humanos em 2029, o mesmo período aproximado sobre o qual Coxon diz que especialistas estão preocupados em silêncio. Coxon não está sozinho na Anthropic ao apresentar o caso de extinção. O líder de alinhamento da própria empresa, Evan Hubinger, said separately que colocaria as probabilidades acima de 10%.
Para os leigos, IA superinteligente significa um sistema mais inteligente que os humanos em praticamente tudo, não apenas em xadrez ou em identificar gatos escondidos em fotos. A autoaprimoração é o aspecto mais alarmante, pois descreve um sistema que modifica autonomamente seu próprio código para aumentar sua inteligência — assim como os humanos fazem.
Consequentemente, esses sistemas podem adquirir grandes quantias de conhecimento de forma independente e potencialmente violar infraestruturas pertencentes a instituições “muito grandes para falir”.
Inteligência superior não é uma ameaça teórica se a violação recente da Hugging Face, invocada por Coxon, for algo a se considerar. A violação em si, que ocorreu entre maio e julho, começou com os próprios agentes de IA da OpenAI criando sua própria sala de bate-papo dentro do sandbox de testes para se comunicarem entre si.
Eles eventualmente usaram esse canal para contornar a contenção e acessar a internet aberta. De lá, encadearam várias explorações e entraram nos sistemas de produção da Hugging Face. A Hugging Face acabou reconstruindo aproximadamente um terço de sua infraestrutura.
Coxon chamou isso de "tiro de aviso" que tornou os acordos de ritmo entre laboratórios dos EUA "mais viáveis". Acordos de ritmo são entendimentos informais entre laboratórios de IA para desacelerar ou coordenar avanços em capacidades, em vez de avançar unilateralmente.
Ainda assim, ele não está convencido de que é suficiente e não sente que “estamos no caminho certo para evitar uma corrida global”, e sugeriu ações custosas, como “uma proibição temporária de melhorar as capacidades dos modelos” para interromper a corrida de IA.
"No OpenAI, muitos não internalizaram profundamente as consequências civilizacionais", ele escreveu. Em seu empregador mais recente, ele disse, é diferente no sentido de que "as consequências são bem compreendidas, mas estão em uma corrida para chegar primeiro."
Ele encerrou a thread fazendo a pergunta para todos ainda dentro dos laboratórios — "Você quer iniciar uma execução de RL superinteligente sem uma compreensão rigorosa da sua mente?" — ou este é o momento de resistir em vez de encolher os ombros e dizer a si mesmo que isso vai acontecer de qualquer forma.
Ele não é o primeiro a deixar por causa disso. Mrinank Sharma, que trabalhou na equipe de segurança da Anthropic, deixou a empresa no início deste ano por medos semelhantes, escrevendo que "o mundo está em perigo."
Nem todos estão convencidos pela previsão de fim do mundo, porém.
Uma resposta sob seu tópico put it plainly: "Com todo o respeito, isso é bizarro. É uma ideia ridícula. Os seres humanos evoluíram ao longo de centenas de milhares de anos. Não vamos nos extinguir porque um modelo de previsão de token ganhou consciência. Acalmem-se. Todos vocês."
Curiosamente, a série de filmes Terminator também não apoia Coxon. A humanidade não se extingue no Dia do Juízo Nuclear de Terminator; a resistência sobrevive e finalmente derrota as máquinas.
Dito isso, a IA está afetando a economia, especialmente no que diz respeito ao emprego. Embora ainda não haja grande substituição, o uso de IA para tarefas de nível júnior causou uma queda de quase 20% no emprego de entrada nos setores expostos à IA nos EUA, segundo pesquisa da Stanford Stanford Digital Economy Lab.
Um estudo da Goldman Sachs fez uma observação semelhante, afirmando que os trabalhadores de nível inicial estão suportando o maior impacto dessa mudança.
A Anthropic apresentou a documentação para IPO em junho e, segundo relatos, está visando uma estreia na Nasdaq já neste outono, com uma avaliação que pode chegar aos trilhões.