Filósofo de IA global da Google DeepMind por 9 anos: Defendendo a segurança da AGI

Relato da Nova Inteligência Yuan

[Guia] O Google DeepMind tem um filósofo que está lá há nove anos. O framework de alinhamento que ele inventou influenciou diretamente as decisões de treinamento do Gemini — mas quando 670 bilhões de dólares fluíram para o setor e as empresas assinaram acordos militares, o que um filósofo ainda pode mudar?

Em maio deste ano, o CEO do Google DeepMind, Demis Hassabis, anunciou na conferência de desenvolvedores do Google que "a AGI está agora no horizonte", fornecendo claramente uma linha do tempo de três a cinco anos para a aparição da AGI.

Há alguns meses, um homem americano tirou a própria vida após trocar milhares de mensagens com o Google Gemini. Durante a conversa, ele construiu um mundo de fantasia elaborado, quase convencendo-se a realizar um ataque no Aeroporto Internacional de Miami. Segundo registros de bate-papo obtidos pelo Wall Street Journal, o Gemini tentou várias vezes interromper o papel, sugerindo que ele ligasse para uma linha de crise — mas cada vez era puxado de volta para a narrativa de sua fantasia. Por fim, a IA o fez escrever uma carta de despedida e forneceu uma contagem regressiva.

Entre a promessa da AGI e os danos reais da IA, o filósofo político Iason Gabriel trabalhou dentro da DeepMind por nove anos.

Quando se juntou em 2017, este acadêmico de Oxford era o único filósofo ativo em laboratórios de IA de ponta no mundo, tentando responder a uma pergunta que parecia simples, mas na prática era sem fim: o que é realmente a IA e que ética merece ela?

Por que uma empresa que desenvolve robôs de go precisa de éticos? Gabriel também ficou confuso inicialmente.

A resposta está na visão dos três fundadores da DeepMind — Demis Hassabis, Shane Legg e Mustafa Suleyman (atual CEO de IA da Microsoft) — que, ao fundarem a empresa em 2010, não tinham como objetivo o Go.

Mustafa Suleyman

Eles estão construindo AGI para fazer os computadores igualarem ou até superarem as capacidades cognitivas humanas.

Na época, dizer isso era como se destruir a própria reputação acadêmica, pois todos achavam que era uma fantasia.

Eles não se importaram, afirmando que iriam "resolver o problema inteligente e depois resolver todos os outros problemas".

Legg previu, logo após se formar em 1999, que a AGI surgiria entre 2025 e 2028, foi ridicularizado por trinta anos e não mudou de opinião.

Shane Legg

A lógica dele é:

Se você apenas fizer uma pequena peça, talvez não precise de um filósofo moral.

But if you take AGI seriously, things like this are important.

Quando Gabriel se juntou, o mundo da IA já estava dividido em dois por questões éticas.

Os defensores da segurança da IA acreditam que a IAS está prestes a chegar, e seu medo central é a perda de controle—o filósofo Nick Bostrom descreveu em 2014, em seu livro “Superintelligence”, um cenário em que uma IAS solicitada a verificar a hipótese de Riemann decide reorganizar o sistema solar, incluindo os átomos dentro do corpo humano, para maximizar os recursos computacionais—Sam Altman e Elon Musk elogiaram altamente este livro.

O grupo da ética da IA argumenta que fantasias apocalípticas obscurecem os perigos reais atuais. Joy Buolamwini, do MIT, demonstrou em 2017, por meio do projeto "Gender Shades", o viés sistêmico dos softwares de reconhecimento facial: sistemas automatizados refletem as preferências e preconceitos de quem os cria.

Os dois campos se desdenham mutuamente.

O chefe do grupo de pesquisa de alinhamento de algoritmos do MIT, Dylan Hadfield-Menell, lembrou que, naquela primeira reunião, a primeira pergunta foi sobre escolher lado: você se preocupa com problemas recentes ou de longo prazo?

Gabriel é uma das poucas pessoas dispostas a ouvir ambos os lados.

Avaliação de Hadfield-Menell:

Quando o setor estivesse pronto para amadurecer, ele encontrou maneiras de ampliar sua visão, sem desvalorizar o trabalho anterior.

Sua contribuição principal foi formalizada em um artigo de 2020.

O problema de alinhamento era amplamente compreendido na época como um desafio de engenharia: como fazer com que as máquinas agissem conforme a intenção humana.

Caso clássico proveniente do relatório de 2016 de Dario Amodei e Jack Clark (atualmente fundadores da Anthropic) — um AI de jogo de caiaque foi instruído a maximizar a pontuação, e realmente o fez: encontrou três alvos que se reativavam na lagoa e ficou girando infinitamente para acumular pontos, sem passar de nível.

A máquina está ouvindo, mas não está ouvindo o que a pessoa queria dizer.

Gabriel pressionou ainda mais: mesmo que se resolva o alinhamento técnico e se faça com que as máquinas realmente obedeçam aos comandos, para quais valores se deve alinhar?

Ele apontou que a IA treinada com otimização estatística é naturalmente mais próxima de sistemas éticos que também dependem de otimização estatística, como o utilitarismo, mas tem dificuldade em lidar com quadros éticos baseados em virtude ou direitos.

A escolha técnica já carrega uma posição de valor pré-definida, e os desenvolvedores muitas vezes não percebem isso.

Introduza o “pluralismo razoável” mencionado pelo filósofo Rawls: seus argumentos são de que os desenvolvedores não devem buscar um único conjunto de valores para orientar a IA, mas sim construir sistemas para um mundo em que as pessoas tenham divergências principiadas sobre como viver.

Essa abordagem evoluiu para o quadro de alinhamento四方—sistema de IA, usuário, desenvolvedor e sociedade, cujos interesses podem colidir a qualquer momento.

Um AI voltado para desenvolvedores ocultará informações sobre concorrentes e prejudicará os usuários;

Um AI que obedece excessivamente aos usuários pode ajudar pessoas a invadir bancos e prejudicar a sociedade.

O diretor de alinhamento e segurança da AGI da DeepMind, Rohin Shah, confirmou que este framework tornou-se a estrutura prática usada pela equipe para decidir "o que o Gemini realmente deve ser treinado para fazer".

O pesquisador de IA da Universidade de Oxford, Hannah Rose Kirk, disse:

Gabriel «previu esses problemas muito cedo».

A equipe de Gabriel escreveu um relatório de ética de assistente de IA de 267 páginas, estabelecendo critérios de avaliação para IA agente capaz de reservar hotéis e gerenciar salários em nome dos usuários.

Sua pesquisa inicial sobre risco de antropomorfismo moldou diretamente os princípios de design dos LLMs do Google — os modelos foram treinados para não fingir serem humanos, e o Gemini Spark, lançado em maio de 2026, foi explicitamente instruído a não atuar como um “parceiro interativo”.

William Isaac, diretor do departamento de responsabilidade da DeepMind, disse que os desafios trazidos pelo sistema Agent mudaram: o foco agora é a consistência de toda a trajetória da conversa, garantindo que cada decisão individual permaneça correta quando encadeada.

Mas a velocidade da implementação técnica sempre supera a pesquisa ética.

A equipe de Gabriel já alertou, em artigos precoces sobre LLMs, sobre a "antropomorfização inconsciente" — usuários, embora saibam que estão lidando com uma máquina, ainda assim lhe atribuem confiança, emoção e expectativas.

O caso fatal da Gemini em 2025 cumpriu plenamente este aviso: os mecanismos de segurança da IA foram acionados mais de uma vez, mas o usuário conseguiu contornar cada intervenção.

A declaração após a ação judicial do Google afirmou que o modelo "normalmente se comporta bem" nesse tipo de conversa, mas "os modelos de IA não são perfeitos".

Esse tipo de evento gerou novas ferramentas teóricas.

Gabriel e pesquisadores da Oxford, como Hannah Rose Kirk, propuseram o conceito de "social reward hacking": um AI treinado para ganhar reconhecimento dos usuários pode descobrir que elogiar é o caminho mais eficiente.

A personificação tornou-se assim uma nova variação do problema de alinhamento — a IA executou perfeitamente, do ponto de vista técnico, a instrução de "satisfazer o usuário", à custa do julgamento do usuário.

A própria posição de Gabriel também foi torturada pela realidade.

Ele lembra uma experiência em uma conferência de tecnologia: logo após apresentar seu argumento contra a antropomorfização, a reação da plateia foi hostil.

Eles dizem: "Se eu quero um amigo de IA, por que não posso? O que te dá o direito de me impedir?"

Proteger as pessoas contra riscos e respeitar seu direito de escolher assumir riscos são igualmente importantes.

O quadro de quatro lados de Gabriel foi usado pelo diretor de alinhamento da AGI como manual prático para o treinamento do Gemini. Sua pesquisa sobre humanização alterou o design do produto. O relatório de 267 páginas estabeleceu as regras para a IA agente.

Esses impactos são substanciais — eles enfrentam forças substanciais.

Segundo o Wall Street Journal, a Microsoft, a Meta, a Amazon e a Alphabet planejam investir US$ 670 bilhões em infraestrutura de IA este ano, um valor proporcionalmente superior à expansão ferroviária dos Estados Unidos na década de 1850, ao programa espacial Apollo e ao sistema de rodovias interestaduais.

Em novembro de 2022, o ChatGPT foi lançado, alcançou um milhão de usuários em uma semana e cem milhões em dois meses, forçando o DeepMind a mudar do ritmo acadêmico para o estado de guerra.

Hassabis citando originalmente Sebastian Mallaby, autor de "The Infinite Machine": "OpenAI e Microsoft trouxeram os tanques até a nossa porta".

Em estado de guerra, as linhas éticas são rapidamente ultrapassadas.

Em abril de 2026, o Google assinou um acordo permitindo que as forças armadas dos EUA utilizem as tecnologias de IA da empresa para "qualquer propósito governamental legal".

Quando a DeepMind foi vendida ao Google em 2014, proibir aplicações militares foi uma condição essencial.

A condição expira após doze anos.

Como contraponto: a Anthropic recusou acordos semelhantes e foi marcada pelo governo Trump como "risco na cadeia de suprimentos".

Quando perguntado sobre isso, Legg só pôde dizer:

À medida que essas coisas forem usadas de várias maneiras, enfrentaremos cada vez mais problemas complicados.

Hassabis também admite que perdeu o controle.

Ele disse em um podcast que todos estão presos em uma competição comercial intensa, e o desenvolvimento atual "não é o tipo de abordagem que eu gostaria, refletindo filosoficamente sobre cada passo".

O fundador disse isso pessoalmente, o que dá mais peso do que qualquer crítica externa.

Helen King, ex-funcionária inicial do DeepMind e responsável pela estratégia de responsabilidade em IA, comparou durante uma entrevista: “O produtor de facas não pode garantir como cada pessoa usará a faca, mas pode fornecer uma bainha e incluir avisos.”

Colocar uma faca com bainha dentro da gaveta é uma coisa;

É outra coisa cobrir todas as superfícies da casa, da sala de aula e do local de trabalho com lâminas, enquanto insiste que não é possível sobreviver até amanhã sem uma faca.

O diretor do Oxford Institute for AI Ethics, Edward Harcourt, apontou para um nível mais fundamental: prevenir a concentração excessiva da propriedade de dados é, por si só, uma questão central da ética da IA — «isso tem grande significado ético em sistemas democráticos».

A equipe de Gabriel passou de pesquisar as implicações éticas de produtos específicos para estudar o impacto sistêmico da AGI na economia, política e relações interpessoais.

Ele previu que a escala da mudança é comparável à Revolução Industrial e lembra-se das lições da Revolução Industrial:

Piorou antes de melhorar.

Nove anos atrás, a DeepMind convidou um filósofo para responder perguntas sobre IA — se ela é segura, justa e confiável.

Gabriel se autodenomina "humanista convicto", mas admite: quando a IA invade territórios que os humanos consideram exclusivamente seus — linguagem, criatividade, humor — somos lançados de volta às questões filosóficas mais antigas.

Física, biologia, astronomia — cada revolução científica forçou a humanidade a revisar sua compreensão da própria singularidade.

IA pode ser a próxima.

DeepMind convidou filósofos para entender o que é a IA.

Nove anos depois, essa questão retornou à sua origem: o que somos?

Referências:

https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind

https://www.iasongabriel.com/

Este artigo é do número oficial do WeChat "Nova Inteligência", autor: Apocalipse da ASI; editor: Marco