CEO da Anthropic propõe estrutura de política de IA em meio ao rápido crescimento tecnológico

Recentemente, o CEO da principal empresa de IA, Anthropic, Dario Amodei, publicou um artigo extenso de dez mil palavras que se tornou viral em toda a internet: “Políticas na Era do Índice da Inteligência Artificial”. O artigo aborda cinco áreas políticas, detalhando cuidadosamente suas observações e propondo recomendações sistemáticas, desde regulamentação até geopolítica.

(Link original:https://darioamodei.com/post/policy-on-the-ai-exponential, texto completo em chinês fornecido abaixo.)

Deve-se reconhecer que, no ambiente da Silicon Valley, cheio de pessoas que falam apenas em “mudar o mundo” e só sabem fazer promessas vazias, Dario é um raro exemplo de sinceridade.

Ele foi extremamente sincero, até mesmo algo como "eliminar parentes por causa da justiça", revelando a fachada de pacificação da indústria de tecnologia.

As pessoas do setor costumam atribuir as preocupações do público com a IA a uma “mau gerenciamento de relações públicas”, mas Dario rebate sem rodeios: as pessoas estão preocupadas porque os riscos são reais, e não se trata de nenhum problema de relações públicas.

Ele também reconheceu diretamente a verdade que as grandes empresas de tecnologia evitam cuidadosamente: a IA tem grande probabilidade de provocar uma onda séria e duradoura de desemprego, deixando a economia presa em um estado extremo de “super Crescimento e super desigualdade”.

Mas se seguirmos a solução apresentada por este “denunciante” da linha de frente do setor, descobriremos um paradoxo estrutural profundamente reflexivo:

Este executivo responsável, ao pedir por restrições ao setor, está objetivamente buscando impulsionar uma transição de poder sem precedentes. Os elites da Vale do Silício estão reescrevendo as regras da sociedade humana.

Diante da IA, que evolui com velocidade relâmpago, Dario ficou preocupado e sugeriu que o governo regule a IA tão rapidamente quanto regula aviões e medicamentos.

Por exemplo, criar um mecanismo semelhante à Administração Federal de Aviação (FAA), exigindo que modelos avançados com capacidade de computação adequada passem por testes de segurança obrigatórios realizados por terceiros, caso contrário, não poderão ser lançados.

O ponto de partida é indiscutivelmente a segurança da humanidade.

Mas, de acordo com as leis objetivas da evolução comercial, a indústria aérea é altamente concentrada e oligopolista exatamente porque os custos de conformidade são absurdamente altos.

Quando a indústria de IA realmente se tornar "FAAizada", as altas taxas de revisão, os testes regulares de red team e os testes de penetração se transformarão diretamente em um muro intransponível de suspiros.

Regulação, às vezes, é a vantagem competitiva dos líderes. Startups e comunidades de código aberto simplesmente não têm como arcar.

O resultado final foi: os gigantes, por um “amor” pela segurança da humanidade como um todo, objetivamente utilizaram o poder público para realizar uma limpeza legal, consolidando seu status de oligopólio na lei.

Essa lógica sutil também existe no setor farmacêutico e na geopolítica.

Dario apela às agências tradicionais, como a FDA, para relaxarem a aprovação de medicamentos desenvolvidos com IA, aceitando simulações de IA em vez de longos experimentos clínicos. A intenção é boa, mas isso sem dúvida remove barreiras para as maiores empresas de IA, com os maiores recursos de computação, realizarem um ataque de baixa dimensão contra o setor farmacêutico de trilhões de dólares.

Ao mesmo tempo, ele imaginou uma “aliança de IA de países democráticos” que compartilha chips internamente e mantém uma defesa rigorosa contra o exterior.

Se essa aliança for estabelecida, quem fornece a tecnologia? Quem é excluído? Quem é hostil? Quem se beneficia em todo esse processo?

Para manter a vantagem tecnológica, as grandes empresas de tecnologia não são apenas provedoras de tecnologia, mas também se tornam naturalmente os formuladores das novas regras do jogo, podendo até se transformar em um novo “complexo militar-industrial digital” que recebe orçamentos de defesa massivos.

Se examinarmos as pistas históricas, tudo isso na verdade já tinha sido previsto.

Na história, quando uma empresa se torna suficientemente grande, ela frequentemente “captura o Estado ou adota características quasi-estatais”. Dario mencionou diretamente no texto uma analogia muito precisa: a Companhia Britânica das Índias Orientais.

A Companhia das Índias Orientais começou como um grupo de comerciantes de especiarias, mas, para proteger rotas e gerenciar grandes interesses transnacionais, gradualmente passou a recrutar exércitos, estabelecer tribunais e emitir moeda, tornando-se finalmente um “quase estado” que governava o subcontinente.

Os gigantes da Vale do Silício de hoje estão seguindo exatamente o mesmo caminho.

Apenas naquela época, o meio eram navios e canhões, hoje é a capacidade de processamento.

Dario imaginou um futuro impressionante: se a IA continuar a evoluir exponencialmente, ela se tornará uma “nação de gênios dentro dos data centers”: a IA seria como um repositório de gênios em todos os campos, e possuir uma poderosa IA seria como ter tantos gênios a serviço próprio quanto os de um país inteiro. Assim, quando um exército com uma poderosa IA enfrentar um exército sem IA, a diferença será como “os fuzileiros navais da Segunda Guerra Mundial enfrentando cavaleiros da Idade Média”.

Quando gigantes tecnológicos detêm tecnologias capazes de provocar colapsos financeiros, criar armas biológicas ou até determinar o cenário geopolítico global, as instituições nacionais tradicionais começam a perder o controle sobre elas.

As grandes empresas já tentaram estabelecer seus próprios padrões de segurança, testar seus próprios modelos e até mesmo imaginar propostas de alianças internacionais.

Isso não ocorre porque são um grupo de ambiciosos maléficos, mas porque, após o desenvolvimento tecnológico atingir esse nível, o vácuo de poder e a complexidade da natureza humana os levaram naturalmente por um caminho semelhante.

Nesta era em que o poder de mineração determina tudo, o poder do indivíduo parece infinitamente comprimido.

Dario desvendou sem piedade a verdade: a IA não está apenas substituindo o trabalho físico, mas sim as próprias capacidades cognitivas nas quais os humanos se orgulham.

Quando a lógica e o planejamento de soluções que desenvolvemos com tanto esforço no ambiente profissional parecem infantis diante da “nação que reúne todos os gênios” da IA, como devemos nos posicionar?

A receita dada pelos gigantes é o rendimento básico universal (UBI) e outros suportes macroeconômicos: mesmo sem trabalhar, o governo te paga para viver.

Mas o emprego foi mantido, quem preencherá o grande vazio no coração?

Talvez seja como a metáfora de Dario no texto: mesmo que as máquinas já tenham superado os humanos em xadrez e go, as pessoas ainda dedicam suas vidas ao tabuleiro e ainda são respeitadas.

Porque a máquina calcula uma “solução ótima” fria, enquanto os humanos buscam a “experiência em si”, cheia de vida.

As características que não podem ser padronizadas se tornarão o recurso mais escasso no futuro.

Em uma subtrama de O Senhor dos Anéis, dois hobbits tentam acordar Treebeard — uma árvore consciente, sábia, mas de movimentos lentos — para defender sua floresta contra um exército que está derrubando as árvores. O problema é que a velocidade de ação de Treebeard é completamente diferente da dos hobbits. Ele leva um dia inteiro apenas para cumprimentar outra árvore, tornando quase impossível fazê-lo e seus companheiros agirem com rapidez suficiente.

A interseção entre inteligência artificial (IA) e nossas instituições políticas parece um pouco como os hobbits e os Ents. A IA está se desenvolvendo a um ritmo relâmpago (lightning pace, gíria/expressão idiomática que significa velocidade extremamente alta) — em apenas quatro anos, os modelos de IA passaram de quase não conseguirem escrever uma única linha de código coerente a escrever a maioria do código nas principais empresas de IA. Progressos semelhantes foram alcançados em biologia, física, matemática, finanças, direito, tradução e muitas outras áreas. As leis de escala da IA, que preveem que a capacidade cognitiva geral aumentará exponencialmente com o aumento da capacidade computacional, agora têm mais de dez anos de evidência empírica por trás delas. Se essas leis de escala continuarem por apenas mais um ou dois anos, muito provavelmente obteremos o que chamo de “IA Poderosa (Powerful AI)”, ou seja, “nações de gênios dentro de data centers”.

Em contraste, a política — especialmente a legislação — avança muito lentamente. Geralmente, há boas razões para isso: o governo possui poderes extremamente significativos, e geralmente é melhor não exercê-los precipitadamente. Mas esse descompasso no prazo ainda é muito doloroso: durante os anos que podem ser necessários para o congresso agir, a IA pode passar de um brinquedo interessante a um verdadeiro país de gênios.

Nos últimos anos, desde que a IA se tornou uma tecnologia comercial principal, aqueles de nós que desejam lidar com ela de forma responsável enfrentamos um dilema. Conseguimos enxergar claramente a trajetória desse crescimento exponencial: suspeitamos fortemente que, em poucos anos, a IA se tornará um dos raros tecnologias que redefinirão fundamentalmente todo o cenário político, assim como as armas nucleares redefiniram a geopolítica e a Revolução Industrial redefiniu profundamente cada questão econômica e social. No entanto, para aqueles que se concentram apenas no que a IA pode fazer no momento, ela parece mais como uma tecnologia bastante comum — talvez semelhante ao mais recente aplicativo de consumo ou criptomoeda. É difícil convencer a maioria dos formuladores de políticas e empresas de que há algo significativo além de uma abordagem de laissez-faire. Justamente, o fato de que os impactos radicais da IA ainda não se manifestaram e não sabemos exatamente como eles poderão se manifestar também torna difícil, mesmo com a vontade de agir, projetar políticas adequadas.

Diante das restrições impostas por essa situação, muitos defensores da segurança (incluindo a Anthropic) até agora se concentraram em promover ações políticas que preservem as opções, preparem o terreno para respostas rápidas no futuro (gíria/expressão idiomática que significa fazer preparativos ou estabelecer bases) ou permitam que o mundo tenha uma melhor visão das coisas que estão por vir (gíria/expressão idiomática que significa coisas que estão prestes a acontecer ou surgir) — como legislação de transparência, controles de exportação de chips e coleta de dados sobre o impacto da IA no mercado de trabalho. Essas medidas não são suficientes, mas parecem ser tudo o que é possível fazer no momento.

No entanto, nos últimos meses, a evidência sobre o incrível poder da IA e seus riscos tornou-se inegável. Talvez o exemplo mais representativo seja o Claude Mythos Preview, bem como a descoberta de que modelos de ponta apresentam um risco muito real à cibersegurança, criando a possibilidade de danificar o setor financeiro, infraestruturas críticas e a segurança nacional. O Mythos Preview completamente desorganizou (scrambled, gíria/figurado, significa causar confusão, desorganizar) o cenário global de cibersegurança. Mas seu significado mais amplo é que ele provou sem dúvida que os modelos de IA agora se tornaram ferramentas com importância global e estratégica nacional. Os riscos cibernéticos trazidos por modelos do nível Mythos não serão os últimos que precisaremos enfrentar. Acredito que riscos biológicos podem surgir em breve, seguidos de perto por sérios riscos de autonomia da IA (nota 1).

Atualmente, precisamos coletivamente em todo o mundo iniciar uma instituição política lenta e instável para enfrentar os riscos e oportunidades que crescerão a uma velocidade surpreendente a partir de agora. Muitos formuladores de políticas estão demonstrando uma atitude cada vez mais aberta para agir, o que é encorajador, pois vemos nossos pares também mudarem de opinião e adotarem a mesma posição que defendemos nos últimos anos (expressão idiomática que significa mudar de opinião para concordar). Isso é positivo, mas temo que essas ações iniciais estejam pelo menos um ano atrasadas em relação ao rápido avanço da IA. Este artigo busca reduzir essa lacuna: esclarecer onde estamos atualmente com o crescimento exponencial e as ações coletivas necessárias para enfrentar o momento atual (expressão idiomática que significa responder ao desafio ou momento crítico atual).

Focarei-me em cinco áreas políticas tradicionais que precisam ser repensadas no mundo da IA: regulamentação e segurança pública, política macroeconômica e tributária, inovação científica, equilíbrio de poder entre o Estado e a sociedade, e geopolítica. Abordarei principalmente a perspectiva da política norte-americana, pois a Anthropic é uma empresa dos Estados Unidos, mas a maioria das minhas recomendações também se aplica a outras regiões do mundo.

Juntamente com este artigo, a Anthropic lançará uma proposta legislativa sobre testes de modelos avançados e um quadro político sobre perda de empregos, e planejamos fornecer um grande apoio financeiro para isso. Planejamos fazer mais no futuro, mas consideramos estes passos como uma demonstração de nossa seriedade.

1. Regulação e segurança pública

Cada nova tecnologia ou produto tem usos benéficos e prejudiciais, criando assim um dilema entre inovação e segurança. Regular produtos reduz a probabilidade de causarem danos e desempenha um papel importante na melhoria da vida de pessoas em todo o mundo, mas também pode reduzir diretamente seus benefícios e inibir indiretamente a inovação. Existe também uma perspectiva hayekiana de que os reguladores geralmente carecem das informações necessárias para tomar decisões corretas sobre complexos equilíbrios econômicos, tornando a regulamentação frequentemente ineficaz e burocrática. Um conceito relacionado é o dilema de Collingridge, que afirma que os impactos de uma tecnologia geralmente são difíceis de prever até que seja tarde demais para gerenciá-los facilmente.

Em 2023-2024, essas dinâmicas se destacaram particularmente no campo da IA (expressão idiomática que significa se tornar proeminente, chamar atenção ou parecer ameaçador). Para a Anthropic, está claro que a IA, no futuro, poderá ter a capacidade de criar armas biológicas capazes de ameaçar milhões de pessoas, ou, em casos extremos, comportamentos inadequados de autonomia podem até ameaçar a própria humanidade. O que não está claro é como exatamente os riscos se manifestarão, como testar e mitigá-los da melhor forma e como eles se desenrolarão na prática (expressão idiomática que significa se desenvolver, produzir resultados). Por isso, legislação prévia corre alto risco de acabar sendo ineficaz — criando requisitos de conformidade sem sentido ou de baixo valor, ao mesmo tempo em que perde as fontes mais críticas dos riscos reais (nota 2).

Finalmente, concluímos que o caminho correto na época era a transparência. Os desenvolvedores de modelos de IA devem ser obrigados a divulgar seus procedimentos de segurança e os testes realizados nos modelos, além de relatar qualquer evento de segurança crítico, permitindo que o público e a comunidade científica compreendam melhor esses riscos quando surgirem. Quando e se os riscos se tornarem mais claros e sua forma mais definida, as evidências obtidas por meio da transparência poderão ser usadas para elaborar legislação inteligente, direcionando precisamente os riscos mais preocupantes. Assim, em 2025, a Anthropic apoiou a legislação de transparência, ajudando a aprovar o SB 53 da Califórnia, o RAISE de Nova York e o SB 315 do Illinois (aprovado no início de 2026), e promovendo a adoção de padrões de transparência a nível federal.

No entanto, os riscos atuais já se tornaram evidentes. É hora de ir além da transparência e implementar uma regulamentação mais séria e vinculativa para a IA. Acredito que, pelo menos na fase atual de crescimento exponencial, a melhor analogia são automóveis, aviões ou medicamentos — tecnologias poderosas e indispensáveis para a economia moderna, mas que, se mal projetadas ou operadas, têm o potencial de causar a morte de muitas pessoas. Por isso, acredito que devemos criar um quadro regulatório para a IA com base em agências como a Administração Federal de Aviação (FAA). Modelos de IA avançados devem ser tratados como aviões, sendo obrigados a passar por testes técnicos e auditorias, e, se não atenderem a altos padrões de segurança, suas liberações devem ser bloqueadas ou retiradas, considerando-os uma ameaça à segurança pública. Fico grato por ver que a ordem executiva do governo Trump está avançando na direção de dar ao governo um papel maior no campo da IA, embora a proposta da Anthropic sugira ações ainda mais abrangentes. Nossa proposta inclui os seguintes elementos:

• Modelos com capacidade de processamento acima de um determinado limiar devem ser submetidos a testes obrigatórios realizados por terceiros qualificados para avaliar seus níveis de risco em quatro áreas específicas: segurança cibernética, armas biológicas, perda de controle sobre sistemas de IA e desenvolvimento automatizado que possa acelerar esses outros riscos.
• Se um modelo for considerado de risco inaceitável por uma avaliação de terceiros, o governo deve ter o poder de impedir ou dissuadir a implementação desse modelo. Esse poder deve estar limitado aos quatro riscos específicos mencionados acima e deve incluir proteções contra parcialidade política ou decisões arbitrárias.
• A avaliação por terceiros pode ser realizada por agências governamentais (semelhantes à FAA) ou por um grupo de organizações privadas autorizadas e inspecionadas pelo governo, para avaliar modelos com base em certos critérios (uma abordagem de “mercado regulatório”).
• As empresas de IA que desenvolvem modelos de IA avançados devem ter padrões de segurança robustos para proteger os pesos de seus modelos, realizar testes regulares de red teaming e penetração, e colaborar com governos para se defender contra principais atores de ameaça.
• Os eventos de segurança nestes quatro domínios críticos devem ser relatados oportunamente.

Pode haver um dia, talvez em breve, quando os sistemas de IA mais poderosos parecerem menos como aviões ou carros e mais como material nuclear armazenável — uma ameaça à humanidade, e não apenas “meramente” à segurança pública, e nesse momento precisaremos ir além disso. Se isso ocorrer, podemos precisar adotar medidas regulatórias mais radicais do que as listadas acima (nota 3). No entanto, assim como é difícil abordar e implementar agora as medidas que sugeri em 2024, acredito que não devemos nos antecipar (expressão idiomática que significa agir prematuramente ou com excesso de entusiasmo). Devemos criar políticas para os perigos que estão surgindo hoje, ao mesmo tempo em que construímos a base para reforçar mais rapidamente nossa resposta quando novos perigos surgirem.

2. Política macroeconômica e tributária

Por muito tempo, os governos de diversos países têm enfrentado o desafio de incentivar o crescimento econômico, ao mesmo tempo em que fornecem serviços públicos essenciais e garantem que os grupos mais vulneráveis sejam cuidados. Um pressuposto importante (e, em geral, correto) dessas discussões é que o crescimento econômico é frágil e difícil de alcançar — embora reduzir a desigualdade possa trazer benefícios significativos, ele deve ser equilibrado contra os obstáculos econômicos decorrentes do aumento de impostos ou do déficit.

Suspeito que a poderosa IA possa perturbar essa suposição. Se a IA adquirir capacidades muito superiores às humanas na execução da maioria das tarefas cognitivas, é lógico que ela possa trazer um crescimento econômico extremamente rápido e robusto, acelerando a ciência, a tecnologia e a eficiência operacional. A capacidade iterativa da IA de construir melhores IAs pode até reforçar ainda mais esse crescimento. Mas, por razões exatamente iguais, a IA também pode funcionar como um substituto econômico mais universal para as capacidades cognitivas humanas, alterando a economia mais rapidamente do que as tecnologias anteriores. Portanto, há razões para acreditar que, em comparação com tecnologias anteriores, a IA pode causar uma disruptão muito maior — e potencialmente mais duradoura — no mercado de trabalho. O risco que enfrentamos é acabar em um mundo onde o painel de trade-offs econômicos fica preso na configuração de supercrescimento e superdesigualdade, e pode ser difícil desligá-lo dessa configuração. Nesse mundo, o desafio fundamental não será mais incentivar o crescimento, mas encontrar uma maneira de permitir que todos compartilhem os benefícios.

Entre os temas discutidos neste artigo, a macroeconomia e a substituição duradoura da força de trabalho podem ser consideradas os tópicos que mais atraíram atenção pública e mais mal-entendidos, por isso quero deixar muito claro dois pontos.

Em primeiro lugar, a perda persistente de empregos é indesejável e perigosa, e devemos fazer todo o possível para minimizar ou preveni-la, em vez de promovê-la. Alertei sobre a perda de empregos em entrevistas e artigos, pois desejava que formuladores de políticas e o setor privado tivessem a melhor oportunidade possível de se adaptar e responder, e não porque eu tentasse ser um “profeta do apocalipse”. Como empresa, a Anthropic sempre faz o possível para colaborar com clientes, buscando novos usos criativos e novas fontes de receita que permitam que eles façam mais com sua força de trabalho existente, em vez de se concentrar apenas na redução de custos (o que geralmente significa demissões). À medida que esses sistemas avançam, também continuamos tentando imaginar novos paradigmas de interação que permitam que humanos envolvidos na colaboração desempenhem papéis tão ativos quanto possível dentro dos sistemas de IA. De forma mais ampla, é valioso permitir que o mundo inteiro experimente usar a IA de tantas novas maneiras quanto possível, pois é assim que a sociedade descobre novas configurações potenciais de emprego. Eu realmente acredito que a IA trará inúmeras novas oportunidades econômicas. Já previ que a IA permitiria que uma única pessoa criasse uma empresa de bilhões de dólares, e já vimos equipes de apenas algumas pessoas construírem empresas com receitas de centenas de milhões de dólares. Mas, ao mesmo tempo, devemos reconhecer que, apesar de todos os nossos esforços, é muito provável que a IA cause um desemprego persistente e grave — algo que pode ser uma característica inerente da tecnologia e de sua capacidade de replicar amplamente a cognição humana (nota 4).

Em segundo lugar, qualquer resposta ao problema da perda de empregos impulsionados por IA precisa abordar tanto a necessidade de garantir segurança econômica para todos quanto a busca das pessoas por significado, propósito e agência. Este último é, por fim, mais importante, pois depende de questões profundas sobre como a sociedade deve ser organizada, o que as pessoas devem buscar e o que constitui uma vida boa. Na verdade, sou muito otimista quanto à possibilidade de que, mesmo em um mundo onde a IA seja superior a todos em todos os aspectos, os seres humanos ainda possam viver vidas com propósito profundo e esforçar-se para criar coisas admiráveis e belas (nota 5). Mas esse é um problema que exige uma solução coletiva da sociedade, e não algo que políticas públicas possam resolver diretamente. O ponto em que as políticas públicas podem ter o maior impacto é ao desacelerar o ritmo do desemprego e fornecer segurança econômica às pessoas que possam ser afetadas, comprando-nos tempo para realizar esse trabalho.

Neste espírito, algumas intervenções políticas-chave que podem ser úteis incluem:

• Medir e rastrear. É fácil descartar a simples coleta e análise de dados como insuficiente para lidar com a escala do problema, mas se não conseguirmos medir com precisão o que realmente está acontecendo, é pouco provável que possamos elaborar boas políticas. A Anthropic opera um índice econômico sobre como as pessoas usam o Claude há cerca de um ano e meio, mas os governos podem acessar tipos de dados que nós não conseguimos e podem ampliar significativamente suas estatísticas econômicas para rastrear mais cuidadosamente o desemprego causado pela IA.
• Medidas de incentivo à geração de empregos. Amplas políticas de incentivo à manutenção de empregos podem ajudar a desacelerar ou reduzir a perda de postos de trabalho, incluindo: políticas de seguro salarial que compensam os trabalhadores quando são forçados a aceitar empregos mal remunerados (nota 6), incentivos fiscais para retenção que encorajam empregadores a evitar demissões, subsídios para treinamento de força de trabalho ou infraestrutura que promova o pareamento entre empregadores e trabalhadores para acelerar a adaptação do mercado de trabalho. Embora os detalhes sobre qual intervenção seja mais eficaz dependerão do tipo de substituição laboral trazida pela IA, devemos aceitar com entusiasmo os custos e ineficiências de mercado que essas políticas podem implicar, especialmente porque podem ser compensados pelo crescimento da produtividade impulsionado pela IA.
• Suporte macroeconômico de longo prazo. Se a substituição da força de trabalho impulsionada por IA acabar sendo de grande escala e reduzir permanentemente a demanda por mão de obra, poderá ser necessário ir além de simples programas de incentivo e fornecer suporte de renda de longo prazo a uma grande parcela da força de trabalho. Mecanismos como a renda básica universal podem ser financiados por meio de impostos sobre empresas relacionadas ou aumento dos impostos sobre ganhos de capital. Contas de capital universal oferecem outra ferramenta. Em termos gerais, um crescimento econômico acelerado deverá criar uma base tributária para a prosperidade compartilhada.

Uma preocupação comum sobre a IA que não mencionei é a infraestrutura de data centers, especialmente seu potencial para aumentar os preços de energia. Minha posição é que as empresas de IA devem arcar pessoalmente com o aumento das tarifas — e a Anthropic já se comprometeu a fazer isso — mas acho que a hostilidade pública em relação aos data centers é em grande parte um símbolo ou uma forma de liberação da ansiedade econômica mais ampla relacionada à IA. É importante que tenhamos um diálogo social direto sobre essas questões econômicas mais amplas e propusemos soluções concretas e convincentes para elas; caso contrário, elas provavelmente se manifestarão indiretamente, como ocorreu com o problema dos data centers.

3. Acelerar os impactos positivos da IA

Assim como devemos esforçar-nos para equilibrar a inovação e a segurança da própria IA, também devemos esforçar-nos para equilibrar os mesmos aspectos em tecnologias que podem ser aceleradas pela IA, como biomedicina, energia ou ciência dos materiais. Mas, embora a própria IA possa trazer desafios novos que surgem muito rapidamente e para os quais não temos nenhuma experiência de resposta, outros campos impulsionados pela IA podem enfrentar um problema completamente diferente: sistemas regulatórios projetados para ritmos de inovação mais lentos não estão preparados para lidar com o fluxo de novos produtos e avanços que a IA trará. A IA também pode tornar essas tecnologias de jusante mais seguras e previsíveis, desafiando as suposições céticas mantidas por agências reguladoras como a FDA.

Portanto, para aplicações de downstream da IA — ao contrário da própria IA — estou mais preocupado com as autoridades reguladoras retardando o progresso (por não conseguirem acompanhar o ritmo acelerado das mudanças) do que com a falha em resolver riscos importantes. É crucial agir rapidamente sobre esse problema, pois o último que queremos é ver os benefícios da IA retardados, enquanto seus riscos se aproximam cada vez mais.

Essa questão e suas soluções se manifestarão de maneiras diferentes em diversos campos da ciência, negócios e tecnologia, então me concentrarei em um domínio ilustrativo: inovação biomédica. Isso ocorre porque é provável que se torne a maior fonte de benefícios humanitários da IA, além de ser um campo com regulamentação particularmente complexa. Não sabemos exatamente como a IA acelerará a inovação biomédica, mas parece muito provável que:

• Aumentar significativamente a taxa de entrada de novos medicamentos candidatos no processo regulatório;
• Aumentar o efeito do novo medicamento e melhorar sua segurança, graças a uma melhor otimização e possivelmente uma compreensão mais aprofundada de suas características biológicas potenciais;
• Desenvolver medicamentos candidatos para tratar doenças que nunca foram tratadas com sucesso anteriormente;
• Criar rapidamente novas formas de terapia, assim como anticorpos, peptídeos e terapias celulares se tornaram novas categorias de tratamento nas últimas décadas.

Alguns desses avanços acelerarão naturalmente o cronograma regulatório, sem a necessidade de mudanças estruturais. Medicamentos com efeito maior podem levar a ensaios clínicos menores e de menor custo, ativando mecanismos de aprovação acelerada. Mas o sistema regulatório atual foi projetado para impor uma revisão de alto nível e múltiplas fases de testes, com base na suposição de que os medicamentos candidatos geralmente são ineficazes e, mesmo quando eficazes, geralmente apresentam sérios problemas de segurança. Tanto na FDA quanto na Agência Europeia de Medicamentos (EMA), o tempo típico para que um medicamento candidato atravesse o processo regulatório é de 7 a 8 anos, em parte devido a essas suposições pessimistas. Sem reformas, a IA simplesmente sobrecarregará ou entupirá esse sistema.

Claramente, não queremos alterar as coisas de forma a levar a uma série de medicamentos de snake-oil (gíria para remédios falsos e enganosos) ou grandes eventos de segurança. Mas algumas reformas relativamente simples podem tornar a FDA, a EMA e agências semelhantes mais adaptadas à rápida aceleração científica impulsionada por IA (caso isso ocorra).

Muitos passos de processos clínicos que anteriormente exigiam experimentos caros e lentos poderão ser realizados rapidamente por meio de simulação ou análise por IA. As agências reguladoras devem considerar agora a criação de padrões sobre quais condições são necessárias para aceitar tais métodos. Isso significa que, assim que esses métodos forem eficazes, poderão ser adotados rapidamente, em vez de passar por um período desnecessariamente prolongado de exigência de testes adicionais. Os campos aos quais isso se aplica podem incluir:

• Modelagem baseada em IA de farmacodinâmica e farmacocinética (PD/PK);
• Previsão toxicológica, para evitar a necessidade de estudos toxicológicos em múltiplas espécies animais;
• Escolha mais precisa da dose para reduzir a necessidade de uma faixa ampla de doses nos ensaios;
• Validação de biomarcadores por meio da análise de grandes conjuntos de dados;
• Grupo de controle sintético em ensaios clínicos para reduzir a necessidade de recrutar mais participantes;
• Desenvolver terminais alternativos (isso é especialmente importante no envelhecimento e nas doenças neurodegenerativas).

Além desses exemplos específicos, as instituições também devem considerar mecanismos de aprovação acelerada mais ousados e flexíveis. Se minha previsão sobre a IA estiver correta, em breve surgirão muitas intervenções inesperadas (expressão idiomática que significa de forma inesperada ou súbita) com resultados extremamente eficazes, e o sistema regulatório deve estar preparado para levá-las a sério, em vez de adotar uma postura excessivamente cética.

A aceleração da biomedicina deve aumentar significativamente os benefícios da IA, mas é importante notar que também pode ajudar a reduzir os riscos da IA. Reformar a aprovação da biomedicina pode auxiliar na defesa biológica, e os avanços em biomedicina impulsionados por IA também podem melhorar a saúde mental, o que pode ter um efeito estabilizador sobre a sociedade.

4. Países e liberdades civis

Todo sistema governamental deve enfrentar a questão do poder do Estado e de seus limites. O Estado tem interesses legítimos, muitas vezes vitais, na proteção de sua população contra ameaças internas e externas. Mas conceder-lhe poder excessivo é o caminho para a tirania. As democracias modernas conseguiram, em grande medida, gerenciar esse equilíbrio, mas mesmo nos melhores momentos, esse equilíbrio é inquietante. Manter esse equilíbrio exige uma grande quantidade de mecanismos legais e constitucionais desenvolvidos ao longo de séculos — por exemplo, nos Estados Unidos, as Primeira, Quarta e Quinta Emendas, o Ato de Militância (Posse Comitatus Act), a Lei de Vigilância de Inteligência Estrangeira (FISA), entre outros.

A IA ameaça quebrar esse equilíbrio, ao mesmo tempo que aumenta enormemente as apostas. Mas, se reagirmos rapidamente e enfrentarmos o desafio, podemos usar a IA para criar um mundo com garantias de liberdade mais fortes e duradouras do que nunca, e melhor protegido contra ameaças.

Um poderoso AI nas mãos de pessoas más pode ser a ferramenta final para ditaduras autoritárias, e nossas proteções legais e constitucionais atuais não estão totalmente equipadas para combater essa ameaça. Em essência, os enormes retornos de poder mundial trazidos pela inteligência, somados ao ritmo acelerado do progresso no desenvolvimento de IA, criaram uma tempestade perfeita (expressão idiomática que significa uma situação extremamente ruim causada pela coincidência de múltiplos fatores negativos) para que diversos atores perigosos adquiram poder acidentalmente.

Esse risco pode assumir várias formas técnicas ou operacionais específicas, mas o ponto em comum é que a IA pode repentinamente conferir poderes enormes, contornando (routing around, gíria/figurado, significando contornar obstáculos ou mecanismos de supervisão) os mecanismos existentes de supervisão democrática. Um exército totalmente automatizado de drones, que hoje soa como ficção científica, poderá no futuro obedecer ordens ilegais e permitir que o governo consolide unilateralmente seu poder; humanos treinados profissionalmente terão maior probabilidade de se opor a tais instruções ilegais. Uma IA focada em vigilância pode analisar em larga escala informações amplamente disponíveis e usá-las para inferir os detalhes mais íntimos da vida de cada cidadão — uma capacidade tecnológica não considerada pelas leis atuais de liberdades civis. Tudo isso pode ocorrer em um período extremamente curto ou secretamente, tornando crucial reforçar proativamente o compromisso dos países democráticos com a liberdade e as liberdades civis.

Aqui estão algumas ideias de políticas que devemos considerar:

• Estabeleça regras confiáveis de responsabilidade para armas totalmente automáticas. Armas totalmente automáticas, especialmente qualquer sistema autônomo que as coordene ou comande, devem ser obrigadas a responder a mecanismos constitucionais e de responsabilidade de comando (por exemplo, ordens judiciais, legislação e responsabilidade perante supervisores humanos de alto nível), e não apenas obedecer cegamente ordens. Isso pode significar que um grupo de revisão legal bem projetado ou o poder judiciário tenha controle sobre um “botão de desligamento”, ou que o próprio sistema seja treinado internamente para identificar e responder a instituições de supervisão legais, ou ambos.
• Proibir o uso de armas totalmente automáticas no país. Embora armas totalmente automáticas tenham justificativas legítimas de necessidade para se defender contra adversários estrangeiros (por exemplo, a invasão russa da Ucrânia), não há nenhuma razão para seu uso contra cidadãos americanos. A capacidade das forças armadas em operações domésticas já está sujeita a algumas restrições, mas, idealmente, essas armas também deveriam ser proibidas no uso policial.
• Fechar a brecha de coleta em massa/agentes de dados. De acordo com as leis vigentes, os dados compartilhados por americanos com empresas privadas (como provedores de internet) podem ser comprados e usados para análise em massa na vigilância e aplicação da lei domésticas. Essa brecha na proteção de privacidade existia antes da chegada da IA, mas a IA aumentará drasticamente os riscos ao tornar a análise em massa desses dados muito mais reveladora e útil do que no passado. Essa brecha deve ser fechada.
• Ter direito público a obter conselhos de IA diante de ações governamentais adversas. Como princípio geral, parece essencial que qualquer indivíduo ou organização que seja alvo de ação governamental adversa (como regulamentação ou ação legal) tenha a oportunidade de acessar uma IA pelo menos tão poderosa quanto aquela permitida ao governo para essa ação específica. Isso impediria que o governo obtivesse uma vantagem injusta, que poderia efetivamente minar os direitos legais dos cidadãos. Isso poderia ser adicionado ou interpretado como uma extensão da Lei de Processo Administrativo, das proteções devido processual ou do direito à representação legal garantido pela Sexta Emenda.

Por fim, é importante notar que, no que diz respeito à tomada de poder impulsionada por IA, os governos não são as únicas entidades das quais devemos nos precaver. Em diferentes períodos da história (como a Era Dourada nos Estados Unidos ou a Companhia Britânica das Índias Orientais), empresas tornaram-se suficientemente poderosas para capturar o Estado ou adotar características quasi-estatais. A IA logo se tornará tão poderosa que temo que não possa ser seguramente confiada inteiramente a governos ou empresas, e que devam existir mecanismos de controle para ambas as partes.

A regulação é uma resposta sobre como restringir as empresas (minha opinião sobre isso está na Seção 1), mas igualmente importante é que as empresas de IA devem ter uma distribuição de poder e responsabilidade maior do que entidades privadas típicas. O Fundo Fiduciário de Interesses de Longo Prazo da Anthropic (uma entidade de governança independente projetada para garantir que a empresa cumpra sua missão) é um exemplo desse tipo de estrutura, e a indústria deve continuar explorando mecanismos ainda mais avançados. Encontrar o equilíbrio adequado — permitindo que tanto as empresas quanto os governos tenham seus poderes significativamente limitados — é crucial.

5. Garantir a liderança dos países democráticos

Considerar novas tecnologias como ferramentas de política comercial, com o objetivo de “espalhar nossa pilha tecnológica globalmente”, tornou-se um instinto comum, talvez desenvolvido a partir da experiência recente nos setores de internet e telecomunicações. Mas eu acredito firmemente que a IA é algo muito mais profundo — ela reconfigura todo o tabuleiro, e todas as futuras estratégias geopolíticas devem ser construídas em torno dela — assim como as armas nucleares, mas potencialmente com impacto ainda maior.

Se a IA realmente se tornar em breve um “país de gênios dentro dos data centers” ou algo semelhante, é muito provável que a IA se torne a principal fonte de poder militar e econômico de qualquer nação. Em um país virtual com 100 milhões de gênios, 10 milhões poderiam ser aplicados à estratégia militar, 10 milhões à fabricação de drones, 10 milhões ao desenvolvimento de armas, 10 milhões à coleta e análise de inteligência, 10 milhões ao avanço da ciência geral, e assim por diante. Uma nação com IA poderosa enfrentando uma nação sem IA — ou até mesmo uma nação atrasada em três anos no uso de IA — teria uma diferença tão grande quanto uma força de fuzileiros navais da Segunda Guerra Mundial enfrentando um exército de cavaleiros medievais.

Além disso, se a poderosa IA puder permitir formas mais profundas e possivelmente permanentes de repressão autoritária (ver Seção 4), torna-se ainda mais essencial garantir que os países mais poderosos do mundo sejam democracias — ou pelo menos que existam fortes proteções contra a repressão impulsionada por IA. Isso também aumenta a urgência de elaborar uma estratégia geopolítica direcionada.

Os países democráticos devem buscar estabelecer uma aliança global centrada na construção de IA com base em valores comuns, tentando iterativamente atrair o resto do mundo, tornando cada vez mais atraente aderir a essa aliança e cada vez menos atraente permanecer fora dela. Essa aliança deve ser uma internacionalização coordenada das ideias de política de IA discutidas nas seções 1 a 4, acrescida de um esforço para bloquear as cadeias de suprimentos essenciais para a construção de IA, compartilhando-as dentro da aliança e recusando-se a fornecê-las a pessoas externas. Alguns princípios e objetivos operacionais podem incluir:

Gerenciar a cadeia de suprimentos de IA. Membros confiáveis da aliança devem poder compartilhar livremente chips e equipamentos de fabricação de semicondutores (SME) entre si, enquanto colaboram para impedir que concorrentes os obtenham. As restrições dos Estados Unidos sobre a exportação de chips e SME de ponta para a China são uma das principais razões pelas quais os EUA mantêm a liderança geral na área de IA; essas políticas precisam ser ampliadas, apertadas e coordenadas com outros países aliados. Legislações pendentes como MATCH e OVERWATCH são um bom ponto de partida, e os países democráticos aliados devem considerar adotar medidas semelhantes.

• Coordenar esforços para enfrentar os riscos da IA. Se coordenados internacionalmente, as políticas descritas na Seção 1 destinadas a enfrentar riscos biológicos, de cibersegurança e de autonomia serão mais eficazes (e ao mesmo tempo menos onerosas para a indústria). Isso significaria que as empresas poderiam cumprir padrões mutuamente compatíveis e os reguladores poderiam aprender uns com os outros como medir e mitigar melhor esses riscos. As agências de aplicação da lei e de inteligência também deveriam colaborar mais estreitamente para rastrear e interromper ameaças de abuso, como terroristas tentando usar IA para criar armas biológicas.
• Compartilhar os benefícios da IA. Políticas comerciais e regulatórias podem ser utilizadas para promover uma difusão mais rápida dos benefícios econômicos da IA dentro da aliança, compartilhando lições aprendidas sobre como acelerar a inovação. Coordenar métodos para implantação benéfica pode ajudar a levar os benefícios da IA aos países em desenvolvimento. Por exemplo, a padronização dos sistemas de aprovação médica pode permitir que medicamentos impulsionados por IA sejam testados e aprovados mais rapidamente e de forma mais eficaz (conforme descrito na Seção 3 acima).
• Defesa comum. Os países da aliança devem cooperar para utilizar a IA em defesa própria e na defesa contra a IA dos adversários. A aliança deve garantir coletivamente a produção adequada de defesa cibernética baseada em IA, drones impulsionados por IA, manufatura impulsionada por IA, capacidade de computação de IA confidencial, pesquisa e desenvolvimento impulsionados por IA e coleta de inteligência impulsionada por IA.
• Rejeitar a repressão impulsionada por IA. Os membros da aliança devem rejeitar a tirania de alta tecnologia, extremamente autoritária e impulsionada por IA, que alertei em "A Adolescência da Tecnologia", e devem possuir salvaguardas semelhantes às descritas na Seção 4 acima.
• Cooperação macroeconômica. A crise de emprego ou estabilidade no trabalho, como qualquer outra crise econômica, possui contagio transnacional. Portanto, os países têm interesse comum em cooperar e coordenar políticas de suporte e estabilização macroeconômica (como descrito na Seção 2) para mitigar quaisquer impactos sobre o emprego.

O objetivo deve ser tornar a adesão à aliança o mais atraente possível — e deixar claro o custo de permanecer fora dela. A aliança será baseada na coordenação entre países soberanos, cada um mantendo o controle total sobre seus assuntos internos. Ela pode evoluir iterativamente, começando com países democráticos alinhados ideologicamente (naturalmente mais fáceis de aderir) e, gradualmente, acolhendo aqueles menos naturalmente compatíveis, mas dispostos a cumprir os padrões da aliança em troca de seus imensos benefícios de membro. Idealmente, o mundo inteiro acabará por se juntar. Mas mesmo que isso não seja possível, estabelecer essa aliança colocará os países democráticos na posição mais forte para conter e superar regimes obcecados por regimes opressivos.

Janela de oportunidade

O avanço exponencial da IA trouxe urgência e ritmo de transformação que o processo de formulação de políticas geralmente não está equipado para enfrentar. Mas também criou uma janela de oportunidade única. A evidência clara e realista dos riscos da IA, as primeiras experiências com seu potencial tanto para criar quanto para destruir valor econômico, e a forte reação pública contra abordagens desregradas da IA se entrelaçam, formando uma situação em que os formuladores de políticas estão excepcionalmente abertos a ações proativas. As barbas da árvore e sua floresta estão acordando.

Considerar isso como um problema de relações públicas já se tornou popular no círculo da indústria de IA: ou seja, a IA precisa de “melhor marketing”. Recuso completamente esse enquadramento. As pessoas estão preocupadas com a IA porque perceberam corretamente que seus riscos são reais, e não porque os CEOs de IA não se comportam de forma suficientemente “panglossiana” (referência literária/adjetivo, que significa otimismo cego). Acredito que, como líder de IA, minha responsabilidade é continuar sendo transparente sobre esses riscos, e a preocupação do público com essa transparência representa o funcionamento adequado da responsabilidade democrática. O desafio fundamental é direcionar essa preocupação para soluções construtivas, sem que ela se transforme em raiva e violência informes.

Sou otimista quanto à busca de soluções, pois muitos problemas — desde resolver o desemprego até testes antes do lançamento de modelos, desde restrições à exportação de chips até outros problemas de política relacionados à energia e à IA — possuem apelo senso comum em todo o espectro político. Existe um futuro desejável, mas realista, no qual uma ampla aliança não partidária, impulsionada pelo reconhecimento direto dos desafios trazidos pela IA, aprovará políticas racionais e proativas muito mais rapidamente do que o normal. Quanto antes fizermos isso, mais cedo poderemos compartilhar os benefícios incríveis da IA.

Gostaria de agradecer Allan Dafoe, Mariano-Florentino Cuéllar, Richard Fontaine, Buddy Shah, Vas Narasimhan, Matt Yglesias, Nick Beckstead, Jason Matheny, Brad Carson e muitos funcionários da Anthropic pelas suas opiniões e comentários sobre o rascunho deste artigo.

Footnote

Em meu artigo "The Adolescence of Technology", discuti riscos biológicos e riscos de autonomia, entre outros assuntos. O Instituto Anthropic também divulgou alguns dados internos preliminares sobre a possibilidade de autoaprimoramento recursivo em "When AI Builds Itself", ou seja, modelos capazes de construir autonomamente modelos melhores.

Esse fenômeno não é teórico: já observamos isso inúmeras vezes em nosso próprio quadro de governança voluntária (como nossa Política de Escalonamento Responsável). Se impusermos aos futuros modelos de IA uma lista fixa ou rígida de requisitos de segurança, um resultado muito provável é que os requisitos que se revelarem irrelevantes acabem consumindo 95% dos nossos esforços de conformidade, enquanto descobrimos que algumas das maiores fontes de risco não foram previstas em nossa lista. Quadros voluntários podem ser alterados e ajustados, mas isso é muito mais difícil para a legislação. Minha tentativa de enfrentar esse dilema pode ser vista nas duas cartas que publiquei publicamente sobre o SB 1047, uma lei da Califórnia em 2024 que buscava abordar riscos catastróficos, e cuja posição eu considero complexa por causa das razões acima.

Por exemplo, riscos biológicos verdadeiramente graves podem ser mais difíceis de gerenciar do que riscos cibernéticos, pois os atacantes têm uma grande vantagem em relação aos defensores e a gravidade do desastre pode ser muito maior.

Consulte "The Adolescence of Technology" para uma análise mais detalhada sobre por que a lógica que leva à rápida recuperação do mercado de trabalho e à ausência de substituição laboral duradoura em outras tecnologias pode não se aplicar à IA, especialmente por que mecanismos de adaptação comuns, como o paradoxo de Jevons ou a vantagem comparativa, podem ser superados pelo ritmo da tecnologia.

Por exemplo, as pessoas ainda dedicam suas vidas a jogar xadrez ou go, ou a escalar montanhas, e ainda são altamente respeitadas por essas atividades, mesmo que máquinas possam desempenhar todas essas tarefas melhor.

Isso na verdade oferece às pessoas um incentivo adicional para mudar de emprego e começar a se treinar para uma nova carreira, mesmo que seja doloroso a curto prazo, se for feito pagando a diferença entre seus salários antigos e novos.

Para mais informações sobre este tema, consulte "A Puberdade da Tecnologia". (Este artigo foi publicado originalmente no app Titanium Media, autor | Silicon Valley Tech_news, editor | Lin Shen)