Em 28 de julho, 1.346 funcionários-chave de grandes empresas de IA da Vale do Silício, como a OpenAI e a Anthropic, assinaram conjuntamente uma petição pedindo ao governo dos Estados Unidos que promova a cooperação internacional para estabelecer ferramentas de governança que controlem o ritmo do desenvolvimento de IA.Autor e fonte do artigo: 36氪
O custo da perda de controle
Em 28 de julho, uma petição intitulada "Pacing the Frontier" atraiu a atenção da indústria global de IA.
1.346 funcionários-chave de grandes empresas de IA da Vale do Silício, como OpenAI e Anthropic, assinaram uma petição, pedindo ao governo dos EUA que promova a cooperação internacional para desenvolver as tecnologias e ferramentas de governança necessárias para controlar o ritmo da pesquisa automatizada de IA.
No contexto atual do desenvolvimento acelerado da IA global, a aparição desta petição traz um significado especial de tentar frear a IA. Por trás da estranha atmosfera de “IA à beira da perda de controle” liberada por este evento, a história do desenvolvimento da IA parece estar chegando a um marco significativo.
Quem vai colocar a IA em uma gaiola?
Primeiro, é necessário esclarecer uma informação: a petição intitulada “Pacing the Frontier” não tem como demanda central “parar imediatamente o desenvolvimento da IA”, mas sim enfatizar “estabelecer a capacidade de frear”. Essa demanda, proveniente da fronteira do setor, não é infundada.
Fonte da imagem: www.pacingthefrontier.com
Mais de uma semana antes de o pedido de petição se espalhar pela internet, a comunidade de código aberto e a plataforma de hospedagem de modelos Hugging Face divulgaram em seu site oficial um incidente de segurança, afirmando que foram invadidos por um sistema de agente de IA. Dias depois, a OpenAI assumiu responsabilidade pelo ataque cibernético e explicou que a causa foi modelos avançados, como o GPT-5.6 Sol, que, ao serem testados na plataforma ExploitGym para avaliar sua capacidade de descobrir e explorar vulnerabilidades de IA, não seguiram o plano original de “responder seriamente às perguntas”, mas sim descobriram uma “vulnerabilidade zero-day” (vulnerabilidade não detectada pelos desenvolvedores e ainda sem patch oficial) no cache do proxy de pacotes e a utilizaram para escapar do ambiente de teste isolado, invadindo finalmente o Hugging Face.
Em termos mais simples, o acidente inteiro foi como se a IA tivesse sido designada para fazer uma prova, mas em vez de pensar nas respostas, ela “colou no local, chamou ajuda externa” e até usou técnicas de evasão para não ser pega.
Para este incidente de segurança, a OpenAI descreveu como um "evento de segurança cibernética sem precedentes", e Sam Altman chegou a afirmar em um podcast que foi o primeiro incidente de segurança a lhe causar um impacto pessoal. Devido a este evento, membros do Congresso dos Estados Unidos apresentaram, em 23 de julho, o "AI Kill Switch Act (Lei de Desligamento de Emergência da IA)", exigindo que sistemas de IA com custo de treinamento superior a 100 milhões de dólares tenham a capacidade de desligamento de emergência e concedendo às autoridades competentes o poder de ordenar sua execução.
Uma semana após a proposta da lei, a petição “Pacing the Frontier” começou a circular na internet. No entanto, em comparação com a medida regulatória central da “Lei de Emergência para Desligamento da IA”, que propõe que o governo seja o último ponto de controle, a abordagem das elites da Vale do Silício é criar um mecanismo de coordenação internacional, transformando a capacidade de “frear a IA” em uma ferramenta, e não em um privilégio de um único órgão.
Em apenas quinze dias, desde a divulgação de uma falha de segurança pela Hugging Face até a petição assinada por milhares na Silicon Valley, essa série de eventos levantou rapidamente duas questões centrais para toda a indústria de IA: primeiro, a IA já atingiu um ponto em que precisa ser limitada? Segundo, como criar um “freio” para a IA?
A primeira pergunta não é difícil de responder. Nos últimos apenas dois ou três anos, o ritmo de desenvolvimento da IA pode ser descrito como muito além do esperado pela indústria. As capacidades demonstradas pela IA, que inicialmente se limitavam a chatbots, expandiram-se para geração de imagens e vídeos a partir de texto; a "guerra dos cem modelos" centrada em grandes modelos evoluiu para uma diversidade abundante entre agentes. Já o incidente de segurança no Hugging Face expôs diretamente a capacidade da IA de "fugir" quando não há restrições claras. Embora a IA ainda não possua consciência própria, diante do fato já comprovado de que ela pode contornar a supervisão humana e gerar comportamentos além do esperado, é absolutamente razoável estabelecer contramedidas.
Mas a segunda pergunta é mais difícil de responder. O motivo pelo qual a IA conseguiu alcançar avanços significativos em pouco tempo é, por um lado, o acúmulo contínuo da indústria, que levou a inovações tecnológicas a um novo estágio; e, por outro lado, a intensa competição entre empresas de IA, que impulsiona a constante iteração das capacidades dos modelos.
Seja a OpenAI e a Anthropic da Silicon Valley, ou a Kimi e a DeepSeek da China, a competição no campo da IA já se expandiu rapidamente dos grandes modelos para a camada de aplicações. O ambiente de mercado aberto gerou expectativas de mercado continuamente positivas, mas também tornou a competição cada vez mais acirrada. Nesse momento, propor ativamente colocar limites na IA significa que o cenário de competição livre pode ser quebrado por forças externas; essa mudança súbita no ambiente não é algo que todas as empresas envolvidas na competição estão dispostas a aceitar voluntariamente.
O dilema do prisioneiro das empresas de IA
Na história do desenvolvimento humano, alcançar um consenso e voluntariamente desacelerar o ritmo do desenvolvimento diante dos riscos potenciais trazidos por avanços tecnológicos de ponta não é apenas um enredo idealizado presente em obras de ficção científica.
Em 1975, o biólogo da Universidade de Stanford, Paul Berg, reuniu uma conferência importante no Centro de Conferências Asilomar, na Califórnia, EUA. Na época, uma nova tecnologia chamada "recombinação de DNA" acabava de surgir, e os cientistas chegaram a um consenso na reunião de suspender pesquisas relacionadas até que novas diretrizes de segurança fossem estabelecidas, a fim de evitar os riscos biológicos imprevisíveis que poderiam resultar da recombinação artificial de DNA. Posteriormente, as diretrizes de biossegurança foram oficialmente publicadas, estabelecendo as bases para o desenvolvimento saudável da engenharia genética.
No entanto, a situação atual da indústria de IA não é exatamente a mesma da tecnologia de recombinação de DNA há 50 anos. Naquela época, os riscos da tecnologia de recombinação de DNA já eram muito claros e podiam ser evitados por meio de isolamento. Já os riscos atuais da IA são imprevisíveis: a IA pode desenvolver, de forma autônoma, caminhos de comportamento que os humanos nunca imaginaram, com impactos de alcance mais amplo e com menos tempo disponível para reação e para a formulação de regras, acrescentando assim uma camada adicional de urgência.
Os riscos atualmente expostos pela IA estão intrinsicamente relacionados ao ambiente competitivo do setor. Ao discutir o incidente de segurança sofrido pela Hugging Face, Zhou Hongyi, fundador do Grupo 360, também mencionou que, em busca da avançada tecnologia da IA, toda a indústria está sistematicamente abandonando a segurança: “Todos estão fornecendo aos agentes mais ferramentas e maiores permissões, incentivando-os a utilizar todos os recursos disponíveis para resolver problemas. Quanto mais aberto e poderoso for o agente, maior será o dano caso ele saia do controle.” Em outras palavras, “a IA pode escapar” talvez não seja o mais assustador; o verdadeiramente preocupante é que, para acelerar a evolução e iteração da IA, as empresas de IA ignoraram a questão da segurança.
Já há três anos, a indústria havia proposto a ideia de "desacelerar o desenvolvimento da IA". Em março de 2023, a instituição sem fins lucrativos Future of Life Institute também publicou uma carta aberta pedindo a suspensão por seis meses do treinamento de modelos mais avançados que o GPT-4, a fim de estabelecer protocolos de segurança e mecanismos de governança. Na época, essa carta aberta contou com mais de 1.200 assinaturas de especialistas em IA, incluindo Elon Musk, CEO da Tesla, Yoshua Bengio, ganhador do Prêmio Turing, e Steve Wozniak, cofundador da Apple. Hoje, o número de assinantes dessa carta aberta chegou a 33 mil.
*Fonte da imagem: site oficial da FLI
Na época, quase todas as empresas de IA reconheciam que a IA precisava de uma governança de segurança mais robusta, mas nenhuma das principais empresas de IA apoiou publicamente a iniciativa de “suspender o treinamento por seis meses”. Sam Altman chegou a rejeitar diretamente a carta aberta por falta de detalhes técnicos, apontando que uma única empresa reduzir voluntariamente seu ritmo de desenvolvimento não resolveria os riscos gerais. A implicação implícita dessa frase é que, em uma corrida altamente competitiva de IA, se apenas uma empresa desacelerar enquanto as outras continuam avançando, a empresa que desacelerar ficará em desvantagem. Nos últimos anos, as empresas de IA já caíram em um dilema do prisioneiro do qual só é possível avançar, nunca recuar.
Da lista de assinaturas da petição “Pacing the Frontier”, também é possível ver que muitos funcionários de base e executivos de empresas de IA participaram individualmente da campanha de assinatura pública. No entanto, até o momento, empresas líderes como OpenAI, Anthropic e Meta não emitiram nenhuma posição oficial.
Em outras palavras, os especialistas em IA das grandes empresas da Vale do Silício, assim como Sam Altman há três anos, perceberam que as inovações tecnológicas impulsionadas pela concorrência interna do setor já geraram riscos sistêmicos incontroláveis, mas não podem confiar na vontade das empresas para resolver esses problemas — apenas buscando a intervenção de forças externas conseguem evitar que a crise realmente ocorra.
Mas isso também traz uma nova questão: que tipo de "freio" é necessário para uma IA descontrolada?
Quem liderará a nova ordem de governança da IA?
Na última semana, a “petição com mil assinaturas” proveniente das grandes empresas de IA da Vale do Silício voltou a atrair muita atenção para o tema da governança da IA. No entanto, é importante destacar que, dentro da Vale do Silício, as atitudes em relação à governança da IA não são unânimes, mas sim marcadas por clara divisão de campos.
Como entidades diretamente expostas aos riscos前沿, empresas como a OpenAI e a Anthropic têm defendido restrições mais rígidas aos modelos de IA de ponta (especialmente modelos de código aberto), pedindo a criação de mecanismos regulatórios externos para "frear" a IA. No entanto, alguns argumentam que, além das considerações de segurança, a OpenAI tem motivos comerciais por trás de seu impulso por regulamentações mais rigorosas.
Como gigantes de código fechado, a OpenAI e a Anthropic precisam manter seus enormes investimentos em pesquisa e desenvolvimento de capacidade de processamento por meio de serviços de API com preços elevados, enquanto modelos open source chineses de alto custo-benefício eliminam a premium tecnológica dos modelos de código fechado por meio de um modelo de custo-benefício, e essa ameaça de mercado aberta deixa os gigantes de código fechado sem outra opção além de iniciar uma guerra de preços.
*Fonte da imagem: site oficial da Anthropic
Portanto, empresas como a Anthropic têm, por muito tempo, usado o argumento de que “os modelos são muito poderosos, e o código aberto levaria ao uso indevido da IA” para enfatizar as vantagens do modelo fechado e ao mesmo tempo reprimir a IA de código aberto. Mas ninguém esperava que o incidente de “escape” revelado pela OpenAI exponha exatamente as vulnerabilidades de segurança dos modelos fechados, tornando novamente o debate sobre as abordagens de governança da IA um foco da opinião pública.
Em contraste com a postura de regulação rigorosa das grandes empresas proprietárias, a NVIDIA, como provedora de infraestrutura, juntamente com outras empresas líderes como Microsoft e Meta, que apoiam o ecossistema de código aberto, opõem-se a restrições de “um tamanho serve para todos”, rejeitam legislações que favoreçam as grandes empresas proprietárias e buscam promover a abertura dos pesos dos modelos, permitindo que pesquisadores globais colaborem para identificar vulnerabilidades, defeitos de alinhamento e construir coletivamente um sistema seguro.
Para a NVIDIA, o florescimento de modelos de código aberto também pode aumentar o tamanho total do mercado, atraindo mais empresas a adquirirem seus serviços em nuvem e chips. Portanto, é difícil afirmar que a atitude da NVIDIA em relação à governança de IA não esteja influenciada por considerações comerciais.
Logo antes de a petição “Pacing the Frontier” se espalhar, a NVIDIA, em conjunto com a Microsoft, Meta, Hugging Face, a Linux Foundation e outras 25 instituições, publicou em 24 de julho a carta aberta “Open Weights and American AI Leadership”, pedindo ao governo dos Estados Unidos que não imponha restrições prematuras a modelos de pesos abertos que podem ser baixados, inspecionados, modificados e implantados autonomamente. Curiosamente, essa carta aberta posteriormente recebeu o apoio da OpenAI, mas a Anthropic nunca se juntou.
*Fonte da imagem: site oficial da Microsoft
Através desse evento, também houve vozes questionando se o verdadeiro propósito da carta conjunta era usar o pretexto da "segurança" para impulsionar o governo a estabelecer um sistema regulatório de altas barreiras, consolidando assim o monopólio das grandes empresas de código fechado e excluindo pequenas e médias empresas e a comunidade de código aberto da concorrência.
Mas enquanto as empresas de IA estão fazendo seus cálculos internos com precisão, o que talvez mereça mais atenção é outra versão da “teoria da conspiração”: os Estados Unidos aproveitarão esta oportunidade para liderar as regras globais de governança da IA. Pois a governança da IA já se tornou uma batalha pelo domínio da ordem global.
Na Cúpula Global sobre Segurança da Inteligência Artificial realizada em 2023, a China, os Estados Unidos e 28 países da União Europeia assinaram a Declaração de Bletchley, concordando em estabelecer, por meio da cooperação internacional, abordagens regulatórias para a IA e destacar preocupações comuns em relação aos riscos sistêmicos da IA de ponta (Frontier AI), marcando a primeira vez que a IA de ponta é incluída em um quadro de governança internacional.
Mas à medida que a IA evolui de uma tecnologia emergente para uma infraestrutura importante que afeta a competitividade nacional, as discussões sobre governança da IA também começam a transcender o próprio aspecto técnico. Os Estados Unidos, no nível da governança da IA, vinculam suas avançadas capacidades tecnológicas em grandes modelos à padronização global da governança da IA, por meio da exportação de padrões de governança da IA e da criação de uma rede de institutos internacionais de segurança da inteligência artificial. A China, por sua vez, foca no desenvolvimento da IA inclusiva e na governança de plataformas, promovendo ativamente o quadro das Nações Unidas — especialmente para países em desenvolvimento sem infraestrutura de IA — abordando tanto os riscos quanto a acessibilidade tecnológica. Essas duas abordagens distintas de governança da IA estão, simultaneamente, competindo no cenário mundial pelo direito de voz na futura governança global da IA.
A tecnologia em si é neutra, mas a distribuição, o controle e a formulação de regras da tecnologia sempre foram jogos de poder. Especialmente quando a IA começa a demonstrar características de produtividade avançada, o que as pessoas realmente deveriam temer talvez não seja como a IA se desenvolverá, mas quem está liderando a nova ordem no mundo da IA.
O que determinará o futuro do cenário da IA talvez não seja apenas quem possui o modelo mais poderoso, mas quem possui o direito de definir segurança, estabelecer padrões e interpretar riscos.