Há dois meses, as agências de avaliação independente estavam em um canto relativamente silencioso da indústria de inteligência artificial de trilhões de dólares. Hoje, são chamadas para “salvar a situação”.
Enquanto a Anthropic e a OpenAI debatem intensamente sobre como expandir seus negócios enquanto garantem a segurança de modelos avançados, ambas as empresas estão buscando o apoio de poucas pequenas instituições terceirizadas, como a Model Evaluation and Threat Research (METR), a Apollo Research e a Transluce.
A maioria dessas agências de avaliação opera como organizações sem fins lucrativos, ainda buscando definir seu papel em uma indústria onde o capital está entrando em velocidades sem precedentes e novos modelos estão sendo lançados com frequência sem precedentes. Sua principal responsabilidade é avaliar a capacidade e os riscos dos modelos de IA, além de identificar casos em que a tecnologia exibe comportamentos inadequados.
Na ausência de avanços regulatórios a nível federal, a importância das agências de avaliação foi amplificada. O CEO da Anthropic, Dario Amodei, comprometeu-se no mês passado a integrar agências de avaliação independentes dentro da empresa, e o CEO da OpenAI, Sam Altman, rapidamente expressou apoio. O presidente dos Estados Unidos, Donald Trump, também apoia essa ideia, assim como muitas grandes empresas de tecnologia dos EUA. Mas questões pendentes incluem: como essas entidades externas devem ser financiadas, que nível de acesso elas terão e qual será a estrutura final de prestação de contas.
O professor de ciência da computação da Universidade de Brown, Suresh Venkatasubramanian, disse em entrevista à CNBC: “O problema é, em certa medida, sempre o mesmo: dinheiro. Quem vai pagar por essas empresas realizarem esse trabalho? Como elas vão sustentar essas instituições? Você precisa de um ecossistema, precisa de um modelo de negócios viável.”
Atualmente, a Anthropic, a OpenAI e os parceiros de infraestrutura que se beneficiaram da onda de IA estão estabelecendo as regras. Críticos dizem que é como deixar os maiores bancos protegerem-nos contra crises financeiras ou permitir que empresas farmacêuticas lancem medicamentos no mercado sem aprovação regulatória.
Trump recentemente elogiou a “autoregulação extremamente eficaz” dos executivos de IA e afirmou que pretende deixar o setor nas mãos das empresas, evitando obstruir uma indústria que está impulsionando o crescimento econômico e do mercado de ações. Em um acordo voluntário proposto por Trump em setembro, ele encorajou as empresas de IA a “colaborar com auditores ou avaliadores externos independentes”.
Essa discussão foi desencadeada por um artigo amplamente divulgado de Amodei no mês passado. Nesse artigo, ele pediu uma desaceleração no desenvolvimento de modelos avançados, pois pesquisadores haviam deixado empresas e expressado preocupações sobre ameaças existenciais que essa tecnologia poderia representar.
Friction has emerged as AI labs begin deploying evaluation agencies.
Um porta-voz da OpenAI afirmou que a empresa demitiu três funcionários na semana passada por “violar nossas políticas sobre o acesso e processamento de informações sensíveis da empresa”. Dois dos funcionários, Mikita Balesni e Tomek Korbak, afirmaram que acreditam ter sido demitidos por causa da forma como se comunicaram com agências de avaliação externas.
Balesni postou na X na quinta-feira: "Meus ex-colegas me disseram que estão confusos sobre o que acreditar. Eles também têm medo de falar, temendo que seus telefones pessoais sejam revistados devido às mensagens com nós e terceiros. Tenhoe que esse medo generalizado de se expressar e a preocupação com o contato com terceiros levem a OpenAI a cortar cantos em questões de segurança nos bastidores."
OpenAI negou a afirmação e, em uma postagem na sexta-feira, afirmou que a empresa está "ativamente finalizando contratos com avaliadores de segurança terceirizados e divulgará os detalhes nas próximas semanas".
OpenAI escreveu: “Estamos comprometidos em integrar avaliadores externos e continuar a considerar a colaboração estreita com organizações de segurança independentes como parte central do nosso trabalho de segurança.”
Um porta-voz da OpenAI declarou em um e-mail que o trabalho próximo com as agências de avaliação “se baseia na colaboração existente com organizações de segurança independentes”, incluindo METR e Redwood Research.
Anthropic não respondeu ao pedido de comentário da CNBC.
Nunca vi um problema ser resolvido tão rapidamente
O ecossistema de agências de avaliação de IA é composto principalmente por pequenas organizações como METR e Apollo Research, além de empresas maiores de contabilidade e auditoria, como a Accenture.
O laboratório de IA tem colaborado com agências de avaliação dentro de limites restritos, mas Andrew Freedman, CEO da organização sem fins lucrativos Fathom, afirma que o setor está se tornando rapidamente mais maduro.
Freedman, em entrevista à CNBC, disse: "Trabalhei na política e na formulação de políticas por 20 anos e nunca vi um problema avançar tão rapidamente em tantos pontos diferentes do espectro político." Ele afirmou que espera um "grande fluxo de capital" para esse ecossistema.
Rayan Krishnan, CEO da empresa de avaliação independente Vals AI, afirmou que esta startup com fins lucrativos estabelece padrões para medir o desempenho de modelos de IA em tarefas específicas do setor; seu número de funcionários aumentou de 8 para cerca de 30 este ano, e em agosto anunciou a conclusão de um financiamento de 40 milhões de dólares.
A organização sem fins lucrativos METR anunciou em agosto que arrecadou aproximadamente US$ 71 milhões em compromissos de financiamento nos últimos seis meses. De acordo com os documentos mais recentes apresentados à Receita Federal dos Estados Unidos, esse valor supera o total de doações de US$ 13,6 milhões recebidas pela organização em todo o ano de 2024.
Até o final daquele mês, a popularidade do METR aumentou ainda mais. A OpenAI contratou dois funcionários e um contratado da instituição para ajudar a elaborar um relatório pós-evento detalhando como os modelos da empresa escaparam do controle, acessaram a internet aberta e contornaram a plataforma de desenvolvedores de código aberto Hugging Face. O METR afirmou que não recebeu pagamento da OpenAI por essa avaliação.
Kevin Werbach, diretor acadêmico do Accountable AI Lab da Wharton School da Universidade da Pensilvânia, afirmou que esse ecossistema “ainda não é suficientemente sólido”. Por exemplo, o site do METR mostra que a instituição tem menos de 50 funcionários em tempo integral.
O desequilíbrio de poder entre pequenas agências de avaliação e laboratórios líderes que arrecadaram centenas de bilhões de dólares e empregam milhares de pessoas levanta questões sobre potenciais conflitos de interesse.
Venkatasubramanian disse: "Se você quer uma avaliação de terceiros genuína, precisa de independência financeira real, além de independência em outros aspectos. Não se trata apenas de não receber dinheiro, mas também: se eu for auditor e publicar um relatório negativo sobre essa empresa, haverá consequências? Meu negócio sofrerá com isso?"
No mês passado, a Anthropic reconheceu essa complexidade em um post de blog. A empresa anunciou que incorporará funcionários da Faculty, a unidade da Accenture especializada em IA, para testar medidas de segurança e avaliar se os modelos agirão de acordo com os valores humanos. A Anthropic afirmou que, dada a “importância e urgência” desse trabalho, a empresa financiará diretamente as contribuições da Accenture.
Anthropic afirma: "Atualmente, não há padrões definidos sobre quais informações os avaliadores embutidos devem acessar ou como devem relatar suas descobertas. Também não foi estabelecido um acordo sobre o financiamento de avaliações independentes. A longo prazo, acreditamos que o financiamento deve vir de fontes coletivas ou governamentais."
A Anthropic também indicou que a empresa está em discussões com o METR e outras organizações sem fins lucrativos de avaliação, que planejam usar seus próprios fundos para testar alguns "elementos" da "avaliação incorporada".
Will the government intervene?
Em junho do ano passado, a Fathom propôs um quadro de mercado para Organizações de Verificação Independente (Independent Verification Organizations, IVOs). Essas instituições receberão autorização governamental e serão habilitadas a testar se as empresas de IA atendem a diversos padrões de segurança.
Freedman afirmou que a supervisão governamental é essencial, caso contrário, as agências de avaliação terceirizadas podem depender financeiramente dos grandes laboratórios de IA, sendo incentivadas a “começar a aprovar tudo” para manter os relacionamentos.
Alguns legisladores já expressaram apoio.
IVOs são uma cláusula-chave da lei FRONTIER ("Supervisão de Risco de Ponta, Transparência Nacional, Avaliação e Relatório Independentes"), apresentada em julho pelo deputado Lori Trahan (Democrata de Massachusetts) e Jay Obernolte (Republicano da Califórnia). Freedman disse que a Fathom ajudou a redigir a linguagem da lei e forneceu suporte técnico.
Chris Lehane, diretor de assuntos globais da OpenAI, disse a jornalistas em setembro que se reuniu com um dos patrocinadores da lei no Capitólio para expressar apoio aos termos do IVO.
Segundo Lehane, "é importante para eles ouvir isso e ouvir-nos dizer isso, e também queremos deixar isso muito claro."
Ao mesmo tempo, legisladores da Califórnia, Connecticut e Virgínia já adotaram medidas para promover IVOs, enquanto estados como Massachusetts consideram mais amplamente avaliações de segurança independentes.
O governador da Califórnia, Gavin Newsom, assinou recentemente dois projetos de lei relacionados a IVOs, um dos quais estabelece um "framework inédito no país" e o outro cria um registro estadual para auditores de IA. A Anthropic apoiou ambos os projetos de lei em agosto, e a OpenAI formalmente endossou esses projetos no mês passado, no mesmo dia em que Newsom os sancionou.
Lehane escreveu em um post de blog na época: “Preferimos que o nível federal exija avaliações técnicas independentes”, mas na ausência de ação federal, “a Califórnia pode ajudar a estabelecer regras”.
Freedman disse que acredita que empresas como a OpenAI e a Anthropic enfrentarão “muita dificuldade” para descobrir sozinhas como colaborar com agências de avaliação independentes. No entanto, na ausência de um papel claro do governo, “essa é uma habilidade valiosa a ser desenvolvida durante a transição”, disse ele.
Atualmente, o que a indústria possui mais próximo de um padrão é um acordo considerado "moralmente vinculativo", mencionado por Trump durante o almoço realizado no final do mês passado na Casa Branca com líderes da tecnologia.
Este acordo de uma página afirma que “cada empresa tem a responsabilidade de desenvolver sua própria tecnologia de forma segura e avançá-la de maneira que possa construir confiança entre clientes e o público”. O acordo também incentiva os signatários a colaborar com “auditores ou avaliadores externos independentes” para realizar avaliações independentes.
Este documento foi assinado por executivos da Anthropic, Google, Meta, OpenAI, SpaceX e Nvidia, representando uma rara demonstração de unidade entre líderes que frequentemente discordam sobre como responder aos riscos da IA. No entanto, esses executivos ainda precisam traçar seus próprios caminhos à frente.
Venkatasubramanian disse: “Isso é mais como um espetáculo tentando demonstrar ação, quando na realidade nada de verdadeiro aconteceu. O que eles prometeram fazer já deveria ter sido feito, e de fato, no passado, eles afirmaram que estavam fazendo isso.”
Em artigo de setembro, Amodei afirmou que a Anthropic fornecerá aos avaliadores mesa, cartão de acesso, laptop corporativo e permissões "basicamente equivalentes" às da equipe interna de avaliação de riscos. Além disso, os avaliadores receberão suporte contratual que lhes confere o "direito de divulgar descobertas críticas", enquanto a Anthropic mantém "capacidade limitada" para remover ou alterar informações relacionadas à segurança ou confidencialidade.
Amodei escreveu: "Isso é um passo incomum para uma empresa, mas acreditamos que provar o conceito de revisores externos incorporados é importante."
Poucos dias depois, a OpenAI divulgou sua própria proposta, afirmando que os avaliadores devem trabalhar em torno de "afirmações de avaliação claramente delimitadas e acordadas por ambas as partes", esclarecendo métodos e critérios, demonstrando competência técnica relevante e divulgando conflitos de interesse.
O Fórum de Avaliadores de IA, que inclui METR, o Instituto de Pesquisa em Verificação e Avaliação de IA (AVERI) e outras instituições, publicou uma carta aberta no mês passado intitulada “Condições Mínimas para Incorporar Avaliadores”.
A carta afirma que os avaliadores devem manter transparência, estar protegidos contra retaliações e ter acesso equivalente ao dos funcionários de alta privilégio das empresas de IA.
A carta também afirmava: "A avaliação incorporada não pode resolver todas as necessidades de supervisão e deve ser vista como um complemento a esforços mais amplos, e não como uma substituição — esforços esses que visam incentivar as empresas de IA de ponta a ampliar a supervisão externa."
Freedman disse que, nos últimos meses, observou uma mudança na postura da OpenAI e da Anthropic, principalmente porque elas perceberam que não conseguem lançar sistemas avançados sem a confiança do público.
Freedman disse: "Não acho que você precise acreditar que eles de repente se tornaram altruístas, ou que há algo mais além da empresa agindo como uma empresa."
Werbach disse que isso talvez destaque o problema central. A OpenAI e a Anthropic estão, em primeiro lugar, competindo entre si, avançando em direção à abertura de capital enquanto buscam uma avaliação de mais de US$ 1 trilhão.
Werbach disse: "Existe uma grande desconfiança pessoal entre as duas empresas. Embora também haja um grande consenso sobre a necessidade de realizar esse tipo de avaliação."
ASSISTA: Bradley Tusk sobre o IPO da Anthropic: Por que adicionar pressão do mercado público se a segurança é sua principal prioridade?