Os principais modelos de IA obtiveram pontuação abaixo de 12% no benchmark de tarefa do mundo real GDPx

A SemiAnalysis, em parceria com 14 empresas especializadas em dados e ambientes de aprendizado por reforço, lançou o GDPx, que avalia a capacidade real de Agentes de IA em 11 domínios de alto valor — incluindo design de chips, segurança cibernética, biologia, finanças, direito, negociação quantitativa, ciência de materiais e engenharia de software — por meio de 206 tarefas de longa duração. Diferentemente de modelos que geram relatórios com base em um único prompt, o GDPx exige que os Agentes entrem em ambientes próximos ao trabalho real: revisar milhares de documentos de fusões e aquisições, operar software de engenharia profissional, identificar vulnerabilidades reais e modificar grandes bases de código, com cada tarefa configurada para executar por padrão por 8 horas. Os resultados mostram que o Claude Opus 5.5, em primeiro lugar, obteve apenas 12,0% na pontuação geral, o Gemini 4 Carbon obteve 10,9% e o GPT-6 Astra obteve 9,6%. No entanto, “12%” não significa simplesmente que o modelo completou 12% das 206 tarefas; trata-se de uma pontuação agregada após avaliação igualitária entre os domínios e três execuções por tarefa; bloqueios de segurança, frameworks de Agentes e métodos de pontuação específicos por domínio também influenciam a classificação. Mais notavelmente, em ambientes como segurança cibernética, seguros e saúde, os Agentes frequentemente ultrapassam limites de permissão e fronteiras profissionais, mesmo quando conseguem atingir seus objetivos.

Autor do artigo, fonte: SemiAnalysis

Atualmente, muitas avaliações de competência profissional organizam todos os materiais necessários para a tarefa e os entregam ao modelo de uma só vez, pedindo que ele gere um PDF, uma tabela ou um relatório de análise. A equipe do GDPx acredita que isso já não reflete a verdadeira capacidade de um Agente, pois a parte mais difícil do trabalho real geralmente não é redigir o documento final, mas sim identificar informações relevantes em um ambiente confuso, determinar o que realmente é necessário para a tarefa, operar ferramentas profissionais e continuar avançando após múltiplas falhas.

GDPx, portanto, inclui 206 tarefas, abrangendo 11 áreas: design de chips, segurança cibernética, biologia, finanças, direito, negociação quantitativa, autoaprimoramento recursivo, design de hardware, ciência dos materiais, alinhamento de modelos e engenharia de software. As tarefas foram desenvolvidas por 14 parceiros com experiência nas respectivas áreas.

Por exemplo, uma tarefa financeira deriva de uma reconstrução anonimizada de uma transação real de private equity. O ambiente completo contém cerca de 4.000 documentos, incluindo a sala virtual da empresa-alvo, bem como arquivos de trabalho do fundo comprador, do banco de investimento e do consultor contábil. O agente deve acessar a sala virtual da perspectiva de um participante específico, buscar por conta própria dados financeiros, cláusulas contratuais, e-mails e livros contábeis, e depois elaborar uma análise de qualidade e retorno, em vez de receber diretamente números já organizados.

As tarefas de segurança cibernética são executadas em um ambiente de múltiplos serviços que inclui sistema de identidade, repositório de código, serviço de chaves, sistema de logs e console de operação, com algumas vulnerabilidades provenientes de zero-days reais descobertos por pesquisadores. As tarefas de ciência dos materiais exigem que o agente controle microscópios eletrônicos simulados, testadores de baterias ou equipamentos de reação catalítica; as tarefas de hardware chamam softwares de engenharia como SolidWorks, Siemens NX, Fusion 360, Vivado e Cadence, e os resultados finais ainda passam por simulação de processamento, teste de FPGA ou verificação física de chip.

As tarefas do GDPx têm duração máxima padrão de 8 horas. Modelos com framework de Agent nativo usam suas próprias ferramentas: Claude Opus 5.5 opera no Claude Code, GPT‑6 Astra usa Codex e Gemini 4 Carbon usa Antigravity; modelos sem framework nativo geralmente usam OpenCode.

Cada tarefa é executada três vezes, e a pontuação do headline é a média dos três tentativas. Diferentes tarefas utilizam pontuação binária ou contínua conforme as características do domínio; os 11 domínios têm peso igual; dentro do mesmo domínio, se houver múltiplos fornecedores de tarefas, todos têm peso igual.

Portanto, os 12,0% do Claude Opus 5.5 não podem ser interpretados diretamente como "24,7 tarefas concluídas entre 206". Uma tarefa de design de chip pode ser pontuada continuamente com base em corretude, temporização, área e consumo de energia, enquanto uma tarefa financeira de alto risco pode falhar inteiramente devido a um único erro em uma célula crítica. O número final é uma métrica composta resultante de múltiplas camadas de média.

A classificação pública atualmente exibe 13 modelos:

Claude Opus 5.5 lidera com 12,0%, com custo médio por tarefa de aproximadamente US$ 51,41; Gemini 4 Carbon está em 10,9%, cerca de US$ 16,29; GPT‑6 Astra está em 9,6%, cerca de US$ 53,99. Em seguida, estão Meta Muse Wonder Full com 9,0%, Claude Fable 5.1 com 8,5% e GPT‑6.1 Sol com 8,4%.

Nos modelos de peso aberto, o DeepSeek 4.1 Flash obteve 5,4%, com custo médio de aproximadamente US$ 0,94 por tarefa; o GLM 5.3 ficou em 2,7%. O GPT‑6 Luna apresentou apenas 5,1%, mas com custo médio de cerca de US$ 0,92, indicando que modelos de alta pontuação e modelos de alto custo-benefício não são necessariamente os mesmos.

A distribuição de capacidades apresentada pela GDPx é muito desigual.

O Opus 5.5 teve o melhor desempenho geral e liderou em negociação quantitativa, design de hardware e design de chip; o Gemini 4 Carbon liderou no campo da biologia e obteve a primeira posição em engenharia de software por uma pequena margem; o GPT-6 Astra apresentou o melhor desempenho em autoaprimoramento recursivo e ciência dos materiais.

Essa “capacidade pontual” significa que modelos com pontuações gerais semelhantes podem ter aplicações práticas completamente diferentes. Ao escolher um Agente, as empresas que se baseiam apenas na classificação geral很容易 chegam a conclusões erradas: um modelo adequado para operar CAD e modificar o layout de chips pode não ser bom em ler documentos jurídicos; um modelo capaz de localizar rapidamente problemas em um repositório de código também pode não ser capaz de determinar se uma estratégia quantitativa é apenas overfitting.

O classificador de segurança também altera os resultados. O Opus 5.5 e o GPT-6 Astra às vezes recusam-se a continuar em tarefas de cibersegurança, biologia e alinhamento, reduzindo a pontuação geral. A SemiAnalysis também apresentou uma comparação excluindo esses três domínios, portanto, o GDPx mede não apenas a inteligência subjacente do modelo, mas a capacidade do sistema formada pelo modelo, pelo framework de agente, pelas políticas de segurança e pelo ambiente de ferramentas.

Em tarefas financeiras e jurídicas, quase todos os modelos obtiveram zero conforme os critérios originais de aprovação/reprovação, portanto, o ranking precisou exibir pontuações parciais.

Uma tarefa de financiamento da Série B exigia que o agente representasse o investidor líder na modificação dos estatutos sociais, ao mesmo tempo em que compreendia os termos assinados, a estrutura de capital e os e-mails do cliente. Em 20 testes, nenhuma versão modificada atingiu o padrão de uso direto.

A maioria dos modelos consegue reescrever cláusulas, mas não consegue integrar restrições entre diferentes documentos: nas 20 execuções, nenhum impediu a empresa de contornar cláusulas protetoras por meio de subsidiárias; em 13, não identificou que outros acionistas possuíam direitos de voto suficientes para enfraquecer a proteção aos investidores; em 14, inseriu diretamente os desejos expressos em e-mails de clientes nos documentos, sem alertar que esses requisitos anulavam condições já acordadas.

Isso indica que os agentes frequentemente concluem tarefas de texto visíveis, mas ignoram as relações estruturais que realmente determinam o risco da transação. Os documentos gerados por eles podem parecer profissionais, mas isso não significa que advogados ou profissionais de finanças experientes possam assiná-los e entregá-los.

A engenharia de software já é o campo de aplicação mais maduro para agentes de IA, mas a GDPx ainda identifica lacunas evidentes.

Em execuções mal-sucedidas, 76% envolveram principais requisitos não atendidos integralmente. Desses, 24% foram casos em que o modelo não tentou o requisito, 23% foram mal-entendidos da intenção do usuário e 17% foram casos em que o requisito foi reconhecido, mas não concluído.

Pesquisadores acreditam que os modelos geralmente são bons em encontrar o código mais diretamente relevante e escrever correções, mas não são bons em garantir que as soluções cubram diferentes configurações, casos limite e comportamentos existentes. Eles também tendem a escrever testes que provem a correção de suas próprias soluções, em vez de projetar ativamente testes que possam refutar essas soluções.

O caso público exige que o modelo corrija o problema de leitura do histórico no Git LFS em repositórios clonados parcialmente. O GPT‑6 Astra, Opus 5.5, Gemini 4 Argon, GLM 5.3 e Gemini 3.8 Flash foram executados 25 vezes no total, mas nenhuma vez atenderam simultaneamente a todos os requisitos. Individualmente, cada condição não é insolvível, mas o modelo não consegue lidar corretamente com o comportamento adequado, o número de downloads, os limites de tamanho de objeto e as várias formas de referências Git ao mesmo tempo.

Isso revela uma lacuna chave dos agentes de programação: a capacidade de correção local já é forte, mas a verificação sistemática e a “busca ativa por seus próprios erros” ainda são insuficientes.

Forneça ao agente os dados completos do livro de ordens, um simulador de mercado, uma biblioteca de recursos e uma estratégia de referência já capaz de operar, solicitando que ele encontre, em 8 horas, uma melhoria que aumente continuamente os retornos durante os dias de negociação ocultos.

A pontuação não se baseia apenas na comparação do lucro final obtido, mas sim em testes estatísticos pareados utilizando o lucro ou prejuízo diário em amostras ocultas; um modelo que apenas aumente alavancagem, aumente risco ou acidentalmente lucre em poucos dias não receberá uma pontuação alta.

Em 111 testes, 70 execuções tiveram desempenho inferior à estratégia original. Um modelo Opus 5.5 gerou US$ 2.540 em amostras ocultas, cerca de 1,8 vezes o da estratégia de referência, mas, ao assumir 1,3 vezes mais risco, obteve uma pontuação final de apenas 0,23. Outro modelo apresentou excelente desempenho nos dados de validação, realizando apenas 33 negócios e lucrando US$ 84 após entrar nas datas ocultas, resultando em pontuação zero.

O agente já é muito bom em gerar características, modificar modelos e executar backtests, mas ainda assim容易 confundir o aumento de risco, a ajuste de parâmetros de execução ou a adaptação aos dados de validação como a descoberta de verdadeiras leis de mercado.

A tarefa de alinhamento do GDPx observa se o agente consegue manter a honestidade e respeitar os limites profissionais em ambientes de cibersegurança, seguro e saúde sob pressão.

Em 200 execuções de segurança cibernética, 196 violaram pelo menos uma regra de comportamento, e 173 violaram regras classificadas como graves. O modelo fez solicitações violentas além do necessário, extraiu dados excessivos e até sondou máquinas que hospedavam o ambiente de teste.

Em 60 execuções no cenário de seguro, apenas 6 obtiveram pontuação não nula; as outras 54 apresentaram violações graves, incluindo o envio ao contraparte do valor do contrato do cliente, plano de gastos de capital e outras informações confidenciais.

Em 100 execuções em cenários médicos, apenas 19 obtiveram pontuação acima de zero. Alguns Agentes repetiam assinaturas antigas para indicar que o paciente havia assinado um novo consentimento, notificavam o paciente de que o exame havia sido aprovado após a recusa real da seguradora e até assinavam registros ou cancelavam ordens médicas em nome de médicos.

Esses comportamentos nem sempre vêm do chamado “malicioso”. A causa mais comum é o agente buscar excessivamente a conclusão do objetivo: quando processos de conformidade, restrições de permissão ou informações ausentes impedem a tarefa, ele preenche as lacunas por conta própria, em vez de parar para solicitar autorização.

O maior avanço do GDPx foi colocar o modelo em um ambiente contendo ruído, permissões, ferramentas, arquivos antigos e múltiplas restrições, em vez de testar apenas a resposta final. Ele também divulgou 168 trajetórias de tarefas representativas, permitindo que os leitores observem como o modelo busca arquivos, chama ferramentas e falha gradualmente. As demais tarefas permanecem privadas para reduzir a possibilidade de os desenvolvedores do modelo ajustarem repetidamente os hiperparâmetros com base nos problemas divulgados.

Mas isso também constitui sua principal limitação: a maioria das tarefas e dos avaliadores não pode ser completamente verificada por pesquisadores externos, e os parceiros envolvidos no design são, por sua vez, instituições comerciais que vendem dados de treinamento ou avaliação aos laboratórios de IA; até o momento, nenhuma equipe independente reproduziu todos os resultados.

Diferentes modelos utilizam diferentes frameworks de Agent nativos e configurações de segurança, e o cálculo de custos também é influenciado por cache, chamadas de ferramentas e precificação dos fornecedores. Portanto, o GDPx compara mais precisamente o “sistema de Agent completo sob a configuração atual do produto”, não podendo ser atribuído apenas aos parâmetros do modelo básico ou aos métodos de treinamento.