White paper da Microsoft mostra que o desempenho do Claude cai sem o harness

iconBitPush
Compartilhar
AI summary iconResumo
A Microsoft lançou um documento técnico em 7 de novembro de 2026, mostrando que indicadores técnicos como o Harness usado no Copilot Studio afetam diretamente o desempenho da IA. O mesmo modelo Claude Opus 4.8 apresentou um aumento de 22,1 pontos percentuais nas taxas de sucesso em tarefas complexas sob o novo sistema, com 21% menos uso de tokens de entrada. O relatório destaca o papel do Harness na melhoria da eficiência, especialmente à medida que as taxas de juros e os custos de desenvolvimento influenciam a implantação dos modelos.

Em 7 de novembro, a Microsoft publicou um white paper técnico sobre sistemas de execução de Agentes, contendo um conjunto de resultados de teste um tanto inesperados: ao substituir apenas o Harness por trás do Copilot Studio, mantendo o Claude Opus 4.8, a taxa de conclusão de tarefas complexas aumentou 22,1 pontos percentuais. O novo sistema quase duplicou o número de chamadas ao modelo por tarefa, mas reduziu o consumo de tokens de entrada em 21% quando ajustado.

Apenas dez dias atrás, a Microsoft anunciou a expansão do Copilot Harness unificado para vários de seus produtos e a venda de serviços gerenciados por meio da plataforma em nuvem para desenvolvedores.

Em 5 de novembro, a Moonshot acaba de lançar os Kimi Hosted Agents e formalmente propôs o Harness as a Service. Em agosto, a DeepSeek abriu seu próprio Harness; a OpenAI e a Anthropic já haviam transformado seus sistemas internos em serviços acessíveis aos desenvolvedores muito antes.

O "sistema de execução" por trás daquele grande modelo está se tornando a figura-chave para as empresas de modelos.

Whitepaper da Microsoft comprova: substituir o Harness faz o Claude apresentar desempenho significativamente pior

Imagem gerada por IA

01 Aproveite o Harness

Harness pode ser entendido como um sistema de execução de Agentes construído em torno de grandes modelos. Ele permite que o modelo utilize ferramentas externas, execute continuamente tarefas em múltiplos passos e ajuste suas ações subsequentes com base nos resultados obtidos. Para Agentes que exigem execução prolongada, o Harness também é responsável por salvar o estado da tarefa, permitindo que o trabalho continue após interrupções.

Ele está em um nível diferente das aplicações de IA. Produtos como Claude Code e WorkBuddy são direcionados diretamente aos usuários, enquanto o Harness subjacente pode ser reutilizado por diferentes aplicações ou oferecido como um serviço independente aos desenvolvedores. À medida que as tarefas assumidas pelos Agentes se tornam cada vez mais complexas, o Harness torna-se um fator importante que influencia o sucesso das tarefas, a eficiência de execução e os custos operacionais.

Anthropic é uma das primeiras empresas de modelos a investir no desenvolvimento do Harness, inicialmente para resolver problemas enfrentados pelo Claude Code em tarefas de programação prolongadas.

No final de 2025, a Anthropic descobriu que, quando a janela de contexto do Claude era esgotada, novas conversas frequentemente não conseguiam retomar o trabalho anterior. Os engenheiros então aprimoraram o Harness por trás do Claude Code, permitindo que o Agente salvasse o progresso antes de encerrar cada fase e o lesse novamente na próxima rodada para continuar tarefas ainda não concluídas. Assim, mesmo após o término de uma sessão do modelo, a tarefa de programação inteira ainda pode avançar continuamente.

Em abril deste ano, a Anthropic lançou ainda mais os Managed Agents, oferecendo essa capacidade de execução de Agentes como um serviço em nuvem para desenvolvedores. Para permitir que as empresas executem Agentes de forma contínua e estável, a Anthropic ajustou a arquitetura subjacente: o Harness é responsável por impulsionar a execução das tarefas, os registros históricos podem ser salvos separadamente e o sandbox onde o AI roda pode ser substituído a qualquer momento. Mesmo que o sandbox falhe, o Agent pode recuperar seu trabalho anterior.

Da sistema interno do Claude Code até serviços hospedados voltados para desenvolvedores externos, a Anthropic transformou anos de experiência em produtos independentes.

A OpenAI também decidiu abrir o Harness por trás do Codex para mais desenvolvedores. Em fevereiro deste ano, a OpenAI revelou que a versão web, a linha de comando e os plugins IDE do Codex compartilham o mesmo sistema de execução de Agentes. Em agosto, o Codex foi ainda mais posicionado como uma plataforma Harness aberta, permitindo que aplicativos de terceiros se conectem diretamente. Em setembro, a API Agents foi lançada, com a OpenAI responsável por hospedar e manter esse sistema, permitindo que desenvolvedores se conectem diretamente ao ambiente de execução dos Agentes.

Essa abordagem permite que a OpenAI atenda diretamente os usuários por meio do Codex, além de fornecer sua capacidade de execução subjacente a outras empresas de software. Os desenvolvedores podem manter suas próprias interfaces de produto e fluxos de trabalho, deixando o Codex realizar as tarefas específicas em segundo plano.

DeepSeek liberou todo o código do framework Harness sob a licença MIT em 13 de agosto, propondo "Tudo é um Plugin", quase dividindo todo o sistema de execução do Agente em plugins que podem ser combinados livremente. Os desenvolvedores podem não apenas substituir modelos e ferramentas externas, mas também modificar a forma como o Agente chama modelos e executa tarefas, permitindo até que o Agente escreva e instale novos plugins por conta própria.

Esta arquitetura baseada em Cordis visa permitir que os desenvolvedores criem diferentes tipos de Agentes conforme suas necessidades, sem precisar construir um sistema de execução do zero.

Em 5 de novembro, o Kimi anunciou oficialmente que os Hosted Agents oferecem um ambiente em nuvem 24/7, permitindo que empresas integrem os Agents em seus sistemas internos ou incorporem-nos em produtos voltados para venda externa, mencionando explicitamente o Harness as a service.

02 Evolução do Harness

Na verdade, o calor do Harness não começou pelas empresas de modelos.

No início deste ano, o sucesso do OpenClaw já mostrou à indústria que uma empresa sem modelo básico também pode atrair um grande número de usuários por meio de um sistema de execução de Agentes. Em fevereiro, a OpenAI recrutou Peter Steinberger, fundador do OpenClaw, para participar do desenvolvimento do próximo agente pessoal.

Em seguida, a Nous Research lançou o Hermes Agent, tentando permitir que o Agent armazene a experiência acumulada no trabalho como Skills reutilizáveis e continue aprimorando-se em tarefas subsequentes.

No final de março, instituições como a Universidade de Stanford propuseram o Meta-Harness, que permite que a IA modifique diretamente o código do Harness com base em registros de falhas e valide o impacto por meio de testes. Em um experimento de classificação de texto, a precisão aumentou 7,7% e o consumo de tokens de contexto foi reduzido para um quarto do valor original.

Por que essas explorações valem a pena para as empresas de modelos? Em outubro, a Universidade Nanyang de Cingapura testou 66 modelos combinados com o Harness e descobriu que trocar o Harness pode até alterar a classificação de desempenho entre os modelos.

O FrontierHarness Eval também descobriu que, para o mesmo Kimi K3, a taxa de aprovação da tarefa usando Codex foi de 66,7%, usando DeepSeek Harness Creator foi de 63,3% e usando Kimi Code foi de 56,7%.

Para empresas de modelos básicos, melhorar o desempenho do modelo, além de aprimorar o modelo em si, está cada vez mais dependendo do design e otimização do Harness.

Whitepaper da Microsoft comprova: substituir o Harness faz o Claude apresentar desempenho significativamente pior

Os pesquisadores ainda estão tentando aplicar a experiência acumulada pelo Harness ao treinamento de modelos. O Co-Harness, proposto em julho, primeiro melhora o Harness por meio de registros de falhas e, em seguida, utiliza os dados de execução otimizados para treinar o modelo. O HarnessFlow, divulgado em novembro, tenta buscar automaticamente melhores designs de Harness, aumentando a pontuação média em 10,89 pontos percentuais em seis categorias de tarefas.

Whitepaper da Microsoft comprova: substituir o Harness faz o Claude apresentar desempenho significativamente pior

No entanto, a otimização automática também apresenta riscos. Um estudo realizado no início de novembro descobriu que, em um experimento específico, um Harness, após ser otimizado para uma nova tarefa, viu seu desempenho no SWE-bench cair de 94% para 32%. Atualizações do modelo também podem tornar designs anteriormente eficazes inúteis.

Isso significa que o acúmulo técnico da Harness é difícil de resolver de uma vez por todas. Como manter a estabilidade em diferentes tarefas durante a melhoria contínua ainda é um desafio não resolvido.

Alguns especialistas da indústria afirmam que esse também é um grande ponto de dor na implantação de modelos de código aberto. Por isso, as empresas de modelos já começaram a vender serviços de Harness. Embora os frameworks de código aberto sejam gratuitos, as empresas ainda precisam arcar com os custos de implantação e manutenção para executar Agentes de forma estável e contínua. Empresas como Kimi e Anthropic enxergaram a oportunidade de assumir essas tarefas, transformando o Harness em um negócio independente, mas as abordagens variam significativamente entre as empresas.

O valor oculto do 03 Harness

O Harness está se tornando um serviço cobrado separadamente, mas a tabela de preços atual indica que a inferência do modelo ainda é a principal fonte de receita.

A Anthropic cobra US$ 0,08 por hora de sessão ativa para seus Agents Gerenciados, com tokens adicionais cobrados separadamente. Com base no exemplo de tarefa de programação de uma hora divulgado oficialmente, a taxa total é de US$ 0,58, dos quais apenas cerca de 14% correspondem à taxa de execução gerenciada.

As taxas do Kimi são divididas em tokens do modelo, execução no sandbox e plugins pagos. Uma tarefa de análise jurídica de investimento divulgada por ele estima um custo de cerca de 30 yuan, com taxas de sandbox inferiores a 0,1 yuan. A OpenAI não cobra taxas adicionais durante a fase de teste público da Agents API, cobrando principalmente com base no uso do modelo e das ferramentas. O DeepSeek abriu o Harness sob a licença MIT e não possui lógica de cobrança direta.

Whitepaper da Microsoft comprova: substituir o Harness faz o Claude apresentar desempenho significativamente pior

Portanto, a receita direta que a empresa de modelos obteve até o momento através do harness pode ser mínima.

Então, por que investir tantos recursos em P&D?

Uma razão importante é que, após as empresas implementarem realmente os Agentes, a demanda por Harness pode ser mais estável do que por um modelo específico.

A empresa de serviços jurídicos dos Estados Unidos, ABC Legal, originalmente implantou o Agent nos computadores dos funcionários, executando-o por meio de tarefas agendadas. À medida que o escopo de uso aumentou, o CTO Brandon Fuller passou a buscar uma plataforma para gerenciar unificadamente esses Agents. Ele comparou várias soluções e acabou escolhendo os Managed Agents da Anthropic, pois a empresa não queria mais manter ambientes de execução dispersos.

Segundo divulgado pela Anthropic, a ABC Legal colocou mais de 50 Agentes em produção em apenas um mês, com cerca de 310 funcionários utilizando o Claude diariamente. Os funcionários nem precisam ter conhecimento em desenvolvimento de software para criar novos Agentes por meio de configuração.

Isso indica que o apelo do Harness hospedado vem das necessidades reais das empresas. Em vez de desenvolver, implantar e manter sistematicamente um sistema do zero, as empresas podem preferir comprar um serviço pronto e direcionar seus recursos de engenharia para seus próprios negócios.

Mas as empresas nem sempre estão dispostas a se vincular a uma única empresa de modelos.

Em agosto deste ano, a VentureBeat divulgou uma pesquisa com 107 empresas. 85% das empresas pesquisadas utilizam duas ou mais plataformas de orquestração de Agentes. Ao escolher uma plataforma, 29% das empresas deram prioridade máxima à flexibilidade dos modelos e ferramentas, enquanto apenas 10% priorizaram a adaptação nativa a algum modelo líder. Embora a amostra seja tendenciosa em relação a grandes empresas de tecnologia, já reflete uma tendência de aquisição: os clientes desejam manter a liberdade de trocar modelos.

Isso fornece exatamente outra lógica comercial para a concorrência da Harness. Se as empresas estiverem dispostas a usar um sistema de execução por um longo período, o provedor pode continuar recebendo receitas com hospedagem, manutenção e serviços de desenvolvimento corporativo, mesmo sem monopolizar as chamadas de modelo, e estabelecer relacionamentos mais estáveis com os clientes.

Dessa forma, o Harness pode acessar os processos reais de execução das empresas. Em comparação com APIs de modelos puras, o Harness pode registrar a trajetória completa de uma tarefa, desde o início até a conclusão, incluindo chamadas de modelo, execução de ferramentas, retry em falhas e resultados finais. Esses registros ajudam as empresas a diagnosticar problemas e fornecem feedback valioso para o desenvolvimento de modelos.

Whitepaper da Microsoft comprova: substituir o Harness faz o Claude apresentar desempenho significativamente pior

Se for possível obter continuamente feedback de tarefas reais verificadas, as empresas de modelos terão a oportunidade de identificar mais rapidamente problemas nos modelos em ambiente de produção. No entanto, essa vantagem também estará claramente limitada pelos direitos sobre os dados.

Isso também levanta uma nova questão para as empresas de modelos: se as empresas puderem trocar livremente os modelos subjacentes e ainda assim manter o controle sobre seus próprios dados, até que ponto a Harness poderá construir uma vantagem de longo prazo?

Para empresas de modelos, a Harness pode trazer valor mais duradouro do que cobranças diretas. Quando as empresas transferirem cada vez mais tarefas para Agentes, quem fornecer um sistema de execução confiável terá a oportunidade de influenciar a escolha dos modelos e como a IA participa dos negócios reais.

Uma palavra familiar e clichê: entrada.

No entanto, essa palavra profundamente enraizada na era da internet sempre toca nas fibras sensíveis da competição na era da IA. Agora, a Harness assume, em certa medida, essas expectativas e essa imaginação.


Twitter: https://twitter.com/BitpushNewsCN

Grupo de discussão do BitPush no TG: https://t.me/BitPushCommunity

Inscreva-se no Telegram da BitPush: https://t.me/bitpush

Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.