Documento branco da Microsoft mostra que o Harness Switch aumenta o desempenho do Claude em 22,1%

iconTechFlow
Compartilhar
AI summary iconResumo
A Microsoft lançou um documento técnico em 7 de novembro de 2026, mostrando que a troca do sistema Harness no Copilot Studio melhorou o desempenho do Claude Opus 4.8 em 22,1%. A atualização quase dobrou o número de chamadas do modelo por tarefa, reduzindo o uso de tokens de entrada em 21%. Indicadores técnicos destacam os ganhos de eficiência, com dados on-chain refletindo taxas de execução mais altas para tarefas complexas.

Autor: Tencent Tech

Em 7 de novembro, a Microsoft publicou um white paper técnico sobre o sistema de execução de Agentes, contendo um conjunto de resultados de teste um tanto inesperados: ao substituir apenas o Harness por trás do Copilot Studio, mantendo o Claude Opus 4.8, a taxa de conclusão de tarefas complexas aumentou 22,1 pontos percentuais. O novo sistema quase dobrou o número de chamadas ao modelo por tarefa, mas reduziu o consumo de tokens de entrada em 21% quando ajustado.

Apenas dez dias atrás, a Microsoft anunciou a expansão do Copilot Harness unificado para vários de seus produtos e a oferta de serviços gerenciados aos desenvolvedores por meio da plataforma em nuvem.

Em 5 de novembro, Moonshot acabou de lançar os Kimi Hosted Agents e formalmente propôs o Harness as a Service. Em agosto, o DeepSeek abriu seu próprio Harness; a OpenAI e a Anthropic já haviam transformado seus sistemas internos em serviços acessíveis aos desenvolvedores muito antes.

O "sistema de execução" por trás daquele grande modelo está se tornando a figura-chave para as empresas de modelos.

Aproveite o Harness

Harness pode ser entendido como um sistema de execução de Agentes construído em torno de grandes modelos. Ele permite que o modelo utilize ferramentas externas, execute continuamente tarefas em múltiplos passos e ajuste suas ações subsequentes com base nos resultados obtidos. Para Agentes que exigem execução prolongada, o Harness também é responsável por salvar o estado da tarefa, permitindo que o trabalho continue após interrupções.

Ele opera em um nível diferente das aplicações de IA. Produtos como Claude Code e WorkBuddy são direcionados diretamente aos usuários, enquanto o Harness subjacente pode ser reutilizado por diferentes aplicações ou oferecido como um serviço independente aos desenvolvedores. À medida que as tarefas assumidas pelos Agentes se tornam cada vez mais complexas, o Harness torna-se um fator crucial para o sucesso das tarefas, eficiência de execução e custos operacionais.

Anthropic é uma das primeiras empresas de modelos a investir no desenvolvimento do Harness, inicialmente para resolver problemas encontrados pelo Claude Code em tarefas de programação prolongadas.

No final de 2025, a Anthropic descobriu que, quando a janela de contexto do Claude se esgotava, novas conversas frequentemente não conseguiam retomar o trabalho anterior. Os engenheiros então aprimoraram o Harness por trás do Claude Code, permitindo que o Agente salvasse o progresso antes de encerrar cada fase e o lesse novamente na próxima rodada para continuar tarefas inacabadas. Assim, mesmo após o término de uma sessão do modelo, a tarefa de programação pode continuar avançando.

Em abril deste ano, a Anthropic lançou ainda mais os Managed Agents, oferecendo aos desenvolvedores a capacidade de execução desses Agents como um serviço em nuvem. Para permitir que as empresas executem Agents de forma contínua e estável, a Anthropic ajustou a arquitetura subjacente: o Harness é responsável por impulsionar a execução das tarefas, os registros históricos podem ser salvos separadamente e o sandbox do programa de IA pode ser substituído a qualquer momento. Mesmo que o sandbox falhe, o Agent pode recuperar o trabalho anterior.

Da sistema interno do Claude Code ao serviço hospedado voltado para desenvolvedores externos, a Anthropic transformou anos de experiência em capacidades de harness em produtos independentes.

A OpenAI também decidiu disponibilizar o Harness por trás do Codex para mais desenvolvedores. Em fevereiro deste ano, a OpenAI revelou que a versão web, a linha de comando e os plugins IDE do Codex compartilham o mesmo sistema de execução de Agentes. Em agosto, a OpenAI posicionou ainda mais o Codex como uma plataforma Harness aberta, permitindo que aplicativos de terceiros se conectem diretamente. Em setembro, foi lançada a API de Agentes, gerenciada e mantida pela OpenAI, permitindo que desenvolvedores se conectem diretamente ao ambiente de execução dos Agentes.

Essa abordagem permite que a OpenAI atenda diretamente os usuários por meio do Codex, além de fornecer sua capacidade de execução subjacente a outras empresas de software. Os desenvolvedores podem manter suas próprias interfaces de produto e fluxos de negócios, enquanto o Codex realiza as tarefas específicas em segundo plano.

DeepSeek liberou todo o código do framework Harness sob a licença MIT em 13 de agosto, propondo "Tudo é um Plugin", quase dividindo todo o sistema de execução do Agente em plugins que podem ser combinados livremente. Os desenvolvedores podem não apenas substituir modelos e ferramentas externas, mas também modificar a forma como o Agente chama modelos e executa tarefas, permitindo até que o Agente escreva e instale novos plugins por conta própria.

Esta arquitetura baseada em Cordis visa permitir que desenvolvedores criem diferentes tipos de Agentes conforme suas necessidades, sem precisar construir um sistema de execução do zero.

Em 5 de novembro, o Kimi anunciou oficialmente que os Hosted Agents oferecem um ambiente em nuvem 24/7, permitindo que empresas integrem os Agents em seus sistemas internos ou incorporem-nos em produtos voltados para venda externa, com foco explícito em Harness as a service.

Harness evolução

Na verdade, o calor do Harness não começou pelas empresas de modelos.

No início deste ano, o sucesso do OpenClaw já mostrou à indústria que uma empresa sem modelo básico também pode atrair um grande número de usuários por meio de um sistema de Agentes. Em fevereiro, a OpenAI recrutou Peter Steinberger, fundador do OpenClaw, para participar do desenvolvimento do próximo agente pessoal.

Em seguida, a Nous Research lançou o Hermes Agent, tentando permitir que o Agent armazene a experiência adquirida no trabalho como Skills reutilizáveis e aprimore-se continuamente em tarefas subsequentes.

Em março, instituições como a Universidade de Stanford propuseram o Meta-Harness, permitindo que a IA modifique diretamente o código do Harness com base em registros de falhas e valide os resultados por meio de testes. Em um experimento de classificação de texto, a precisão aumentou 7,7% e o consumo de tokens de contexto reduziu-se para um quarto do valor original.

Por que essas explorações valem a pena para as empresas de modelos? Em outubro, a Universidade Nanyang de Singapura testou 66 modelos em combinação com o Harness e descobriu que trocar o Harness pode até alterar a classificação de desempenho entre os modelos.

O FrontierHarness Eval também descobriu que, para o mesmo Kimi K3, a taxa de aprovação de tarefas foi de 66,7% com o Codex, 63,3% com o DeepSeek Harness Creator e 56,7% com o Kimi Code.

Para empresas de modelos básicos, melhorar o desempenho do modelo, além de aprimorar o modelo em si, está se tornando cada vez mais dependente do design e otimização do Harness.

Figura: Comparação da taxa de aprovação de tarefas e custo do mesmo Kimi K3 sob diferentes configurações de Harness

Os pesquisadores ainda estão tentando aplicar a experiência acumulada pelo Harness ao treinamento de modelos. O Co-Harness, proposto em julho, primeiro melhora o Harness por meio de registros de falhas e, em seguida, utiliza os dados de execução otimizados para treinar o modelo. O HarnessFlow, anunciado em novembro, busca automaticamente designs melhores do Harness, aumentando a pontuação média em 10,89 pontos percentuais em seis categorias de tarefas.

Figura: Linha do tempo da evolução da tecnologia Harness (fim de 2025 a novembro de 2026)

No entanto, a otimização automática também apresenta riscos. Um estudo realizado no início de novembro descobriu que, em um experimento específico, um Harness, após ser otimizado para uma nova tarefa, viu seu desempenho no SWE-bench cair de 94% para 32%. Atualizações no modelo também podem tornar designs anteriormente eficazes inúteis.

Isso significa que o acúmulo tecnológico da Harness é difícil de resolver de uma vez por todas. Como manter a estabilidade em diferentes tarefas durante a melhoria contínua ainda é um desafio não resolvido.

Alguns especialistas da indústria afirmam que esse também é um grande desafio na implantação de modelos de código aberto. Por isso, as empresas de modelos já começaram a vender serviços de Harness. Embora os frameworks de código aberto sejam gratuitos, as empresas ainda precisam arcar com os custos de implantação e manutenção para executar Agentes de forma estável e contínua. Empresas como Kimi e Anthropic enxergaram a oportunidade de assumir essas tarefas, transformando o Harness em um negócio independente, mas as abordagens variam significativamente entre as empresas.

O valor oculto do Harness

A Harness começou a ser oferecida como um serviço cobrado separadamente, mas a tabela de preços atual indica que a inferência de modelos ainda é a principal fonte de receita.

A Anthropic cobra US$ 0,08 por hora de sessão ativa para seus Agents Gerenciados, com tokens adicionais, e, conforme o exemplo de tarefa de programação de uma hora divulgado oficialmente, a taxa total é de US$ 0,58, dos quais apenas cerca de 14% correspondem à taxa de execução gerenciada.

Os custos do Kimi são divididos em tokens do modelo, execução no sandbox e plugins pagos. Uma tarefa de análise jurídica de investimento divulgada por ele estima um custo de cerca de 30 yuan, com taxas de sandbox inferiores a 0,1 yuan. A OpenAI não cobra taxas adicionais durante a fase de teste público da Agents API, cobrando principalmente com base no uso do modelo e das ferramentas. O DeepSeek abriu o Harness sob a licença MIT e não possui lógica de cobrança direta.

Figura: Comparação das formas de cobrança e posicionamento comercial das seis empresas de modelos Harness

Portanto, a receita direta que a empresa de modelos está obtendo atualmente através do harness pode ser mínima.

Então, por que ainda investir em grandes recursos de pesquisa e desenvolvimento?

Uma razão importante é que, após as empresas implementarem realmente os Agentes, a demanda por Harness pode ser mais estável do que por um modelo específico.

A empresa de serviços jurídicos dos EUA, ABC Legal, originalmente implantava o Agent nos computadores dos funcionários por meio de tarefas agendadas. À medida que o uso se expandia, o CTO Brandon Fuller passou a buscar uma plataforma para gerenciar unificadamente esses Agents. Ele comparou várias soluções e acabou escolhendo os Managed Agents da Anthropic, pois a empresa não queria mais manter ambientes de execução dispersos.

Segundo divulgado pela Anthropic, a ABC Legal colocou mais de 50 agents em produção em apenas um mês, com cerca de 310 funcionários os utilizando diariamente. Os funcionários nem precisam ter conhecimento em desenvolvimento de software para criar novos agents por meio de configuração.

Isso indica que o apelo do Harness como serviço gerenciado vem de necessidades reais das empresas. Em vez de desenvolver do zero, implantar e manter a longo prazo sistemas operacionais, as empresas preferem comprar serviços prontos e direcionar seus recursos de engenharia para seus próprios negócios.

Mas as empresas nem sempre estão dispostas a se vincular a uma única empresa de modelos.

Em agosto deste ano, a VentureBeat divulgou uma pesquisa com 107 empresas. 85% das empresas pesquisadas utilizam duas ou mais plataformas de orquestração de Agentes. Ao escolher uma plataforma, 29% das empresas consideraram mais importante a flexibilidade dos modelos e ferramentas, enquanto apenas 10% priorizaram a adaptação nativa a algum modelo líder. Embora a amostra seja tendenciosa em direção a grandes empresas de tecnologia, já reflete uma tendência de aquisição: os clientes desejam manter a liberdade de trocar modelos.

Isso fornece exatamente outra lógica comercial para a concorrência da Harness. Se as empresas estiverem dispostas a usar um sistema de execução por um longo período, o provedor pode continuar recebendo receitas com hospedagem, manutenção e serviços de desenvolvimento corporativo, mesmo sem monopolizar as chamadas de modelo, e estabelecer relacionamentos mais estáveis com os clientes.

Dessa forma, o Harness pode acessar os processos reais de execução das empresas. Em comparação com APIs de modelos simples, o Harness pode registrar a trajetória completa de uma tarefa, desde o início até a conclusão, incluindo chamadas de modelo, execução de ferramentas, tentativas de repetição em caso de falha e o resultado final. Esses registros ajudam as empresas a diagnosticar problemas e fornecem feedback valioso para o desenvolvimento de modelos.

Figura: Dados de execução de quatro categorias de tarefas empresariais registrados pelo Harness

Se for possível obter continuamente feedback de tarefas reais verificadas, as empresas de modelos terão a oportunidade de identificar mais rapidamente problemas nos modelos em ambiente de produção. No entanto, essa vantagem também estará claramente limitada pelos direitos sobre os dados.

Isso também levanta uma nova questão para as empresas de modelos: se as empresas puderem trocar livremente os modelos subjacentes e ainda assim manter o controle sobre seus próprios dados, até que ponto a Harness poderá construir uma vantagem de longo prazo?

Para empresas de modelos, a Harness pode trazer valor mais duradouro do que cobranças diretas. Quando as empresas transferirem cada vez mais tarefas para Agentes, quem fornecer um sistema de execução confiável terá a oportunidade de influenciar a escolha dos modelos e como a IA participa dos negócios reais.

Uma palavra familiar e clichê: entrada.

No entanto, essa palavra profundamente enraizada na era da internet sempre toca os nervos sensíveis da competição na era da IA. Agora, a Harness assume, em certa medida, essas expectativas e essa imaginação.

Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.