Relatório de Pesquisa Shoal: Bots representam 60% das requisições HTML

Mars Finance noticia que a instituição de pesquisa Shoal Research publicou um relatório afirmando que, na rede Cloudflare, robôs representam cerca de 60% das requisições HTTP de conteúdo HTML, enquanto humanos representam 38,2%. O CEO da Cloudflare, Matthew Prince, previu anteriormente que o tráfego de robôs superaria o humano em 2027, e posteriormente anunciou que o crescimento do tráfego de agentes já fez os robôs ultrapassarem o tráfego humano. O relatório afirma que aplicações de IA mantêm os usuários em interfaces de bate-papo e resumem conteúdo, em vez de direcioná-los de volta aos sites originais. A taxa de rastreamento e recontato de robôs de IA é muito maior do que a do Googlebot; o ClaudeBot, no último ano, capturou em média cerca de 4.200 páginas por recontato. Pesquisa da Pew mostra que resumos de IA reduziram a taxa de cliques de 15% para 8%. Os modelos de robots.txt e troca de conteúdo por tráfego tornam-se insustentáveis. Ações judiciais e autorizações privadas são soluções temporárias. O pagamento por requisição divide-se entre mercados fechados com chaves e protocolos abertos que utilizam HTTP 402 e criptomoedas estáveis, como x402 e MPP. A maioria dos sites ainda oferece conteúdo gratuitamente ou o bloqueia.