Relatório de Pesquisa Shoal: Bots representam 60% das requisições HTML na Cloudflare

ChainCatcher relata que a instituição de pesquisa Shoal Research publicou um relatório afirmando que robôs representam cerca de 60% das requisições HTTP de conteúdo HTML na rede Cloudflare, enquanto humanos correspondem a 38,2%. O CEO da Cloudflare, Matthew Prince, previu anteriormente que o tráfego de robôs superaria o humano até 2027, e posteriormente anunciou que o crescimento do tráfego de agentes já fez os robôs ultrapassarem o tráfego humano. O relatório indica que aplicações de IA mantêm os usuários em interfaces de bate-papo e resumem conteúdo, em vez de direcioná-los de volta aos sites originais. A proporção de raspagem e recontato de robôs de IA é muito maior que a do Googlebot; o ClaudeBot, no último ano, realizou em média 4.200 raspagens por recontato. Pesquisa da Pew mostra que resumos de IA reduziram a taxa de cliques de 15% para 8%. Os modelos de robots.txt e troca de conteúdo por tráfego tornam-se insustentáveis. Ações judiciais e autorizações privadas são soluções temporárias. O pagamento por requisição divide-se entre mercados fechados com chaves e protocolos abertos que utilizam HTTP 402 e criptomoedas estáveis, como x402 e MPP. A maioria dos sites ainda oferece conteúdo gratuitamente ou o bloqueia.