Informe de investigación Shoal: Los bots representan el 60 % de las solicitudes HTML en Cloudflare

ChainCatcher informa que la institución de investigación Shoal Research publicó un informe que indica que los robots representan aproximadamente el 60% de las solicitudes HTTP de contenido HTML en la red de Cloudflare, mientras que los humanos representan el 38,2%. El CEO de Cloudflare, Matthew Prince, había pronosticado previamente que el tráfico de robots superaría al humano en 2027, y posteriormente anunció que el crecimiento del tráfico de agentes ya ha hecho que los robots superen al tráfico humano. El informe señala que las aplicaciones de IA mantienen a los usuarios en interfaces de chat y resumen contenido en lugar de redirigirlos de vuelta al sitio original. La proporción de rastreo y reingreso de los rastreadores de IA es mucho mayor que la de Googlebot; ClaudeBot, en promedio, ha rastreado alrededor de 4.200 páginas por cada reingreso durante el último año. Un estudio de Pew muestra que los resúmenes de IA redujeron la tasa de clics del 15% al 8%. Los modelos de intercambio de contenido mediante robots.txt resultan difíciles de mantener. Las demandas judiciales y las autorizaciones privadas son soluciones temporales. El pago por solicitud se divide en mercados cerrados con claves y protocolos abiertos que utilizan HTTP 402 y criptomonedas estables, como x402 y MPP. La mayoría de los sitios web aún ofrecen contenido gratuitamente o lo bloquean.