Informe de investigación Shoal: Los bots representan el 60% de las solicitudes HTML

Mensaje de Huoxing Caijing: La institución de investigación Shoal Research publicó un informe que indica que los robots representan aproximadamente el 60% de las solicitudes HTTP de contenido HTML en la red de Cloudflare, mientras que los humanos representan el 38,2%. El CEO de Cloudflare, Matthew Prince, había pronosticado anteriormente que el tráfico de robots superaría al humano en 2027, y posteriormente anunció que el crecimiento del tráfico de agentes ya ha hecho que los robots superen al tráfico humano. El informe señala que las aplicaciones de IA mantienen a los usuarios en interfaces de chat y resumen contenido en lugar de redirigirlos a los sitios originales. La proporción de rastreo y re-visita de los rastreadores de IA es mucho mayor que la de Googlebot; durante el último año, ClaudeBot promedió aproximadamente 4.200 páginas rastreadas por cada re-visita. Un estudio de Pew muestra que los resúmenes de IA redujeron la tasa de clics del 15% al 8%. Los modelos de intercambio de contenido mediante robots.txt son difíciles de mantener. Las demandas judiciales y las autorizaciones privadas son soluciones temporales. El pago por solicitud se divide en mercados cerrados con claves y protocolos abiertos que utilizan HTTP 402 y criptomonedas estables, como x402 y MPP. La mayoría de los sitios web aún ofrecen contenido gratuitamente o lo bloquean.