Rapport de recherche Shoal : les bots représentent 60 % des requêtes HTML

Selon des informations de Huoxing Caijing, l'organisme de recherche Shoal Research a publié un rapport indiquant que les robots représentent environ 60 % des requêtes HTTP sur le contenu HTML sur le réseau Cloudflare, contre 38,2 % pour les humains. Matthew Prince, PDG de Cloudflare, avait précédemment prédit que le trafic des robots dépasserait celui des humains d'ici 2027, puis a annoncé que la croissance du trafic des agents avait déjà fait dépasser celui des robots au trafic humain. Le rapport souligne que les applications d'IA retiennent les utilisateurs sur les interfaces de discussion et résumant le contenu, au lieu de les rediriger vers les sites d'origine. Le taux de capture et de révisite des robots d'IA est bien supérieur à celui de Googlebot ; ClaudeBot a capturé en moyenne environ 4 200 pages par révisite au cours de la dernière année. Une étude de Pew montre que les résumés d'IA ont fait chuter le taux de clics de 15 % à 8 %. Les modèles de robots.txt et d'échange de contenu contre trafic deviennent difficiles à maintenir. Les litiges et les autorisations privées ne sont que des solutions temporaires. Le paiement à la requête se divise entre un marché fermé avec clé et un protocole ouvert utilisant HTTP 402 et des stablecoins, comme x402 et MPP. La plupart des sites continuent de proposer leur contenu gratuitement ou de le bloquer.