Звіт Shoal Research: Боти становлять 60% запитів HTML

Марс Файнанс повідомляє, що дослідницька група Shoal Research опублікувала звіт, в якому зазначено, що роботи становлять приблизно 60% HTTP-запитів до HTML-контенту в мережі Cloudflare, а люди — 38,2%. Генеральний директор Cloudflare Метью Прінс раніше передбачав, що трафік роботів перевищить трафік людей до 2027 року, після чого оголосив, що зростання трафіку агентів вже призвело до того, що трафік роботів перевищив трафік людей. У звіті зазначається, що AI-застосунки тримають користувачів у чат-інтерфейсах та резюмують контент, не перенаправляючи їх назад на оригінальні сайти. Частота сканування та повторних відвідувань AI-пауків значно перевищує показники Googlebot: за останній рік ClaudeBot у середньому сканував близько 4200 сторінок за одне повторне відвідування. Дослідження Pew показує, що AI-резюме знизило коефіцієнт клікабельності з 15% до 8%. Моделі на основі robots.txt та обміну контентом на трафік стають неприйнятними. Судові позови та приватні ліцензії — тимчасові рішення. Оплата за запит поділяється на закритий ринок з ключами та відкритий протокол, що використовує HTTP 402 та стабільні монети, наприклад x402 і MPP. Більшість сайтів продовжують надавати контент безкоштовно або блокують його.