Báo cáo nghiên cứu Shoal: Bot chiếm 60% yêu cầu HTML trên Cloudflare

ChainCatcher tin tức, tổ chức nghiên cứu Shoal Research đã công bố báo cáo cho biết, trên mạng Cloudflare, robot chiếm khoảng 60% các yêu cầu HTTP chứa nội dung HTML, trong khi con người chiếm 38,2%. CEO của Cloudflare, Matthew Prince, từng dự đoán lưu lượng robot sẽ vượt quá lưu lượng con người vào năm 2027, sau đó thông báo rằng sự gia tăng lưu lượng tác nhân đã khiến robot vượt qua lưu lượng con người. Báo cáo cho biết, các ứng dụng AI giữ người dùng ở giao diện trò chuyện và tóm tắt nội dung thay vì định hướng trở lại trang gốc. Tỷ lệ thu thập và tái truy cập của robot AI cao hơn nhiều so với Googlebot; trong năm qua, ClaudeBot trung bình thu thập khoảng 4.200 trang mỗi lần tái truy cập. Nghiên cứu của Pew cho thấy, bản tóm tắt AI đã làm giảm tỷ lệ nhấp từ 15% xuống còn 8%. Mô hình robots.txt và trao đổi nội dung lấy lưu lượng đang khó duy trì. Các vụ kiện và giấy phép riêng là giải pháp tạm thời. Hình thức trả phí theo yêu cầu bao gồm thị trường đóng có khóa và giao thức mở sử dụng HTTP 402 cùng tiền ổn định như x402 và MPP. Phần lớn các trang web vẫn cung cấp miễn phí hoặc chặn.