شوال تحقیقی رپورٹ: بوٹس HTML درخواستوں کا 60% کرتے ہیں

مارس فنانس کی خبر کے مطابق، تحقیقی ادارہ Shoal Research نے ایک رپورٹ جاری کی جس میں کہا گیا ہے کہ Cloudflare نیٹ ورک پر روبوٹس HTML مواد کے HTTP درخواستوں کا تقریباً 60 فیصد ہیں، جبکہ انسانوں کا حصہ 38.2 فیصد ہے۔ Cloudflare کے سی ای او میتھیو پرنس نے پہلے ہی پیش گوئی کی تھی کہ 2027 تک روبوٹ ٹریفک انسانی ٹریفک سے زیادہ ہو جائے گا، اور اس کے بعد انہوں نے اعلان کیا کہ اسٹریم ٹریفک کے بڑھنے سے روبوٹس نے انسانی ٹریفک کو پار کر لیا ہے۔ رپورٹ کے مطابق، AI ایپلیکیشنز صارفین کو چیٹ انٹرفیس پر رکھتے ہیں اور مواد کا خلاصہ پیش کرتے ہیں، بجائے اس کے کہ انہیں اصل ویب سائٹ پر واپس بھیج دیا جائے۔ AI کرالرز کا گریب اور دوبارہ دورہ کرنے کا تناسب Googlebot سے بہت زیادہ ہے، جس میں ClaudeBot نے پچھلے سال متوسطاً ہر دوبارہ دورے پر تقریباً 4200 صفحات گریب کیے۔ Pew تحقیق کے مطابق، AI خلاصوں کی وجہ سے کلک ریٹ 15 فیصد سے گھٹ کر 8 فیصد ہو گیا۔ robots.txt اور مواد کے بدلے ٹریفک کا ماڈل برقرار رکھنا مشکل ہو رہا ہے۔ مقدمات اور نجی اجازت نامے صرف عارضی حل ہیں۔ درخواست کے لحاظ سے ادائیگی کو بند مارکیٹ (کلید والے) اور کھلے پروٹوکول جیسے x402 اور MPP (HTTP 402 اور سٹیبل کوائن استعمال کرتے ہوئے) میں تقسیم کیا جاتا ہے۔ زیادہ تر ویب سائٹس اب بھی مفت فراہم کرتی ہیں یا بلاک کردی جاتی ہیں۔