मेटा का AI क्रॉलर द्वितीय तिमाही में 9.1 अरब अनुरोध भेजता है, सर्वर चेतावनियाँ जगाता है

Beating मॉनिटरिंग के अनुसार, Meta अपने AI सर्च के लिए वेबसाइट्स को भारी रूप से स्क्रैप कर रहा है। स्वतंत्र डेवलपर Pieter Levels ने कहा कि इस हफ्ते Meta ने उनकी कई वेबसाइट्स पर उच्च आवृत्ति से स्क्रैपिंग की, जिससे एक VPS पर कई बार लोड अलर्ट ट्रिगर हुआ। DataDome के आंकड़ों के अनुसार, 2024 के दूसरे तिमाही में, Meta के दो AI क्रॉलर ने कुल 91 अरब अनुरोध भेजे। इनमें से सर्च इंडेक्स बनाने के लिए जिम्मेदार Meta-WebIndexer ने एक तिमाही में 163% की वृद्धि की, और जून में इसका अनुरोध संख्या प्रशिक्षण क्रॉलर को पार कर गया। 2024 में ही Meta को अपना सर्च इंजन विकसित करने की सूचना मिली थी, ताकि Meta AI Google और Bing पर निर्भरता कम कर सके। अब यह सर्च इंडेक्स स्पष्ट रूप से तेजी से विस्तार कर रहा है, लेकिन इतनी उच्च गति से स्क्रैपिंग करने से वेबसाइट्स को वास्तविक उपयोगकर्ता प्राप्त नहीं होते। Meta के एक कर्मचारी ने प्राइवेट मैसेज में सुझाव दिया कि कंपनी 'Google' का स्वयं का संस्करण बनाना चाहती है, ताकि AI सर्च अनुरोध Google को सौंपने की आवश्यकता न हो, जिससे Google पुनः प्रशिक्षण के लिए प्रयोग कर सके। यह पहलू अभी केवल अज्ञात स्रोतों से सामने आया है, Meta द्वारा पुष्टि नहीं की गई है।