メタのAIクローラー、第2四半期に91億リクエストを送信し、サーバーアラームを発動

動的監視によるBeating監視によると、Metaは自社のAI検索用にウェブページを急激にスクレイピングしている。独立開発者Pieter Levelsは、今週Metaが自身が運営する複数のウェブサイトに対して高頻度でスクレイピングを実施しており、そのうち1台のVPSは複数回負荷アラートを触发したと報告している。DataDomeの統計によると、2024年第2四半期にMetaの2つのAIクローラーは合計91億回のリクエストを発信した。検索インデックス構築を担当するMeta-WebIndexerは、単四半期で163%増加し、6月にはトレーニング用クローラーのリクエスト数を初めて上回った。Metaは2024年から自社検索エンジンを構築し、Meta AIがGoogleやBingへの依存を減らそうとしていると報じられている。現在、この検索インデックスの拡張が明確に加速しているが、このような高強度のスクレイピングは、ウェブサイトに実際のユーザーをほとんどもたらしていない。Metaの従業員が密かに漏らした情報によると、同社は自社の「Google」を構築し、AI検索リクエストをGoogleに委ねて、Googleにそのデータを再利用されてトレーニングされるのを避けたいという。この情報は現在のところ匿名のリークにとどまっており、Metaによる公式確認は得られていない。