
OpenAI, Google, Microsoft и Anthropic будут соблюдать одну общую строку «no ai training» в файле robots.txt. Anthalic уже это делает, OpenAI — в ближайшие месяцы, остальные два — в следующем году. Meta сказала, что поддерживает это, но не сообщила, что будет соблюдать, lol. Мой файл robots.txt взят из поста на StackOverflow