
Ang OpenAI, Google, Microsoft at Anthropic ay magpapahalaga sa isang karaniwang "hindi pag-train sa AI" na linya sa robots.txt. Nagagawa na ng Anthropic, ang OpenAI ay "sa mga darating na buwan", at ang dalawang iba pa ay susunod na taon. Sinabi ng Meta na sumusuporta dito, ngunit hindi nagbigay ng pagpapatupad lol. Ang aking robots.txt ay galing sa isang post sa StackOverflow