@Phigger Je maintiens que ce robots.txt est tout à fait ridicule, et qu'il présente le User-Agent: de manière tout à fait erronée.
(J'ai vu depuis que c'était une mauvaise traduction d'un texte en anglais presque aussi ridicule mais qui est utilisé dans d'autres robots.txt.)
Conversation
Notices
-
Stéphane Bortzmeyer (bortzmeyer@mastodon.gougere.fr)'s status on Wednesday, 27-Nov-2019 08:10:09 EST Stéphane Bortzmeyer