chinois02 Bonjour, Je suis tombé par hasard sur le fichier robot.txt d'un grand journal francophone (fichier sous la forme suivante: https://www.nom-du-journal.fr/robots.txt ) es-ce anormal? (dans ce cas là je signale l'accès au fichier au journal)
chinois02 je me réponds à moi même: ce genre de fichier doit sans doute être toujours public car c'est la même chose pour les journaux concurrents.
pierrecastor Salut, Ce genre de fichier est par définition public, vu que c'est lui qui va dire au moteur de recherche quoi indexer sur le site. https://www.commentcamarche.net/contents/1268-robots-txt
