Le fichier « robots.txt » est un fichier texte utilisé sur les sites web pour donner des instructions aux moteurs de recherche concernant les pages ou sections à explorer ou à ignorer. Il permet de contrôler l’accès des robots d’indexation aux différentes parties du site, afin de préserver la confidentialité ou d’éviter l’indexation de contenu non pertinent. Ce fichier doit être placé à la racine du site et est respecté par les moteurs de recherche qui suivent les règles définies.
« Retour à l'index du GloquisertRobots.txt
« Back to Glossary Index
