Définition Robots.txt

Robots.txt est un fichier texte placé à la racine d’un site web qui permet de donner des instructions aux robots ou spiders des moteurs de recherche.

L’utilisation du fichier robots.txt permet par exemple d’indiquer aux robots ou à une sélection de robots de ne pas indexer certaines rubriques (répertoires) d’un site web.

Le fichier robots.txt permet également de limiter éventuellement la fréquence d’indexation pour économiser les ressources serveurs ou même de "s’opposer" à l’indexation du site.

Dans l’exemple de contenu ci-dessous, le fichier robots.txt demande au robot d’indexation de Yahoo (user agent slurp) de ne pas indexer le site et demande aux autres robots d’ignorer les contenus du répertoire images.

User-agent : Slurp Disallow : / User-agent : * Disallow : Disallow : /images/