Le fichier d'exclusion des robots est un fichier au format texte, placé à la racine de votre site. Il permet d'indiquer les ressources qui ne doivent pas être prises en compte par les robots.

Ce fichier permet d'indiquer aux moteurs de recherches :

- Des parties de votre site qui ne doivent pas être accessibles depuis les moteurs de recherches.
- D'éviter le « duplicate content » : Il s'agit de contenu dupliqué comme la version imprimable de vos articles.

Extrait de fichier robots.txt :
User-agent: *
Disallow: /*print=1$
Disallow: /admin/

Le « duplicate content » est sanctionné par les moteurs de recherches, c'est pour cette raison qu'il est préférable de le leur signaler. Si vous utilisez Google Sitemaps vous pourrez voir les liste des URLs ignorés grâce à ce fichier.

Vous n'avez pas la main sur ce fichier, vous ne pouvez ni le modifier ni le supprimer.