Le robots.txt

Vous placez le fichier robots.txt dans votre directory www.   

Donc www.votredomaine.fr/robots.txt est LE endroit où il faudra le mettre. Ce fichier montre jusqu'à quel point les moteurs de recherche peuvent chercher sur votre site.

Par exemple, vous préférez éviter qu'un spider d'un moteur de recherche tombe sur une valise comme "clients" ou sur une valise qui s'appelle "images".

Un robots.txt peut être ainsi:

User-agent: *
Disallow: /setup/
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /photos/
Disallow: /dealers/

Parfois les moteurs de recherche demandent d'ajouter une phrase dans ce fichier. Voici un exemple:

Allow: spider-xyz

Intégré tous les astuces dans votre site web? Utilisez dès maintenant notre service d'inscription