Générateur de fichier robots.txt

Optimisation du référencement pour les moteurs de recherche (SEO)

Générateur de fichier 'robots.txt'


Tous les robots sont :  
    
Indexation-Délai :
    
Sitemap: (laissez en blanc si vous n'en disposez pas) 
     
Recherche des robots : Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Fichier ou répertoire interdit : Le chemin est relatif à la racine et doit contenir un slash "/"
 
 
 
 
 
 
   



Maintenant, créer un fichier 'robots.txt' à la racine de votre site, copiez le texte ci-dessus et collez-le dans ce fichier 'robots.txt'.


A propos de : Générateur de fichier 'robots.txt'

Vous pouvez facilement créer ou modifier un fichier robots.txt existant pour votre site avec cet outil.

Le fichier robots.txt, à placer à la racine d'un site web, contient une liste de ressources du site qui ne sont pas censées être indexées par les moteurs de recherches. Ce fichier permet également d'indiquer aux moteurs de recherche l'adresse du fichier sitemap.xml du site pour votre référencement.

Par convention, les robots consultent le fichier robots.txt avant d'indexer un site Web. Lorsqu'un robot tente d'accéder à une page web, comme par exemple http://www.mon-super-domaine.fr/page.html, il tente d'accéder en premier lieu au fichier robots.txt situé à l'adresse http://www.mon-super-domaine.fr/robots.txt.

Il n'est pas du tout obligatoire pour un site web d'avoir un robots.txt. S'il n'y en pas, toutes les URL que le robot pourra trouver seront analysées.

Un fichier robots.txt contient un ensemble de règles.

Un exemple :

Sitemap: http://monsite.fr/sitemap.xml   //emplacement du sitemap
User-agent: *     //tous les robots ont l'accès au site
Disallow: /monDossier/     //interdiction d'acceder à ce dossier
Disallow: /page.html    //interdiction d'acceder à cette page