L’importance du fichier robots.txt en SEO

robots-txt

robots-txt

Le fichier robots.txt est un fichier texte utilisé en SEO. Il est destiné aux robots d’indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l’exploration d’un site web en cherchant le fichier robots.txt à la racine du site.

Malgré cela, l’importance du fichier robots.txt est parfois sous-estimée. Voici cependant une information importante à ce sujet. Un employé de Google vient en effet d’indiquer que si votre site dispose d’un fichier robots.txt, et que ce dernier n’est pas lisible par Google (donc si le code http renvoyé n’est ni 200 ni 404), alors le robot cessera tout simplement de crawler le site.

N’oubliez donc pas de vérifier si votre fichier renvoi bien un code 200. Notez que, si vous n’en avez pas, cela ne posera pas de problème spécifique (code 404).  Votre site sera ainsi entièrement lisible par l’ensemble des différents robots des différents moteurs.

Source : Search Engine Roundtable