Wordpress : comment optimiser son fichier robots.txt pour les crawlers

Web

Comme tout CMS, Wordpress a besoin d’un certain nombre de fichiers de “fonctionnement”, qu’il vaut mieux cacher des crawlers afin d’éviter qu’ils se retrouvent sur les moteurs de recherches, et que via une requête bien ficelée, des potentiels hackers trouvent facilement quels sites laissent ouverts certains de leurs dossiers.

Bien sûr, veillez à mettre ce fichier à la racine de votre blog : www.monsite.fr/robots.txt

[sourcecode] User-agent: * # On empêche l’indexation des dossiers sensibles Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? # On autorise l’indexation des images Allow: /wp-content/uploads User-agent: Googlebot # On empêche l’indexation des fichiers sensibles Disallow: /*.php$ Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /*.gz$ Disallow: /*.swf$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ # Autoriser Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Autoriser Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # On indique au spider le lien vers notre sitemap Sitemap: http://www.geekpress.fr/sitemap.xml [/sourcecode]

Source

3 réflexions au sujet de « Wordpress : comment optimiser son fichier robots.txt pour les crawlers »

  1. mais il ne faut pas oublier de maintenir à jour sa version de WordPress, ne pas rester avec une version vieillot, qui augmente le risque de se hacker, pirater considérablement, il faut à l'heure d'aujourd'hui si son hébergeur a PHP5.2, Mysql5 être sous WordPress 3.5, pareil pour les plugins toujours à jour , et si on ne veut pas se prendre la thème, un thème récent ainsi il sera bien compatible avec la version de WordPress, de plus aujourd'hui on a des thèmes responsives, idéal pour les visiteurs en smartphones ou tablettes numériques .
    S'occuper d'un site ne se limite pas à installer un CMS puis à faire des articles, si on n'a juste l'ambition d'écrire des articles alors on prend un blog chez worpdress.com cela suffit.

  2. je viens de voir que c'était une simple copie de l'article de geekpress.
    Le site SEOMIX avait donné aussi sa version de robots.txt
    http://www.seomix.fr/robots-txt-wordpress/
    et bien sûr ne pas oublier le codex
    http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress#Robots.txt_Optimization

Les nouveaux commentaires sont désactivés sur cette version statique du blog.