Google XXL: Un fichier Robot.txt dans Blogger
Google XXL

Un fichier Robot.txt dans Blogger

Plan SiteMap pour Blogger

Un récent papier de mon cher confrère TomHTML le signale. Il est question dans cet article de l'ajout systématique de l'emplacement du fichier Sitemap.xml dans le fichier Robot.txt de chaque Blog hébergé sur Blogger. La syntaxe du fichier est celle-ci :

User-agent: *
Disallow: /search
Sitemap: http://googlexxl.blogspot.com/feeds/posts/default?orderby=updated

En voici un exemple : http://googlexxl.blogspot.com/robots.txt.
Sinon, accédez à Google Outils pour les Webmasters.
Cliquez sur le nom de votre Blog puis sur le lien robots.txt analyse.
Vous pouvez vous servir du lien présent ou voir son contenu qui est affiché dans la partie inférieure de la fenêtre.
Vous remarquerez, par ailleurs, que le fichier Robot.txt restreint les pages de libellés.
Vous n'avez donc plus à vous préoccuper de générer un plan Sitemap dans Google Outils pour Webmasters. Blogger se charge de tout !
Rappelons qu'un fichier Sitemap dresse la liste de toutes les pages d'un site. C'est généralement un fichier XML qui permet aux robots de "crawler" plus rapidement et efficacement un site. Google, Yahoo, Live Search, Ask.com et Exalead se sont mis d'accord sur une norme commune de plan "SiteMap". Il suffit dans ce cas de signaler son adresse URL dans le fichier Robot.txt comme dans l'exemple précédent.

9 commentaires:

  TOMHTML

30 juillet 2007 à 22:30

Merci cher confrère ^^

  Jean-Noël Anderruthy

31 juillet 2007 à 00:22

Non, non ! Pas de remerciement : c'est un prêté pour un rendu :-)

  dbX

2 janvier 2008 à 09:53

Bonjour et bonne année !!!
Alors j'ai un souci concernant mon "robots.txt".
Dans ma "vue d'ensemble" de Google Webmaster Tools, il me met 404(introuvable) pour l'URL de mon blog (blogspot). J'ai également des URL restreintes par "robots.txt". A votre avis que ce passe-t-il ? Ai-je mal placer le code du "robots.txt" dans celui de mon blog ?

  Jean-Noël Anderruthy

2 janvier 2008 à 12:56

"il me met 404(introuvable) pour l'URL de mon blog (blogspot)" : l'url que ous avez indiquée n'est pas correcte !
"J'ai également des URL restreintes par "robots.txt" : oui mais si l'URL indiquée précédemment est fausse...
"Ai-je mal placer le code du "robots.txt" dans celui de mon blog" : vous n'avez rien à faire si vous êtes hébergé sur Blogspot...
A mon sens, vous avez fait ne fausse manipulation quelque part...

  Kathy

26 février 2008 à 19:59

Bonjour

dans la case "Tester les URL" il y a l'URL de la page d'accueil de mon bog.
doit on ajouter les URL de tous les messages du blog ou celle de la page d'accueil suffit elle?
merci par avance
j'ai remarqué que très peu de messages de mon blog étaient indexés par google

  Kathy

26 février 2008 à 19:59

j'ai oublié de préciser que ça concerne mon blog sur la birmanie, l'autre est très bien indexé

  Jean-Noël Anderruthy

26 février 2008 à 23:09

Que la page d'accueil de votre Blog.
C'est vrai que la commande site: renvoie un nombre de pages ridicule !
Tel quel, ça donne l'impression que Google vient juste de découvrir que le site existe.
Soumettez un plan Sitemap et soyez patiente (c'est une question de quelques mois). Enfin, le choix d'une plate-forme comme Blogspot n'est pas le meilleur choix loin de là en terme de référencement : il vaut mieux posséder son propre nom de domaine.

  France-Maghreb Economie :

15 octobre 2008 à 09:08

france-maghreb.blogspot.com

Bonjour, Après le passage de googlebot, mon site à perdu un grand nombre de visiteurs. Il est passé de la 5 éme à la 110 place dans l'annuaire google.

Est-ce normal ?
Que puis-je faire pour remédier à ça ?
J'ai envoyé un sitemap sur outils pour webmasters avec l'adresse de plus de 300 URL, Seulement 25 ont été traitées.
Par ailleurs, j'ai des url qui sont à accès restreints. Sont elles responsables de ce problème.
Mon site est plus difficile à trouver sur google.
Les mots clès ne font plus le mème effet qu'avant .

Merci pour le coup de main d'avance.
FME

  Jean-Noël

15 octobre 2008 à 13:29

Tout d'abord quelques remarques :
Un blog sur Blogspot c'est vraiment pas la meilleure manière d'être correctement référencé par Google.Je vous conseille une bscule evrs un nom de domaine en propre et l'utilisation de Wordpress.
Concernant la question de savoir si le fait qu'il existe des URLs restreintes empêche un référencement correct du site : je n'en sais rien !
Je crois que cela vaudrait aussi le coup de mieux structurer vos articles avec des balises de titre.
Le total des pages les plus pertinentes indexées dans Google est de 241 pages. Je ne sais pas si ce chiffre correspond au nombre de pages effectivement publiées. Mais, ce que je veux dire par là, est que les données présentes dans les outils pour webmasters ne sont pas toujours immédiatement mises à jour. D'où l'indication fausse qui est visible actuellement.
Enfin, vous pouvez avoir une sorte de reflux de visites qui va durer une semaine ou deux puis, après que Google ait finit de digérer, un retour à la normale.
POur l'instant, je m'inquièterais pas !
Enfin, j'ajoute qu'il n'y a pas d'images sur votre blog alors que Google Images c'est, sans faire trop d'efforts, au moins 10 visiteurs par jour. Pourquoi s'en priver ?
Si vous avez d'autres questions, utilisez l'adresse e-mail située en bas de la page du site. Notez aussi que je ne suis pas un cador en référencement !