Googlebot : spider à vitesse variable

Par Olivier Ffrench, samedi 21 juillet 2007 à 18:33 :: General :: #56 :: rss

Plusieurs blogs de référenceurs émérites se sont récemment faits l'écho d'un phénomène surprenant : Google aurait entrepris d'indexer de nouveaux contenus en quelques heures, voire quelques dizaines de minutes. C'est peut être le cas pour une petite quantité de sites populaires, mais c'est loin d'être généralisé.

Voici les posts que j'ai relevés qui mentionnent "l'indexation express" de Google :
Google : aussitôt publié, aussitôt indexé sur le blog de Sébastien Billard
Il est frais mon spider, il est frais ! sur le blog d'Abondance
Google passe au référencement en temps réel ! sur le blog de 1ere Position
Certains des commentaires sur ces posts indiquent que d'autres personnes ont fait les mêmes observations.

Le problème c'est que sur certains des sites que je gère, je n'ai pas du tout constaté cela. Google ne semble pas indexer en quelques heures, mais plutôt en quelques jours ! Le dernier post fait sur ce blog date du 19 juillet. Nous sommes le 21, il n'est pas indexé par Google dont la dernière visite sur la homepage des Carnets de Référencement date du 15 juillet.

Fraîcheur des pages selon les moteurs

Sur un de mes sites, j'utilise une petite astuce pour repérer les dates d'indexation des robots et la fraîcheur de leurs informations : une date serveur présente sur toutes les pages. Il me suffit par la suite de faire taper une commande site:monsite.tld +"une date" pour voir le nombre de pages indexées ce jour là. Voici les chiffres pour ces derniers jours sur Google, Yahoo et MSN.

Date	Google	Yahoo	MSN
21/07/2007	0	0	0
20/07/2007	0	3	2
19/07/2007	1	1	6
18/07/2007	26	14	18
17/07/2007	20	2	14
16/07/2007	23	24	5
15/07/2007	37	15	17
14/07/2007	42	30	24
13/07/2007	29	34	9

Comme on peut le voir, Google est plus régulier que Yahoo et MSN. Il capture entre 20 et 40 pages sur le site tous les jours. Par contre, il faut 2 ou 3 jours pour qu'elles apparaîssent dans les SERPS. Yahoo et MSN sont plus rapides d'une journée pour la publication dans l'index.

Vitesse d'indexation variable sur Google ?

Si Googlebot est moins rapide que MSN et Yahoo sur ce test comment se fait-il qu'il soit capable d'indexer des posts en quelques heures ?
Il y a plusieurs réponses possibles à cette question, mais la plus probable est que Google favorise certains sites. Les blogs qui ont pu voir leurs articles indexés en quelques heures ont un PR de 5 ou 6. Le site sur lequel je pratique mes tests à un PR de 4. Idem pour le blog sur lequel vous lisez ces lignes. Il serait logique que le PageRank (ou le TrustRank) influe sur la fréquence et la profondeur du crawl. Mais ce n'est probablement pas le seul facteur. Le dernier post du blog (PR7) de Fred Cavazza n'est toujours pas indexé près d'une journée après sa publication. Mais que fait donc Google ?

Commentaires

1. Le lundi 23 juillet 2007 à 10:03, par Julien

J'ai effectivement moi aussi lu ces 3 articles, mais je n'ai malheureusement constaté aucun de ces phénomènes sur les 300 sites dont je m'occupe :-(

Toujours est-il que si Google venait à accélérer le processus d'indexation des pages, ce serait vraiment vraiment une très bonne chose!

2. Le lundi 23 juillet 2007 à 11:08, par Patrice

Je suis étonné de ces remarques sur la rapidité, ou lenteur, d’indexation des blogs.
Mon récent blog, qui ne connaît pas encore beaucoup de trafic, est cependant réindexé en quelques minutes. Ce blog date de moins de 3 mois et n’a d’ailleurs pas encore de PR attribué. Il est vrai que, quelques minutes après un post, c’est le contenu de la ‘nouvelle’ page d’accueil qui apparaît dans les résultats de Google. Ce n’est qu’après, disons 24 heures, que le nouvel article de mon blog apparaît également sur la même requête.

3. Le lundi 23 juillet 2007 à 11:34, par Kilroy

Mise à jour : Google à réindexé la home de ce blog le 19/07. Ca n'est apparu dans les SERPs (sur la commande site:) que le 22 ou le 23. Il y a donc toujours le même décalage de quelques jours.
Si pour vous c'est plus rapide, ça serait intéressant de savoir si, par exemple, vous pinguez Google Blogsearch systématiquement à la mise en ligne d'un post.

4. Le lundi 23 juillet 2007 à 14:48, par Patrice

Oui, un ping des principaux moteurs de recherche sur les blogs est automatiquement réalisé lorsque je mets en ligne un nouvel article. Ce pourrait bien être une raison pour cette rapidité d’indexation.

5. Le lundi 13 août 2007 à 19:35, par Al-Kanz

Copie d'écran avec la mention "il y a 8 minutes" : img522.imageshack.us/img5...

6. Le lundi 13 août 2007 à 19:54, par Kilroy

Impressionnant.
Sur un site PR3 et dans les résultats généraux. Il me reste à voir comment obtenir ce type de résultat, parce que même en pingant à chaque modif, ça ne fonctionne que sur BlogSearch.

7. Le jeudi 20 mars 2008 à 11:35, par Voyance

Le referencement en temps réel est actif uniquement pour les sites - forums bien reconnus par google, avec generalement un pr5 au minimum

Carnets de référencement