Carnets de référencement

Gestion de l'indexation

Gérer l'indexation, c'est veiller à ce que les moteurs de recherche puissent accéder à tous les documents pertinents d'un site, les encourager à recapturer les pages régulièrement et les empêcher de capturer les zones du site qui doivent rester cachées.

mardi 27 octobre 2009

Les pièges à robots ou spider traps

Il existe des configurations de site qui rendent le travail difficile pour les robots des moteurs de recherche et les empêchent de crawler. Dans d'autres cas, c'est l'inverse. Ce type de site présente une liste apparemment dans fin de documents avec des URLs toutes différentes : un véritable piège à robots !

Lire la suite

mercredi 15 juillet 2009

Quand GoogleBot s'énerve

Cela fait plusieurs fois que je des similitudes troublantes en comparant les données du Google Webmaster Central concernant le crawl sur les sites de mes clients. GoogleBot semble mettre les bouchées doubles certains jours... les mêmes pour de nombreux sites.

Lire la suite

jeudi 5 juillet 2007

Optimiser le rapport signal / bruit d'un site web

Gérer l'indexation d'un site, ce n'est pas seulement faire en sorte que les moteurs puissent en indexer une intégralité. Il est souvent nécessaire de circonscrire leur activité à certaines pages seulement.

Lire la suite

Clicky Web Analytics