Google prend-il vraiment en compte votre robots.txt ?

Titre un peu racoleur mais sans faire de raccourci trop généralisé, voici un exemple intéressant du comportement de Google vis-à-vis du robots.txt.

Par définition, le robots.txt d’un site, placé à sa racine, doit informer les moteurs de recherche des pages et/ou sections de site qui ne sont pas censées être indexées. Par convention, les robots tels que GoogleBot ou BingBot consultent robots.txt avant d’indexer un site Web.

Testons quelques requêtes sur Google.fr.

Essayons “portable sony ericsson”, requête plutôt mid-tail (1900 requêtes en “exact” sur selon Google Keyword External Tool), fort potentiel ecommerce…etc.

Tiens, tiens, le premier résultat appartient bien au site officiel de Sony Ericsson mais apparaît sans title défini et sans meta description. Google aurait-il “forcé” son apparition?

Un petit tour sur la page et une belle “erreur technique” apparaît. Expérience utilisateur nul. Sony avait bien pris toutes ses précautions en bloquant cette page mais big G en a décidé autrement et a préféré rediriger l’internaute vers une page moisie.

Allons faire un tour dans le robots.txt de ce sous-domaine :

Intéressant, selon ce robots.txt, que GoogleBot est censé suivre à la lettre, tous les répertoires de shop.sonyericsson.com devraient être bloqués et non indexés. En théorie.

Il n’en est donc rien, puisque GoogleBot va tranquillement crawler et indexer les pages de ce sous-domaine et, cela est plus embêtant, les placer en tête de liste des SERPS.

Un exemple ne vaut pas généralité mais j’en ai bien d’autres de la sorte à vous proposer si vous souhaitez.

Google indexe et positionne donc des pages bloquées dans le robots.txt… Avez-vous déjà rencontré ce genre de phénomène? La meilleure solution reste semble-t-il donc le “noindex” dans le header assiociée à une suppression manuelle depuis Google Webmaster Tools.

Le site du navigateur Chrome pénalisé par… Google !

Le site Google Chrome (http://www.google.com/chrome) avait récemment été attrapé par la patrouille pour avoir effectué des achats de liens sous forme d’articles sponsorisés.

Une petite recherche sur Google comme celle-ci vous permettra sans mal de retrouver certains de ces articles sponsorisés.

Google serait passé par deux agences de webmarketing (Essence Digital et Unruly) qui auraient lancé ces campagnes sans réel suivi de la part de Google.

Voici ce que Google a concrêtement communiqué sur la pénalité du site Google Chrome : “We’ve investigated and are taking manual action to demote www.google.com/chrome and lower the site’s PageRank for a period of at least 60 days. En gros, le PageRank du site Google Chrome serait dévalorisé pendant deux mois.

On connait de plus en plus l’inutilité, ou du moins la non-précision de cet outil de mesure.

Néanmoins, il semble que le site n’apparaît plus du tout sur certaines requêtes comme “web browser” ou encore, et c’est bien plus contraignant “Google Chrome” :

Plusieurs choses me gênent dans cette action :

-Google persiste chaque année à dire que le PR n’est pas révélateur de la popularité d’un site et de sa visibilité sur son moteur. Quel est donc le but de cette décision?

-Google indique que la pénalité durera 30 jours : aucun site qui a été pénalisé par Google dans son index n’a eu d’informations sur la durée de pénalité. Pourquoi ce traitement de faveur? Que doit-on en conclure? Serait-ce la même durée à envisager pour un autre site autre que Google?

-Que Chrome n’apparaisse pas lorsque l’on recherche “web browser” ou “browser”, pourquoi pas. Néanmoins, pourquoi déclasser (blacklister?) le site sur la requête de la marque “Google Chrome”? Google préfère que les internautes soient redirigés vers des sites de téléchargement hyper optimisés SEO avec un max de pub? Je ne comprends pas trop ce choix.

-Ne serait-ce pas enfin un gros coup de pub de Google pour Chrome mais aussi et surtout pour son algo afin de montrer que big G est prêt à pénaliser n’importe qui, y compris son propre domaine?

A voir dans 60 jours ou avant si la pénalité est levée sur certaines requêtes et si le PR revient.

PS : Google n’en est pas à son premier coup d’essai puisqu’en 2009, le moteur américain avait pénalisé son site japonais pour les mêmes raisons.

Nouvel algo Google : 35% des requêtes impactées pour plus de fraîcheur

Notre meilleur ami Google, moteur de recherche numéro un dans le monde, vient d’annonce la mise à jour de son algorithme de recherche.

Attention à ne pas confondre 35% des requêtes avec 35% des mots clés ! Ce qui est sensiblement bien différent.
Ce nouvel algorithme a été mis en place grâce notamment à l’architecture Caffeine de 2010 qui permet le crawl massif de nouveaux contenus, plus frais.
Google va donc décider d’afficher des résultats récents (articles, news…etc) sur des requêtes bien spécifiques, généralement très génériques ou répondant à des noms de célébrités ou évènements par exemple.

La fraîcheur d’une page va donc être primordiale pour le classement de celle-ci sur le moteur. Cette fraîcheur correspond simplement à la date et l’heure à laquelle le moteur a découvert le document pour la première fois. Même si une mise à jour a lieu sur le contenu, cette date n’en sera pas modifiée.

Quelques types de requêtes qui risquent d’être impactés :
- “football” : requête très générique où de plus en plus de contenu frais sont nécessaires avec les derniers résultats de matches ou transferts.
- “roland garros” : requête évènementielle en plein tournoi qui fera apparaitre les tous derniers articles à ce sujet
- “brad pitt” : les dernières infos sur une célébrité, tournages, photos, films, interviews..etc.

On ne sait pas non plus sur quel(s) index Google va déployer ce nouvel algo. Il est certain que l’index US sera visé en priorité mais on n’en sait pas plus sur le reste du monde et particulièrement la France.

Concrètement, comment cela va se caractériser dans les résultats du moteur.

Google va simplement afficher de manière plus massive des liens vers les pages “fraîches” qui répondent à la requête. Quelques exemples ci-dessous déjà en live mais qui vont probablement devenir plus importants avec cette nouvelle annonce.

Google Wallet : nouveau système de paiement mobile

Google vient d’annoncer le lancement de Google Wallet (voir le site officiel), système de paiement mobile. L’occasion est bien
belle pour Google d’enregistrer votre numéro de carte bleue (si ce n’est pas déjà fait), vos billets de spectacle et même votre permis de conduire. L’idée de ce service est de pouvoir payer des produits dans des magasins directement avec votre téléphone mobile.

Google Wallet sera intimement associé à Google Offers, le Groupon-like de Google.

Ce système fonctionne avec le système de MasterCard PayPass qui est notamment utilisé chez plus de 300000 marchands physiques.
google_wallet

Google Advisor ou les premiers pas de Google dans la finance

Après Google Product concurrençant directement les comparateurs de prix tel Kelkoo, LeGuide ou Twenga, le moteur de recherche Google se lance dans la comparaison de produits financiers. Google Advisor, disponible uniquement aux Etats-Unis pour le moment, permet à l’utilisateur de comparer les prêts et autres produits financiers…
google_advisor

google_advisor2

Google Advisor permet de comparer de nombreux produits financiers : prêts immobiliers, cartes de crédit, comptes épargne…etc.

Le chemin pris par Google dans ce secteur sera-t-il similaire à celui entamé dans le e-commerce vis-à-vis des moteurs de shopping et des comparateurs de prix? Avec la dernière mise à jour de l’algorithme de Google Search intitulé “Panda”, de nombreux comparateurs ont notammenjt perdu jusqu’à 50% de trafic naturel du jour au lendemain.

La concurrence est rude dans ce secteur financier sur Internet et il y a fort à parier que, malheureusement pour ces actuers déjà établis, Google devienne un de leurs plus sérieux concurrents.

Voici la vidéo de présentation de Google Advisor :

Le service Google Shopping lancé en Espagne

Après les Etats-Unis, le Royaume-Uni, l’Allemagne, la France, la Corée, la Chine et le Japon, Google vient de lancer sa plateforme de shopping en Espagne !

Google Shopping permet notamment de comparer les prix de nombreux produits et d’être redirigé vers les marchands partenaires pour effectuer l’achat.

L’internaute peut se rendre directement sur http://www.google.es/shopping/ ou rentrer sa requête dans Google Search classique et cliquer sur le lien “Shopping” sur la gauche.

google shopping
google shopping

Google Shopping apparait à chaque pénétration dans un marché comme un concurrent de taille pour tous les comparateurs de prix et autres moteurs de shopping.
De plus, Google a récemment mis à jour son algorithme de recherche avec “Panda” qui n’a certainement pas échappé à tous SEO à la recherche d’information sur le géant américain. Panda a été déployé sur les US courant Mars puis au UK courant Avril.

Le but de cette mise à jour “Panda” (du nom d’un ingénieur chez Google en charge de ce projet) est de mettre en avant le contenu de qualité et à contrario de rétrograder les sites de « mauvaise qualité ».

Il semblerait qu’il ne soit qu’une question de semaines avant que cette mise à jour qui fait trembler bon nombre de webmasters arrive sur les territoires français, allemands ou espagnols. L’arrivée de Google Shopping en Espagne ne serait-elle pas d’ailleurs un signe avant-coureur de cette prochaine mise à jour.
Toujours est-il que cette mise à jour sera déployée un jour ou l’autre sur la France et les autres pays majeurs européens et que chaque webmaster doit se préparer à arrivée.

A noter que Google n’a pas encore lancé son service Shopping en Italie ni aux Pays-Bas.