Google XXL: Se faire passer pour le GoogleBot
Google XXL

Se faire passer pour le GoogleBot

J'ai un peu hésité avant de rédiger cet article car je n'ai pas vraiment trouvé d'exemple concret me permettant de me dire : "Ah, tiens ! Voici un truc utile !" Néanmoins, à défaut de vous permettre d'accéder à des sites payants, vous apprendrez quelques trucs concernant la confidentialité de vos faits et gestes sur le Web... Ca doit être un phantasme inavoué de tout internaute : devenir une sorte de dieu doué d'omniprésence et d'omniscience. Justement, il y a eu beaucoup d'articles dans la Blogosphère cherchant à prouver (de manière plus ou moins distanciée) que Google était "Dieu". De là, à vouloir s'affranchir de son enveloppe numérique et à se déguiser en "GoogleBot", il n'y avait qu'un pas. Un Blog appelé "theGoogleCache" a fait récemment le point sur les méthodes vous permettant de vous faire passer pour le robot Google ("Spider"). Le but de la manœuvre est de vous permettre d'accéder à des sites nécessitant une identification alors même que l'accès est laissé libre aux robots des moteurs de recherche. La méthode complète nécessite pas moins de 5 "Hacks" (employés tous à la fois…). C'est, de plus, beaucoup plus simple d'utiliser Mozilla Firefox puisque les extensions conçues pour ce navigateur ou, tout simplement, sa grande souplesse de paramétrage vont faire tout le boulot à votre place :

IP Delivry : c'est le nom d'une technique qui permet de personnaliser les pages de résultat en fonction de votre adresse IP. Afin d'éviter cette détection, utilisez un serveur Proxy en ligne.

User-Agent Cloaking : un "User-Agent" est une application cliente utilisée avec un protocole réseau particulier. Chaque moteur de recherche et chaque version des navigateurs possèdent son propre "User-Agent" afin de faciliter leur identification. Le Cloaking consiste à présenter aux moteurs de recherche des pages différentes de celles que l'on affiche pour les internautes. Cela permet d'améliorer artificiellement le référencement d'une page. La technique décrite ici consiste à changer son "User-Agent" en utilisant une extension appelée "User-Agent Switcher".
Ouvrez ensuite les options de cette extension.
Ajoutez cet "User-Agent" :
Description : Googlebot 2.1 (New version) ;
Useragent : Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).
Les autres zones de texte n'ont pas besoin d'être renseignées. Notez qu'un fichier XML complet est téléchargeable sur le site de "Techpatterns".

Détection Javascript : il faut désactiver toute application Javascript en utilisant cette astuce :
  1. Dans les options de Mozilla Firefox, cliquez sur le bouton Contenu.
  2. Décochez la case Activer JavaScript.

Détection des cookies : toujours dans les options de Mozilla Firefox, cliquez sur Outils - Options puis sur le bouton Vie privée.
Décochez la case Accepter les cookies.

Détection du référent : cette technique sert à déceler quel est le site (référent) qui a permis à l'internaute de visiter tel autre site. Une manière de désactiver cette détection automatique est d'utiliser cette extension : "RefControl".
Dans les options de "RefControl", cliquez sur le bouton Éditer puis cochez le bouton radio Blocage - ne pas envoyer de referer.
Il existe une autre technique :
  1. Dans la barre d'adresses, saisissez : about:config.
  2. Dans la zone de texte Filtre, copiez ce nom d'option : network.http.sendRefererHeader.
  3. Tapez comme valeur le chiffre 0 (à la place du 2).
Voilà pour les fans de la sécurité tout azimut ! N'oubliez pas tout de même que cela peut être en contradiction avec les conditions d'utilisation des sites que vous pourrez visiter. Aussi, soyez vigilant !

2 commentaires:

  MozoFok

24 mai 2010 à 16:46

Le truc utile, par exemple, c'est que les spoilers des forums, réservés aux inscrits, sont contournés, ça évite de devoir s'inscrire à chaque fois, vu que la plus part des forums le compte comme inscrit ;)

Merci pour cet article !

  Jean-Noël Anderruthy

30 mai 2010 à 19:19

Merci pour ce petit mot et, pour ceux qui lisent ce commentaire, profitez-en pour visiter le site de l'ami Mozofok : Perles et Citations.