Se faire passer pour le GoogleBot

J'ai un peu hésité avant de rédiger cet article car je n'ai pas vraiment trouvé d'exemple concret me permettant de me dire : "Ah, tiens ! Voici un truc utile !" Néanmoins, à défaut de vous permettre d'accéder à des sites payants, vous apprendrez quelques trucs concernant la confidentialité de vos faits et gestes sur le Web... Ca doit être un phantasme inavoué de tout internaute : devenir une sorte de dieu doué d'omniprésence et d'omniscience. Justement, il y a eu beaucoup d'articles dans la Blogosphère cherchant à prouver (de manière plus ou moins distanciée) que Google était "Dieu". De là, à vouloir s'affranchir de son enveloppe numérique et à se déguiser en "GoogleBot", il n'y avait qu'un pas. Un Blog appelé "theGoogleCache" a fait récemment le point sur les méthodes vous permettant de vous faire passer pour le robot Google ("Spider"). Le but de la manœuvre est de vous permettre d'accéder à des sites nécessitant une identification alors même que l'accès est laissé libre aux robots des moteurs de recherche. La méthode complète nécessite pas moins de 5 "Hacks" (employés tous à la fois…). C'est, de plus, beaucoup plus simple d'utiliser Mozilla Firefox puisque les extensions conçues pour ce navigateur ou, tout simplement, sa grande souplesse de paramétrage vont faire tout le boulot à votre place :

IP Delivry : c'est le nom d'une technique qui permet de personnaliser les pages de résultat en fonction de votre adresse IP. Afin d'éviter cette détection, utilisez un serveur Proxy en ligne.

User-Agent Cloaking : un "User-Agent" est une application cliente utilisée avec un protocole réseau particulier. Chaque moteur de recherche et chaque version des navigateurs possèdent son propre "User-Agent" afin de faciliter leur identification. Le Cloaking consiste à présenter aux moteurs de recherche des pages différentes de celles que l'on affiche pour les internautes. Cela permet d'améliorer artificiellement le référencement d'une page. La technique décrite ici consiste à changer son "User-Agent" en utilisant une extension appelée "User-Agent Switcher".
Ouvrez ensuite les options de cette extension.
Ajoutez cet "User-Agent" :
Description : Googlebot 2.1 (New version) ;
Useragent : Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html).
Les autres zones de texte n'ont pas besoin d'être renseignées. Notez qu'un fichier XML complet est téléchargeable sur le site de "Techpatterns".

Détection Javascript : il faut désactiver toute application Javascript en utilisant cette astuce :

1. Dans les options de Mozilla Firefox, cliquez sur le bouton Contenu.
2. Décochez la case Activer JavaScript.
   
   

Détection des cookies : toujours dans les options de Mozilla Firefox, cliquez sur Outils - Options puis sur le bouton Vie privée.
Décochez la case Accepter les cookies.

Détection du référent : cette technique sert à déceler quel est le site (référent) qui a permis à l'internaute de visiter tel autre site. Une manière de désactiver cette détection automatique est d'utiliser cette extension : "RefControl".
Dans les options de "RefControl", cliquez sur le bouton Éditer puis cochez le bouton radio Blocage - ne pas envoyer de referer.
Il existe une autre technique :

1. Dans la barre d'adresses, saisissez : about:config.
2. Dans la zone de texte Filtre, copiez ce nom d'option : network.http.sendRefererHeader.
3. Tapez comme valeur le chiffre 0 (à la place du 2).

Voilà pour les fans de la sécurité tout azimut ! N'oubliez pas tout de même que cela peut être en contradiction avec les conditions d'utilisation des sites que vous pourrez visiter. Aussi, soyez vigilant !