7 moteurs de recherche en langage naturel

Google est-il le meilleur moteur en langage naturel ?

J'ai eu envie de tester les performances des moteurs de recherche quand on leur pose une requête en langage naturelle à la lecture de cet article d'Edgard Pisani annonçant la disponibilité prochaine d'un moteur appelé Wolfram Alpha. Un commentateur (avisé) signalait alors l'existence d'un moteur que je ne connaissais pas : Start (SynTactic Analysis using Reversible Transformations). Start est rien de moins que le premier moteur de recherche basé sur des questions-réponses et développé, à partir de 1993, par Boris Katz et le groupe InfoLab du " MIT Computer Science and Artificial Intelligence Laboratory".
Voici une sélection de 10 questions qu'il est possible de poser à ce moteur de recherche et ce en langage naturel :
Show me a map of France
List some large cities in France
When was einstein born?
What movies has Alain Delon been in?
Give me the GDP of China
How many languages are spoken in Pakistan?
Who was the eighth president of the United States?
How many ethnic groups exist in cameroon?
What is TCP/IP?
How hot will it be in Paris tomorrow?
Pour ce test, j'ai repris les syntaxes utilisées en modifiant simplement les noms propres qui étaient affichées en exemple.
Voyons maintenant ce que font les autres moteurs de recherche anglophones et, surtout, quelles sont les requêtes qui renvoient, soit un résultat de type "OneBox", soit dans le premier lien trouvé, vers un site particulièrement pertinent… Certaines requêtes ne fonctionnant pas en l'état, j'ai dû les adapter (de manière plus ou moins efficace). Signalons que nous avons déjà publié un article sur les requêtes en langage naturel dans Google France et que les possibilités, même si elles sont moins importantes que celles qu'offrent la version internationale, permettent déjà beaucoup de choses. Les requêtes qui, quelque soit la méthode utilisée, ne renvoient pas vers des résultats probants ont été supprimées…

Google (10/10) :
À partir de la page d'accueil de Google, cliquez sur le lien Google.com in English.
map of France (Recherche universelle)
major cities France
When was einstein born? (OneBox)
Alain Delon movie (OneBox)
GDP of China (OneBox)
How many languages are spoken in Pakistan?
Who was the eighth president of the United States?
ethnic groups cameroon
What is TCP/IP? (OneBox)
weather Paris (OneBox)


Live Search (8/10) :
Notez qu'il faut cliquer sur les liens France puis États-Unis (anglais).
When was einstein born? (résultat dédié)
Alain Delon filmography ou Alain Delon movie (résultat dédié)
GDP of China (résultat dédié)
pakistan language
Who was the eighth president of the United States? (résultat dédié)
How many ethnic groups exist in cameroon?
What is TCP/IP?
weather Paris (résultat dédié)


Yahoo! (http://www.yahoo.com) (9/10) :
map of France (Yahoo! Shortcut)
list of major cities in france
When was einstein born? (Yahoo! Shortcut)
alain delon biography
GDP of China (Yahoo! Shortcut)
languages in Pakistan (Yahoo! Shortcut)
ethnic groups in cameroon (Yahoo! Shortcut)
What is TCP/IP?
weather Paris (Yahoo! Shortcut)


Ask (http://www.ask.com/?o=312) (10/10) :
Show me a map of France (Recherche universelle)
large cities in France
When was einstein born? (Ask Answer)
Alain Delon filmography
Give me the GDP of China (Ask Answer)
languages Pakistan (Ask Answer)
Who was the eighth president of the United States? (Ask Answer)
ethnic groups cameroon (Ask Answer)
What is TCP/IP?
paris weather (Ask Answer)


Powerset (http://www.powerset.com) (5/10) :
When was einstein born?
How many languages are spoken in Pakistan?
Who was the eighth president of the United States?
How many ethnic groups exist in cameroon?
What is TCP/IP?


Hakia (http://www.hakia.com) (8/10) :
Show me a map of France (Recherche universelle)
major cities France
When was einstein born? (Résultat dédié)
What movies has Alain Delon been in?
GDP of China
How many languages are spoken in Pakistan?
Who was the eighth president of the United States?
ethnic groups cameroon (Résultat dédié)


TrueKnowledge (http://www.trueknowledge.com) (9/10) :
Show me a map of France (lien externe)
When was einstein born?
What movies has Alain Delon been in?
Give me the GDP of China
How many languages are spoken in Pakistan? (la réponse n'a pas été trouvée mais la question parfaitement comprise)
Who was the eighth president of the United States?
number of ethnic groups in cameroon (la réponse n'a pas été trouvée mais la question parfaitement comprise)
What is TCP/IP?
Weather paris (lien externe)
Notez que vous devez ouvrir un compte gratuit sur ce moteur.

J'ai réellement eu l'impression que j'avais loupé quelque chose concernant Powerset. Mais, d'après mes critères, c'est le plus mauvais élève de la classe. Par contre, certains des résutats renvoyés par TrueKnowledge m'ont particulièrement impressionné. Vient ensuite ce trio : Ask (mon autre préféré), Yahoo! et Google (très proches en qualité).
Bien entendu, la plupart des moteurs rentrent bredouilles quand on se met en tête de vouloir leur donner des ordres comme "affiche-moi la carte de France". Certaines questions doivent être reformulées pour être parfaitement comprises par les moteurs. De fait, on doit alors utiliser un langage de type télégraphique (à l'image des fonctions de la Calculatrice Google) pour obtenir une réponse "qui fuse" ou qui propose un Snippet suffisamment complet pour qu'il ne soit pas besoin d'accéder au site correspondant.
On fait tout de suite la différence entre les moteurs qui vont puiser dans toutes sortes de bases de données après avoir "simplifié" votre recherche afin de la débarrasser de ses scories forcément trop humaines et un moteur comme TrueKnowledge qui cherche à interpréter votre question (ce qui ne le rend pas d'un maniement très commode) dans une sorte de dialogue en temps réel avec l'internaute.
Enfin et malgré le fort pourcentage de requêtes qui sont saisies en langage naturel (il suffit de s'amuser avec Google Suggest pour s'en rendre compte), je ne suis pas sûr que ce soit le futur eldorado des moteurs et ce pour différentes raisons :
Tant que l'on se limite à des requêtes de type factuel, il est assez simple d'aller piocher dans des bases de données structurées pour cela et resservir la bonne réponse comme par enchantement. La seule difficulté est de savoir extraire cette information et de pouvoir la présenter de manière conviviale. Reste la question de savoir quels sont les codes que l'internaute doit employer pour obtenir des résultats de type "question-réponse". Et c'est là qu'intervient la connaissance que l'utilisateur, à force de pianoter sur son moteur de recherche, aquiert forcément. La seule réelle difficulté, pour ce dernier, est de rationaliser les méthodes offertes afin que l'on sache comment s'y prendre et que l'internaute soit gagnant à tous les coups.
C'est tout autre chose que de répondre correctement à une requête du genre "Comment contacter Paris Hilton" ou "Je souhaite trouver l'adresse d'un bon restaurant près de chez moi". Elles impliquent une connaissance de l'environnement de l'apprenti-chercheur, de sa Weltanschaung, de ses codes culturels et de quantités d'autres paramètres que l'on pourra qualifier de subjectif.
J'ajoute que les questions "naturelles" sont forcément plus longues à saisir. De fait, pourquoi ne pas utiliser la recherche "carte Paris" plutôt que celle-ci : "montre-moi une carte de Paris" ?
Pourquoi aussi choisir un outil en particulier alors que les moteurs de recherche de type "généraliste" savent piocher dans toutes sortes d'expérimentations afin de vous présenter des résultats qui, à défaut d'être transcendants, sont toujours "dans la moyenne" ? En bref, plutôt que d'utiliser une application spécialisée, adressez-vous directement aux moteurs de recherche et à la multitude de technologiques qu'ils proposent.
C'est toute la différence entre des laboratoires qui développent des idées et des sociétés qui développent des services. Dans le meilleur des cas, les premiers sont toujours rachetés par les seconds.