Trois remarques à propos d’une récente comparaison entre PubMed et Google Scholar

Journal of Medical Internet Research (JMIR) a publié dans son numéro d’aout 2013 un article intitulé “Retrieving Clinical Evidence : A Comparison of PubMed and Google Scholar for Quick Clinical searches ».

Contrairement à plusieurs confrontations précédentes, Google Scholar s’en tire bien et décroche la médaille haut la main.
Sans remettre en cause la méthodologie, un peu trop tarabiscotée à mon goût, j’ai été frappé contrarié par 3 particularités de cette étude : le prétexte,
le mode de comparaison et la mise en valeur de certains résultats.

 
L’utilisation d’un tournevis pour enfoncer un clou
L’argument qui sert de prétexte à cette étude est un comportement déviant. Cet argument qui figure à la fois dans le résumé et dans l’introduction est le suivant : les médecins sollicitent souvent PubMed pour s’informer sur la prise en charge de leurs patients. Je ne sais pas si c’est vrai, mais c’est un comportement anormal.

PubMed est une banque de données bibliographiques dont le principal usage doit être l’établissement d’une bibliographie (pour un article, une thèse, une session thématique dans un groupe de pairs…).

Pour obtenir des informations sur les « bonnes » décisions à prendre pour un patient, il y a pléthore d’outils, tout au moins dans l’espace documentaire anglophone : Dynamed, First Consult, UpToDate, ClinicalKey… Ce sont eux qu’il convient de solliciter pour les « Quick Clinical searches » et surtout pas PubMed avec son langage hermétique, sa syntaxe originale et sa « lourdeur » (la 1ère équation de recherche n’est jamais la bonne !). Ce sont eux qui fournissent des informations complètes dans un laps de temps compatible avec les contraintes d’un professionnel de santé.

 
La comparaison des carottes et des navets
Comparer Google Scholar et PubMed sans encadrer de façon stricte la formulation des requêtes et les paramètres d’affichage des résultats est un non-sens.

Dans l’étude, ce sont les praticiens qui proposent la formulation de  leurs requêtes dans PubMed et dans Scholar. Les auteurs de l’étude bricolent les équations de recherche peu conformes (en particulier celles avec des acronymes ou des sigles), mais on ne sait rien de ce qui est proposé par les médecins.

En revanche, on sait que les résultats de Scholar sont classés par pertinence quand ceux de PubMed le sont par ordre chronologique inverse. On n’est donc pas surpris de trouver une meilleure sensibilité dans Scholar que dans PubMed quand les 40 premières références sont prises en compte !

La « mise sous le tapis » de certains résultats pour survendre les autres
Dans les « Quick Clinical searches » où seules les 40 premières références sont prises en compte, la sensibilité de Scholar est 2 fois supérieure à celle de PubMed, la précision de Scholar est identique à celle de PubMed et l’affichage des documents en texte intégral est 3 fois plus élevée dans Scholar que dans PubMed. Ce sont les conclusions de l’étude… bien mises en évidence.

Sous le tapis, il y a  une sensibilité identique pour les 2 outils de recherche et une précision sept fois plus grande dans PubMed quand tous les résultats sont pris en compte.

Google Scholar, sollicité en déambulant dans les couloirs de l’hôpital avec sa tablette ou entre 2 stations de métro avec son smartphone, c’est plus performant que PubMed. Mais, ça ne sert à rien, c’est « juste pour voir »… comme au poker !

Illustration :
A friend in the kitchen ; or, what to cook and how to cook it.. (1899) par CircaSassy Licence CC BY
http://www.flickr.com/photos/66212741@N08/7200661928/

 

 

This entry was posted in Uncategorized and tagged , . Bookmark the permalink. Follow any comments here with the RSS feed for this post. Post a comment or leave a trackback: Trackback URL.

One Response to Trois remarques à propos d’une récente comparaison entre PubMed et Google Scholar

  1. PubMed ou Google Scholar pour répondre aux besoins décisionnels en consultation ? En dehors des « point of care tools » cités, il convient de louer les services rendus par TripDatabase : http://www.tripdatabase.com
    Outil puissant, utile, et gratuit.

Leave a Reply

Your email is never published nor shared. Required fields are marked *

*
*

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>