Le Carnet · Saison 0

Ce que change le fait de brancher un assistant sur la littérature scientifique

Ce que ça change pour votre veille — et pourquoi une synthèse impeccablement écrite peut être fausse.

Par Dr Fakhreddine TighzaPublié le 5 min de lecture

Un soir de juin, je préparais un module de formation à rendre le lundi — l'ergonomie du poste de travail au cabinet — et je voulais être sûr de ne pas dire de bêtise. Pas sur un patient : sur l'état de la littérature autour d'un sujet que je croyais connaître. J'ai ouvert PubMed, tapé trois mots-clés, et je me suis retrouvé avec une pile d'onglets et une heure et demie de moins dans ma soirée.

C'est ce genre de moment qui pousse à chercher un raccourci. J'en ai trouvé un : il est réel, et plus fragile que je ne le croyais.

Que veut dire « brancher » un assistant sur une base documentaire ?

Par défaut, un assistant répond avec ce qu'il a appris pendant son entraînement : une connaissance figée, mélangée, sans lien vers la source. Le brancher sur une base de références, c'est l'autoriser à aller chercher dans un catalogue extérieur pendant qu'il vous répond. Le changement n'est pas magique, il est de nature : l'assistant cesse de répondre de mémoire et pointe vers quelque chose d'extérieur à lui.

La base dont il est question ici est PubMed : le moteur de recherche bibliographique public du National Center for Biotechnology Information, à la National Library of Medicine américaine. Il est gratuit et donne accès à des références et à des résumés de la littérature biomédicale, pas aux articles en texte intégral. La plomberie qui sert à l'y relier porte un nom qui circule beaucoup, MCP, pour Model Context Protocol ; ce n'est pas le sigle qui compte. Et ce que l'assistant rapporte reste un résumé de ce qu'il a trouvé, pas ce que vous auriez lu.

Pourquoi un assistant répond-il avec assurance sur des travaux qu'il n'a jamais lus ?

Parce qu'il ne sait pas qu'il ne sait pas. Un modèle de langage produit la suite la plus plausible, pas la plus vérifiée : quand la matière manque, il comble avec ce qui ressemble à de la littérature. Rien dans le ton de la réponse ne vous signalera la différence. C'est exactement pour cela qu'un branchement sur une base réelle est utile : il déplace la réponse de la mémoire vers une source que vous pouvez aller ouvrir.

Ce que ça change honnêtement pour la veille

Dans mon cas, l'apport est net mais étroit. Ce que j'y gagne :

  • retrouver la porte d'entrée d'un sujet dont je m'étais éloigné, en quelques minutes au lieu d'une soirée ;
  • cartographier : qui publie, depuis quand, autour de quelles questions ;
  • repérer où il y a consensus et où il y a débat — c'est souvent la seule information dont j'avais besoin ;
  • récupérer des références précises que j'irai ouvrir moi-même.

Ce dernier point est le vrai livrable. Je ne cherche pas une réponse, je cherche une liste de choses à lire.

Une synthèse peut être fausse, et elle sera très bien écrite

C'est le piège central, et il faut le nommer sans détour. Voici ce que j'ai vu se produire sur mes propres requêtes :

  • la référence fantôme : un titre crédible, des auteurs crédibles, une année crédible, et rien derrière. Ça arrive surtout quand le sujet est pointu et que le catalogue ne renvoie pas grand-chose ;
  • la conclusion retournée : le résumé garde le sujet de l'article mais perd le sens de sa conclusion, en particulier quand celle-ci dit « pas de différence » ou « données insuffisantes » ;
  • la nuance évaporée : le protocole, les effectifs, les limites, les liens d'intérêts. Tout ce qui permet de juger de la solidité d'un travail est dans le corps du texte, jamais dans le résumé ;
  • le corpus tronqué : une base ne contient pas tout, ce qui n'y est pas indexé n'existe pas pour l'assistant, et il ne vous dira pas ce qui manque ;
  • la hiérarchie de preuve écrasée : dans un paragraphe de synthèse, une observation isolée et une revue systématique ont exactement la même allure ;
  • l'effet miroir : posez une question orientée, vous recevrez la littérature qui vous donne raison. C'est le piège le plus sournois, parce qu'il est agréable.

Aucun de ces défauts ne se voit à l'œil nu : une synthèse fausse est aussi fluide qu'une synthèse juste. C'est ce qui la rend coûteuse — vous repartez avec une certitude sans avoir payé le prix de la vérification.

Ce n'est pas une lecture scientifique

Autant être net là-dessus : lire un résumé produit par une machine, ce n'est pas lire un article. On peut s'en servir pour décider quoi lire. On ne peut pas s'en servir pour affirmer « la littérature montre que ». Ma règle personnelle, depuis cette soirée de juin : rien ne sort de mon clavier sur un sujet professionnel si je n'ai pas ouvert la source moi-même. Et si je n'ai pas le temps d'ouvrir la source, je n'ai pas le temps d'avoir un avis.

Quand y aller, quand s'abstenir

Ma ligne est simple. J'y vais pour de la veille professionnelle générale : me remettre à niveau, préparer une lecture, vérifier que je ne suis pas resté sur une idée d'il y a dix ans.

Je m'abstiens dès que l'enjeu monte. Une décision qui engage un patient ne se prend pas sur un résumé, quelle que soit la qualité de la base derrière : elle se prend sur la situation du patient, sur votre lecture et sur votre jugement, et cette responsabilité-là ne se délègue à aucun outil. Un assistant branché sur une base documentaire est un outil de bibliothèque, pas un outil de décision.

Les garde-fous que je ne négocie pas

  • Aucune donnée patient dans une requête de veille. Une question de littérature n'en a aucun besoin : elle porte sur un sujet, pas sur une personne. Le jour où vous collez un contexte identifiant, vous avez changé de sujet et de régime juridique.
  • On garde la source, pas le résumé. Ce que j'archive, c'est la référence. Le résumé, je le jette une fois que j'ai lu.
  • La responsabilité reste entière. L'outil ne signe rien, ne s'engage sur rien, n'a rien à perdre. Vous, si.

Savoir qu'une synthèse peut être fausse ne suffit pas. Ce qui fait la différence, c'est de la mettre en défaut en quelques secondes, et de sentir quand une réponse sonne trop propre pour être vraie. Ce réflexe s'installe en pratiquant à côté de quelqu'un qui l'a déjà : c'est le travail que nous faisons ensemble dans la formation.

← Tous les billets du Carnet