Le geste de vérification

Un résumé produit par une intelligence artificielle n’est pas la source. C’est une compression, et une compression peut couper une nuance sans le signaler : une date, une réserve, un désaccord entre experts. Le problème n’est pas neuf, il précède largement les modèles de langage. Ce qui change, c’est la vitesse à laquelle un résumé se produit, et la confiance qu’inspire sa forme achevée.

Un résumé écrit par une personne peut se tromper par raccourci, mais elle sait généralement qu’elle simplifie. Un modèle de langage ne fait pas cette distinction : il produit la formulation la plus probable, qu’elle conserve ou non la réserve présente dans le texte d’origine. Rien, dans sa sortie, ne distingue un résumé fidèle d’un résumé qui a perdu une nuance en route.

Ce que font les meilleurs vérificateurs

En 2019, Sam Wineburg et Sarah McGrew publient une étude qui compare trois groupes face à une même tâche : juger si un site mérite ou non d’être cru. 10 historiens titulaires d’un doctorat, 10 vérificateurs professionnels, et 25 étudiants de premier cycle. Les historiens et les étudiants restent sur la page à l’examiner : un logo, un nom de domaine qui sonne sérieux, une mise en page soignée suffisent souvent à les convaincre. Les vérificateurs professionnels font l’inverse : ils quittent la page en quelques secondes, ouvrent d’autres onglets, et cherchent ce que d’autres sources disent de ce site ou de l’affirmation elle-même. Cette pratique porte un nom, la « lecture latérale », opposée à la lecture « verticale » qui reste dans la page. Résultat mesuré : les vérificateurs professionnels arrivent à des conclusions mieux fondées, en beaucoup moins de temps que les deux autres groupes.

Un résumé produit par une machine retire justement les indices de contexte qui aident d’habitude à juger une page : plus de nom de domaine à examiner, plus de mise en page à évaluer, seulement une suite de phrases lissées et sans aspérité. Le geste de vérification déplace alors l’attention du côté où elle doit vraiment porter, la source elle-même, plutôt que sur l’emballage du résumé, qui n’en dit rien.

Le geste, en trois temps

La méthode SIFT, publiée la même année par le chercheur Mike Caulfield, traduit cette pratique en gestes répétables. Appliquée à un résumé produit par une machine, elle se ramène à trois vérifications, dans cet ordre.

1. Rouvrir la source d’origine et localiser le passage exact. Un résumé cite rarement une phrase entière : il paraphrase. Retrouver le passage précis dont il parle permet de vérifier qu’il existe, et qu’il dit bien ce que le résumé lui fait dire.
2. Vérifier si la source présente le fait comme établi ou comme débattu. Une phrase peut être exacte et pourtant tronquée d’une réserve : « certains chercheurs contestent », « ce résultat reste discuté ». Un résumé qui aplatit cette nuance en fait certain transforme une hypothèse en vérité.
3. Vérifier la date de la source. Un fait juste à une date peut être dépassé quelques années plus tard, surtout sur un sujet qui bouge vite. Une source non datée, ou datée sans que le résumé le précise, mérite une recherche supplémentaire avant d’être reprise.

Ces trois temps répondent chacun à une panne différente : le premier attrape une citation approximative ou inventée, le second une certitude qui n’en était pas une, le troisième une information vraie hier et fausse aujourd’hui.

Pourquoi ce n’est pas une perte de temps

L’étude de Wineburg et McGrew porte un sous-titre qui résume son résultat central : lire moins pour en apprendre davantage. Les vérificateurs professionnels ne passent pas plus de temps que les deux autres groupes : ils en passent moins, parce qu’ils cherchent la bonne information au bon endroit plutôt que d’épuiser la page qu’ils ont sous les yeux. Les trois temps ci-dessus suivent la même logique : ils ne demandent pas de tout relire, seulement de rouvrir la source une fois, sur le point précis que le résumé avance.

Ce geste ne remplace pas une expertise sur un sujet technique : il n’a pas la prétention de transformer quiconque en spécialiste du domaine concerné. Il rattrape la panne la plus fréquente : une nuance disparue en cours de résumé, pas une erreur de raisonnement savante. Et quand le contrôle échoue sur une page de The AI Manual elle-même, une adresse existe précisément pour ça : Signaler une erreur.

Sources

• Lateral Reading and the Nature of Expertise: Reading Less and Learning More When Evaluating Digital Information Sam Wineburg, Sarah McGrew, Teachers College Record, vol. 121, n°11, 2019.
• SIFT (The Four Moves) Mike Caulfield, Hapgood, 2019.

Retour au blog