Ce que veut dire « inventer », pour une machine qui prédit

Un modèle de langue ne consulte aucune base de faits pour répondre. Il calcule une distribution de probabilité sur le mot suivant, comme le montre le chapitre le prochain mot, puis il tire dedans. Ce calcul ne change jamais de nature selon que le sujet est abondamment documenté dans son corpus ou totalement absent : c’est la même formule, appliquée à des comptes différents.

« Inventer » ne désigne donc pas une panne. C’est ce que fait le modèle à chaque mot, qu’il ait de la matière ou non. Quand elle manque, la distribution s’appuie sur un contexte plus court, puis un plus court encore, jusqu’à l’ensemble du corpus s’il le faut : elle existe toujours, elle produit toujours un mot, et rien dans la manière de le produire ne change. Le nom que la recherche donne à ce phénomène est l’hallucination : une sortie fluide et grammaticalement correcte, sans rapport garanti avec un fait vérifiable.

Interroger le même modèle sur ce qui lui manque

Le modèle de cette page est celui du chapitre le prochain mot : un modèle à n-grammes, appris sur Le Tour du monde en quatre-vingts jours, de Jules Verne, publié en 1873. Ce roman compte … mots et signes de ponctuation, pour un vocabulaire de … mots différents. Un texte de 1873 ne peut rien savoir de ce qui n’existait pas encore, ni de ce qu’il ne contient simplement pas : c’est ce qui permet de savoir, avec certitude, ce que le modèle n’a jamais lu.

Saisissez une amorce d’un à trois mots que le roman contient réellement, ou choisissez un exemple. Puis saisissez une amorce qu’il ne contient sûrement pas. Le modèle répond dans les deux cas, de la même façon. À côté de sa réponse, une mesure qu’un produit ordinaire ne montre jamais : le nombre de fois où cette amorce exacte apparaît dans tout le corpus, zéro si elle n’y a jamais figuré.

Ce que la démonstration montre

Une même voix, que la matière existe ou non

Essayez « Phileas Fogg avait », une amorce que le roman contient réellement, puis « Phileas Fogg alluma son smartphone », qui n’y figure évidemment pas. Les deux suites sonnent pareil : même longueur, même grammaire, même ton assuré. Aucune des deux ne prévient de ce qu’elle sait ou ne sait pas.

Le repli est silencieux : personne ne le voit passer

Quand aucun des mots demandés n’a été vu, le modèle ne s’arrête pas : il retombe sur le mot le plus fréquent de tout le roman, sans le signaler nulle part dans le texte produit. Essayez deux amorces sans rapport qui tombent toutes deux dans ce cas, à la même graine : vous obtiendrez le même texte, mot pour mot. La réponse ne vient alors plus de ce que vous avez demandé, mais de ce que le corpus contient le plus souvent.

La méthode

Ce que fait le bouton « Interroger le modèle », dans l’ordre. Il se refait à la main, avec le roman ouvert et un crayon.

1. Découper l’amorce. Le texte saisi devient une suite de mots et de signes de ponctuation, comme au chapitre le prochain mot.
2. Chercher le plus long contexte connu. Le modèle cherche si les trois derniers mots de l’amorce ont déjà été suivis d’un mot, quelque part dans le roman. Sinon, il cherche avec deux mots. Sinon, avec un seul. Sinon, il retombe sur l’ensemble du roman : cette table existe toujours, elle ne peut jamais être vide tant que le corpus ne l’est pas.
3. Compter. Dans la table retenue, quel que soit son niveau, relever chaque mot qui a suivi et combien de fois. Cette étape est identique, que le contexte retenu soit celui demandé ou un repli.
4. Tirer, puis recommencer. Un mot est tiré dans ces comptes, ajouté à la suite, et l’étape deux reprend pour le mot suivant. C’est ce qui produit le texte engendré, quelle qu’ait été la question de départ.
5. Compter, séparément, l’amorce exacte. Ceci ne sert pas à répondre : c’est une mesure à part, qui compte combien de fois la suite de mots demandée, telle quelle, a été vue dans tout le roman. Un vrai modèle n’affiche jamais ce nombre. Cette page si.

L’étape cinq est celle qui manque dans un produit ordinaire. Rien ne l’empêche techniquement d’exister : elle n’est simplement pas dans ce que l’interface montre.

Pourquoi la fluidité n’est pas un signe de vérité

La fluidité d’une réponse, sa grammaire correcte, son ton assuré, viennent toutes du même calcul que le mot lui-même. Il n’existe aucune étape séparée qui vérifierait le contenu avant de l’écrire. Une phrase vraie et une phrase inventée traversent exactement le même mécanisme, et rien dans ce mécanisme ne favorise la première.

Ce n’est pas un défaut isolé : c’est la conséquence de la façon dont le modèle est entraîné, puis noté. L’entraînement récompense une suite qui ressemble à ce que les textes contiennent ; il n’existe, dans ce calcul, aucune case « je ne sais pas » qui rapporterait autant qu’une bonne réponse.

L’évaluation qui vient ensuite aggrave le problème plutôt qu’elle ne le corrige. La plupart des tests notent seulement si une réponse est exacte ou fausse : une réponse fausse et une abstention reçoivent la même note, zéro. Deviner devient alors la meilleure stratégie possible, exactement comme un candidat à un examen à choix multiples a intérêt à cocher une case au hasard plutôt qu’à la laisser vide, puisqu’une case vide ne rapporte jamais de point et qu’une case au hasard peut en rapporter un. Un modèle optimisé pour ce genre de note apprend la même stratégie : deviner rapporte, s’abstenir ne rapporte jamais.

Rien, dans ce mécanisme, ne pousse le modèle à distinguer une amorce qu’il connaît bien d’une amorce qu’il ne connaît pas du tout. Les deux passent par le même calcul jusqu’au bout, et rien n’interrompt la chaîne pour signaler l’absence.

Ce qu’un vrai modèle ajoute, et ce qu’il n’enlève pas

Cette démonstration est honnête à une condition : dire où l’analogie s’arrête.

Ce que la recherche a mesuré

Il existe une revue de référence qui classe les causes et les formes d’hallucination des grands modèles de langue, ainsi que les méthodes de détection et d’atténuation proposées par la recherche : la question est étudiée depuis plusieurs années, elle n’a rien d’anecdotique.

Un travail théorique va plus loin et soutient, à partir de résultats de théorie de l’apprentissage, qu’un certain taux d’hallucination serait mathématiquement inévitable pour un modèle de langue utilisé comme solveur général de problèmes. Cette conclusion reste débattue : des travaux ultérieurs contestent que ses hypothèses formelles s’appliquent aux usages réels et finis des modèles. Ce désaccord ne porte pas sur l’existence du problème, seulement sur son ampleur exacte.

Le geste à garder

Ce chapitre ne dit pas de se méfier de tout ce qu’un modèle écrit : il dit de ne jamais confondre l’assurance d’une réponse avec sa justesse. Les deux ne sont liées par aucun mécanisme du calcul : elles peuvent coïncider, et elles peuvent tout aussi bien ne pas coïncider, sans qu’aucun signal ne le distingue.

Ce qui doit déclencher une vérification n’est donc jamais le ton de la réponse. C’est la nature de ce qui est affirmé : une date précise, un chiffre, une référence, une citation, un nom propre, une adresse, tout ce qui pourrait être vrai ou faux indépendamment du style de la phrase qui le porte. Plus un détail est précis et vérifiable, plus il mérite une source extérieure : c’est justement là que la fluidité du modèle est identique, qu’il ait la matière ou qu’il l’invente.

Demander au modèle s’il est sûr de lui ne sert à rien : sa réponse à cette question est elle-même engendrée par le même calcul, sans accès à une mesure interne de vérité. La question utile est toujours : existe-t-il, ailleurs, une source indépendante et vérifiable de cette affirmation ? Quand la réponse est non, c’est la réponse.

Pour aller plus loin

Le mécanisme de la distribution et du tirage est expliqué au chapitre le prochain mot. Une autre conséquence du même calcul, la reproduction des biais du corpus, est traitée au chapitre d’où viennent les biais. Les situations où l’outil se referme complètement sont réunies dans quand ne pas s’en servir. Toutes les démonstrations du site sont réunies à la page démonstrations, et le sommaire du cours à la page comprendre.

Sources

• Why Language Models Hallucinate Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, 2025. Établit que les procédures d’entraînement et surtout d’évaluation actuelles récompensent le fait de deviner une réponse plausible plutôt que d’admettre l’incertitude, de la même façon qu’un étudiant devine une réponse à un examen à choix multiples plutôt que de la laisser vide.
• A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions Lei Huang, Weijiang Yu, Weitao Ma, Weihong Zhong, Zhangyin Feng, Haotian Wang, Qianglong Chen, Weihua Peng, Xiaocheng Feng, Bing Qin, Ting Liu, 2023. Établit qu’il existe une revue de référence classant les causes et les formes d’hallucination des grands modèles de langue, ainsi que les méthodes de détection et d’atténuation proposées par la recherche.
• Hallucination is Inevitable: An Innate Limitation of Large Language Models Ziwei Xu, Sanjay Jain, Mohan Kankanhalli, 2024. Établit, à partir de résultats de théorie de l’apprentissage, qu’un certain taux d’hallucination serait mathématiquement inévitable pour un modèle de langue utilisé comme solveur général de problèmes. Résultat débattu : des travaux ultérieurs contestent que ses hypothèses formelles s’appliquent aux usages réels et finis des modèles.
• Le Tour du monde en quatre-vingts jours Jules Verne, J. Hetzel et Compagnie, 1873, domaine public. Transcription : Wikisource. Même corpus, retouché de façon identique, qu’au chapitre le prochain mot : apostrophes rendues typographiques, tirets et guillemets de la transcription retirés, marques d’italique retirées, titres de chapitre et table des matières écartés, paragraphes de moins de quarante signes écartés.