Ne sait pas qu’il ne sait pas

Un modèle de langage peut affirmer un fait faux avec exactement la même assurance qu’un fait vrai. Ce n’est pas un mensonge, et ce n’est pas non plus une erreur que le modèle pourrait éviter en étant plus attentif. La raison tient à la façon dont un texte se fabrique, et à la façon dont ces modèles sont évalués pendant leur entraînement.

Ce qu’un modèle fait, exactement

Un modèle de langage ne consulte pas une base de faits pour répondre. Il produit, jeton après jeton, le mot le plus probable compte tenu de tout ce qui précède. Cette production continue de la même manière, que la phrase en train de s’écrire soit exacte ou non : rien, dans le calcul, ne s’arrête pour vérifier un fait contre le monde réel. Une réponse fausse s’écrit avec la même fluidité qu’une réponse juste, parce qu’elle passe par le même mécanisme.

Un examen où deviner rapporte plus que s’abstenir

Reste une question : pourquoi l’entraînement ne corrige pas cette tendance à l’aplomb ? Une étude d’Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala et Edwin Zhang, publiée en 2025, répond par une comparaison précise. Les procédures qui évaluent un modèle pendant son entraînement fonctionnent souvent comme un examen à choix multiples noté à l’ancienne : une bonne réponse gagne un point, une case laissée blanche n’en gagne aucun, une réponse fausse n’en coûte aucun non plus. Dans ce barème, deviner reste toujours la meilleure stratégie, même sans savoir. Un modèle entraîné puis noté selon des règles voisines apprend la même leçon : répondre, plutôt qu’admettre une incertitude, fait gagner du terrain sur les scores qui comptent.

Comme des élèves devant une question difficile, les modèles devinent parfois plutôt que d’admettre leur incertitude.

Les auteurs ne se contentent pas d’un diagnostic. Ils avancent une réponse aussi simple à énoncer que difficile à généraliser : changer le barème des évaluations pour qu’admettre une incertitude coûte moins qu’une réponse fausse. Tant que ce n’est pas la norme sur les grilles qui font le classement des modèles, deviner reste la stratégie qui rapporte le plus à l’entraînement.

Pourquoi ça ne se voit pas de l’intérieur

Rien, dans le texte produit, ne porte la trace de cette incertitude. Un modèle ne dispose pas d’un module séparé qui évalue sa propre fiabilité avant d’écrire une phrase : aucune frontière interne ne sépare « je sais » de « je devine ». Cette absence, documentée par la synthèse de Lei Huang et ses coauteurs sur l’ensemble des causes et des formes d’hallucination dans les grands modèles de langage, explique pourquoi l’erreur est si difficile à repérer de l’extérieur : elle ne s’annonce par aucun signe dans le ton, la longueur ou la structure de la phrase.

Un débat non tranché : l’hallucination est-elle inévitable ?

Un point va plus loin, et il reste discuté. En 2024, Ziwei Xu, Sanjay Jain et Mohan Kankanhalli publient une démonstration formelle, fondée sur la théorie de la calculabilité : un modèle de langage, en tant que fonction calculable, ne peut apprendre toutes les fonctions calculables possibles, et produira donc toujours, sur un ensemble infini de questions possibles, au moins une réponse fausse. Les auteurs présentent ce résultat comme une limite structurelle valable pour tout modèle de ce type. C’est un travail théorique, pas un constat d’usage : les auteurs eux-mêmes notent que ce monde formel reste plus simple que le monde réel.

En 2025, Atsushi Suzuki, Yulan He, Feng Tian et Zhongyuan Wang répondent sans contredire la démonstration : ils l’acceptent, mais contestent sa portée. Selon eux, même si l’hallucination ne peut pas disparaître totalement sur un ensemble infini de cas, sa probabilité peut toujours se réduire, jusqu’à devenir négligeable, en améliorant les données d’entraînement et les méthodes. Un résultat d’impossibilité théorique, obtenu par un argument sur un monde de fonctions calculables, ne dirait donc rien des problèmes réellement rencontrés en usage. Le désaccord porte moins sur les mathématiques, que personne ne remet en cause, que sur ce qu’elles permettent de conclure pour un modèle réellement utilisé.

Ce que les deux textes partagent, malgré leur désaccord, rejoint le constat de départ : ni la théorie ni la pratique ne permettent à un modèle de distinguer, au moment où il écrit, une réponse incertaine d’une réponse fausse dite avec la même assurance. Le chapitre du cours consacré à pourquoi un modèle invente détaille le mécanisme derrière ce constat.

Sources

• Why Language Models Hallucinate Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, 2025.
• A Survey on Hallucination in Large Language Models Lei Huang et al., 2023.
• Hallucination is Inevitable: An Innate Limitation of Large Language Models Ziwei Xu, Sanjay Jain, Mohan Kankanhalli, 2024. Travail théorique dont la portée pratique est contestée : voir la source suivante.
• Hallucinations are inevitable but can be made statistically negligible Atsushi Suzuki, Yulan He, Feng Tian, Zhongyuan Wang, 2025.

Retour au blog