Les détecteurs d’IA à l’école
Un détecteur de texte généré par IA promet une réponse simple. La recherche publiée sur ces outils mesure des erreurs, et elles ne tombent pas au hasard sur tout le monde.
Un détecteur de texte généré par IA promet une réponse simple à une question simple : ce texte a-t-il été écrit par une personne ou par une machine ? La recherche publiée sur ces outils dit autre chose : ils se trompent, et leurs erreurs ne tombent pas au hasard sur tout le monde. Des établissements scolaires intègrent pourtant déjà ces outils dans leurs procédures de correction, souvent sans savoir ce qu’un score signifie vraiment.
Ce qu’un détecteur mesure vraiment
Un détecteur ne reconnaît pas une signature laissée par une machine, comme une empreinte digitale. Il compare la régularité statistique d’un texte, la prévisibilité de ses mots successifs, à ce qui caractérise généralement un texte produit par un modèle de langage. Le résultat est un score de probabilité, pas une preuve : le même outil peut changer de verdict sur le même texte légèrement reformulé.
Deux erreurs, et elles ne coûtent pas au même endroit
Un détecteur peut se tromper de deux façons : accuser à tort un texte humain d’être généré, ou laisser passer un texte généré comme s’il était humain. Une étude de 2023, menée par Weixin Liang et ses coauteurs, mesure la première erreur sur un point précis : des rédactions écrites par des locuteurs non natifs de l’anglais se retrouvent systématiquement classées comme générées par IA, alors que des rédactions de locuteurs natifs, sur un sujet comparable, sont correctement reconnues comme humaines. La cause tient au vocabulaire : des tournures moins variées, plus prévisibles, qui ressemblent statistiquement à ce qu’un modèle produit, sans qu’un modèle y ait jamais touché.
L’évaluation indépendante la plus large sur le sujet, menée en 2023 par Debora Weber-Wulff et 7 coauteurs, teste 14 outils : 12 accessibles au public et 2 commerciaux déjà utilisés par des établissements scolaires. Conclusion : aucun des 14 n’est à la fois fiable et précis. Le biais dominant s’inverse par rapport à l’étude précédente : ces outils tendent à classer un texte comme humain plutôt qu’à détecter correctement un texte généré, et une légère modification du texte suffit souvent à les tromper.
Un fabricant retire son propre outil
OpenAI lance en janvier 2023 un classificateur destiné à distinguer un texte humain d’un texte produit par ses propres modèles. Six mois plus tard, l’entreprise le retire. Le 20 juillet 2023, elle actualise la page de présentation de l’outil pour annoncer son retrait en raison de son faible taux de précision, un fait relayé le 25 juillet par le site TechCrunch, qui avait lui-même testé l’outil à son lancement : sur 7 textes connus pour avoir été générés par IA, le classificateur n’en repérait correctement que 1 sur 7, contre 5 sur 7 pour un outil concurrent.
Le fabricant qui connaît le mieux son propre modèle n’est pas parvenu à en faire un détecteur fiable.
Si l’entreprise la mieux placée pour connaître son propre modèle n’y est pas arrivée, la difficulté ne tient pas à un manque d’effort ponctuel : elle tient à la nature même de la tâche.
Qui paie l’erreur
Les deux sens de l’erreur ne pèsent pas sur les mêmes personnes. Un détecteur trop méfiant punit d’abord un élève qui écrit dans une langue qui n’est pas la sienne, ou qui écrit simplement de façon sobre et régulière. Un détecteur trop confiant laisse passer un texte généré sans le signaler à personne. Dans les deux cas, le score affiché a l’apparence d’une mesure objective, alors qu’aucune des études publiques citées ici ne le valide comme fiable à l’échelle d’un établissement. Quand une décision se fonde sur ce score, la charge de la preuve se déplace souvent vers l’élève accusé, qui doit alors justifier un travail qu’aucun outil validé ne peut, de son côté, confirmer ou infirmer avec certitude.
Ce qu’un score de détection permet de faire, et ce qu’il ne permet pas :
- Ouvrir une conversation avec un élève sur la façon dont un devoir a été produit.
- Servir d’indice parmi d’autres, à recouper avec la connaissance du travail habituel de l’élève.
- Constituer, seul, la preuve d’une fraude : aucun des 14 outils testés en 2023 n’a été validé comme fiable à ce niveau.
- Traiter de la même façon tous les élèves : l’erreur documentée frappe plus souvent qui écrit dans une langue qui n’est pas la sienne.
Les parcours de The AI Manual conçus pour qui enseigne reviennent sur la manière de réagir à un soupçon, sans transformer un score statistique en verdict.
Sources
- GPT detectors are biased against non-native English writers Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou, 2023.
- OpenAI scuttles AI-written text detector over ‘low rate of accuracy’ Devin Coldewey, TechCrunch, 2023.
- Testing of detection tools for AI-generated text Debora Weber-Wulff et al., 2023.
Cet article est publié sous licence CC BY 4.0 : copiez-le, traduisez-le, republiez-le en citant l’ODERSA.