D’où viennent les biais
Un modèle n’a pas d’opinion. Il compte ce qu’il a vu, puis il tire dans ses comptes. Cette démonstration vous laisse déformer vous-même la composition d’un corpus, et vous montre le modèle rendre exactement la déformation que vous venez de poser.
Tout se calcule dans votre navigateur. Le corpus est fabriqué sur cet appareil, le modèle y est appris sur cet appareil, et rien de ce que vous réglez ne quitte votre machine. Ouvrez l’onglet Réseau de votre navigateur et manipulez la démonstration : aucune requête ne part.
Déformer un corpus, et regarder ce que le modèle en fait
Le corpus de cette démonstration est écrit pour elle, et sa composition est équilibrée au départ. Chaque curseur fixe, pour un métier, la part des phrases où le sujet est au féminin. À cinquante, le corpus dit autant l’un que l’autre. Déplacez un curseur, et vous décidez de ce que le modèle aura lu.
Réglez la composition, puis lancez l’apprentissage. La distribution du modèle, le corpus fabriqué et un texte engendré s’afficheront ici.
Ce que la démonstration montre
Le résultat n’a rien d’une surprise, et c’est précisément ce qu’il faut comprendre. La part du féminin que rend le modèle est la part que vous avez posée au curseur. Pas une valeur voisine, pas une tendance : la même valeur. Un modèle à n-grammes ne fait que compter, donc son résultat est un comptage.
Deux enseignements en sortent, et ils ne se confondent pas.
Le biais est une conséquence, pas une intention
Personne n’a écrit dans le modèle qu’un métier appartient à un genre. La règle est apparue dans les comptes, parce qu’elle était dans les données. C’est pourquoi chercher l’intention dans un modèle est une perte de temps : la question utile est toujours « de quoi ce corpus est-il fait », et cette question porte sur des personnes qui ont collecté, trié et publié des données.
Ce qui est absent est impossible, pas improbable
Retirez une ville du corpus, et le modèle ne la propose plus jamais. Il ne la propose pas rarement : il ne peut pas la proposer, parce qu’elle n’a aucun compte. Aucun réglage de température, aucune coupe, aucune longueur de contexte ne la fera revenir. Et remarquez ce que ce corpus n’a jamais contenu : Paris, Londres, New York, Tokyo n’en font pas partie. Un modèle appris là-dessus donnerait l’impression d’un monde où ces villes n’existent pas, sans jamais signaler l’absence.
C’est la moitié du problème qu’on oublie. Un biais se remarque quand une réponse est fausse. Une absence ne se remarque jamais, puisqu’il n’y a rien à regarder.
La méthode
Voici le calcul entier. Il se refait sans cette page, avec un crayon.
- Fabriquer le corpus. Pour chaque métier, écrire quarante phrases courtes. Si le curseur est à quatre-vingt-dix, quatre-vingt-dix pour cent de ces phrases sont « Elle est ingénieure. » et le reste « Il est ingénieur. ». La répartition est étalée par un comptage entier, jamais par un tirage : le corpus est donc le même pour tout le monde à réglage égal.
- Découper. Le texte devient une suite d’unités : « Elle », « est », « ingénieure », « . ». Le découpage employé ici est un découpage en mots, plus lisible que le découpage en sous-mots des vrais modèles, qui a son propre chapitre.
- Compter. Pour chaque contexte de deux unités, relever toutes les unités qui l’ont suivi et combien de fois. Le contexte « Elle est » a suivi quatre-vingts phrases ? Alors sa table contient les métiers au féminin, chacun avec son compte.
- Diviser. La probabilité d’une unité après un contexte est son compte divisé par le total de la table. C’est tout ce que le modèle sait.
- Tirer. Pour engendrer du texte, tirer dans cette table selon ces probabilités, avec un générateur ensemencé par la graine affichée.
À l’étape quatre, l’égalité entre le réglage et le résultat cesse d’être mystérieuse : une fréquence relative est le rapport que vous avez posé. C’est ce que fait un modèle qui compte, et c’est le socle sur lequel les grands modèles ajoutent leurs mécanismes.
Ce qu’un vrai modèle ajoute, et ce qu’il n’enlève pas
Cette démonstration est honnête à une condition : dire où l’analogie s’arrête.
- Le mécanisme de fond est le même. Un modèle apprend des régularités statistiques dans un corpus, et il les restitue.
- La conclusion pratique est la même. Corriger un biais dans le modèle sans toucher aux données ne traite pas la cause.
- L’effet de l’absence est le même, et il est plus grave dans un vrai modèle, où personne ne peut lire le corpus pour vérifier ce qui manque.
- Un vrai modèle ne recopie pas des proportions : il généralise, et une régularité apprise sur un mot se transporte sur d’autres mots qui n’ont jamais été vus dans ce contexte. Une déformation peut donc s’étendre au-delà des cas présents dans les données.
- Ce corpus est synthétique et volontairement minuscule. Ses proportions ne décrivent aucun pays, aucun métier, aucune population. Elles décrivent le geste que vous venez de faire sur un curseur.
- Un vrai corpus n’est presque jamais lisible. C’est justement pour cela qu’une documentation normalisée des jeux de données a été proposée, et qu’une composition non documentée est une information manquante, pas un détail.
Ce que la recherche a mesuré
Trois résultats publiés situent ce que la démonstration fait sentir.
Des plongements de mots appris sur de grands corpus de textes ordinaires, notamment des articles de presse, reproduisent des stéréotypes de genre mesurables, en associant plus fortement certains métiers à un genre. Un modèle statistique standard appris sur un corpus web ordinaire reproduit automatiquement des biais humains déjà connus et mesurés par les tests psychologiques, y compris sur le genre et l’origine. Et l’effet ne reste pas dans le texte : des systèmes commerciaux de classification de genre par image ont présenté un taux d’erreur allant jusqu’à 34,7 % pour les femmes à la peau foncée contre 0,8 % pour les hommes à la peau claire, un écart mesuré selon la couleur de peau et le genre combinés.
Ce dernier chiffre dit le coût réel. Un écart de performance de cette ampleur n’est pas une imperfection technique : c’est un service qui fonctionne pour certains et pas pour d’autres.
Le geste à garder
Devant une réponse qui vous surprend par sa régularité, ne demandez pas au modèle pourquoi il pense cela : il n’en sait rien, et son explication se calcule comme le reste. Demandez sur quoi il a été appris, et qui a documenté ce corpus. Quand la réponse à cette question n’existe pas, c’est la réponse.
Pour aller plus loin
Le découpage du texte en unités est traité au chapitre les mots en morceaux. La distribution et son tirage sont traités au chapitre le prochain mot. Ce que devient un contenu confié à un service est traité au chapitre ce qu’on lui donne. Les situations où l’outil se referme sont réunies dans quand ne pas s’en servir. Toutes les démonstrations du site sont réunies à la page démonstrations, et le sommaire du cours à la page comprendre.
Sources
- Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings Tolga Bolukbasi, Kai-Wei Chang, James Zou, Venkatesh Saligrama, Adam Tauman Kalai, 2016. Établit que des plongements de mots entraînés sur de grands corpus de textes ordinaires reproduisent des stéréotypes de genre mesurables, par exemple en associant plus fortement certains métiers à un genre plutôt qu’à l’autre.
- Semantics derived automatically from language corpora contain human-like biases Aylin Caliskan, Joanna J. Bryson, Arvind Narayanan, 2017. Établit qu’un modèle statistique standard entraîné sur un corpus web ordinaire reproduit automatiquement des biais humains déjà connus et mesurés par les tests psychologiques de type IAT, y compris sur le genre et la race.
- Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification Joy Buolamwini, Timnit Gebru, 2018. Établit que des systèmes commerciaux de classification de genre par image ont présenté un taux d’erreur allant jusqu’à 34,7 % pour les femmes à la peau foncée contre 0,8 % pour les hommes à la peau claire.
- Datasheets for Datasets Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, Kate Crawford, 2018. Établit qu’il existe une proposition standardisée pour documenter la provenance, la composition et le mode de collecte d’un jeu de données, afin de pouvoir remonter à l’origine d’un biais constaté plutôt que de le découvrir seulement une fois le modèle déployé.
- Corpus synthétique de l’ODERSA, écrit pour cette démonstration ODERSA, 2026, publié sous licence CC BY 4.0. Sa composition par défaut est équilibrée, ses phrases sont lisibles en entier sur cette page, et il ne décrit aucune population réelle.