Calculer une distribution, puis tirer dedans

Un modèle de langue ne sait pas ce qu’il va écrire avant de l’écrire. À chaque mot, il calcule une probabilité pour chaque candidat possible : une liste entière, jamais une seule réponse arrêtée. Cette liste de probabilités est une distribution. Ce qui ressemble à un choix vient ensuite : un tirage dans cette distribution, comme on tire une carte dans un jeu pesé.

C’est pour cela que poser deux fois la même question ne rend pas forcément la même réponse. Tant que la distribution garde plusieurs candidats possibles, le tirage en retient un, pas toujours le même. Ici, le tirage suit une graine visible et modifiable, pour que le résultat reste reproductible : la même graine donne toujours le même mot. Un service ordinaire cache sa graine, ce qui donne l’impression d’un hasard sans origine.

Le modèle de cette page apprend sur Le Tour du monde en quatre-vingts jours, de Jules Verne, publié en 1873 et dans le domaine public. Il compte, pour chaque suite d’un à trois mots déjà rencontrée dans ce texte, quel mot l’a suivie et combien de fois. Sur ce corpus, il connaît en ce moment … jetons, pour un vocabulaire de … mots différents, répartis en … contextes d’un mot, … contextes de deux mots et … contextes de trois mots. La transcription a été retouchée pour cette démonstration : apostrophes rendues typographiques, tirets et guillemets de la transcription retirés, marques d’italique retirées, titres de chapitre et table des matières écartés, paragraphes de moins de quarante signes écartés.

Cette démonstration découpe le texte en mots entiers, pour rester lisible. Un vrai modèle découpe en unités plus petites qu’un mot, des jetons obtenus par un tout autre calcul : voir le chapitre les mots en morceaux. La mécanique de la distribution et du tirage, elle, reste la même dans les deux cas.

Ce que la démonstration montre

Un pas : la même formule, un résultat qui change sous vos yeux

Déplacez le curseur de température, et les colonnes du tableau bougent immédiatement : le logarithme ne change pas, sa division par la température si, et la colonne « après softmax » avec elle. Activez un top-k ou un top-p, et des candidats jusque-là retenus passent à « écarté », en toutes lettres, pas seulement en pâleur sur leur barre. Rien de tout cela ne change le corpus ni les comptes : seule la façon de lire la même distribution change.

Plusieurs pas : un texte qui se répète, ou qui se disperse

À une température proche de zéro, le tirage retient presque toujours le candidat le plus probable : le texte engendré tombe vite dans une boucle, les mêmes quelques mots revenant dans le même ordre. À une température proche de deux, les candidats rares deviennent presque aussi probables que les candidats fréquents : le texte part en morceaux, plausible localement, phrase par phrase, mais sans fil d’ensemble. Essayez les deux réglages, sur la même amorce et la même graine, pour voir les deux effets se succéder.

La méthode

Ce que fait le bouton « Engendrer le texte », un pas à la fois. Le tableau de la section « Un pas » montre ces mêmes étapes sur les candidats réels de l’amorce en cours : il suffit de le relire une colonne après l’autre pour la refaire à la main, sur cinq candidats et une calculatrice.

1. Compter. Pour le contexte en cours, relever dans tout le corpus chaque mot qui l’a suivi, et combien de fois. La probabilité de départ d’un candidat est son compte divisé par la somme des comptes de tous les candidats de ce contexte : p = compte ÷ total.
2. Passer au logarithme. Chaque probabilité devient logit = log(p), où log est le logarithme naturel, la touche « ln » d’une calculatrice scientifique. Un logit est toujours négatif ou nul, puisque p est compris entre zéro et un.
3. Ajouter un biais, s’il y en a un. Un biais facultatif s’ajoute au logit avant tout le reste : logit biaisé = logit + biais. Cette page n’ajoute aucun biais ; le chapitre les filigranes en ajoute un, à cette étape précise.
4. Diviser par la température. Chaque logit biaisé se divise par la température T : z = logit biaisé ÷ T. Une température petite agrandit l’écart entre le meilleur candidat et les autres ; une température grande l’efface.
5. Passer au softmax. Les z deviennent des probabilités qui somment à un : probabilité = exp(z) ÷ somme des exp(z) de tous les candidats. À température nulle, cette étape et la suivante sont sautées : le candidat au logit le plus haut est retenu directement, sans tirage.
6. Couper au top-k. Les candidats sont classés du plus probable au moins probable. Si un top-k de valeur k est actif, seuls les k premiers restent en lice ; les autres sont écartés.
7. Couper au top-p. Si un top-p de seuil actif, le modèle garde le plus court préfixe de cette même liste dont les probabilités cumulées atteignent ce seuil ; le reste est écarté, y compris ce qu’une éventuelle coupe top-k avait déjà laissé passer.
8. Renormaliser. Les probabilités des candidats restants se divisent par leur propre somme, pour retrouver un total de un : c’est la probabilité finale de chacun.
9. Tirer. Un nombre pris entre zéro inclus et un exclu tombe dans cette liste de probabilités finales, mises bout à bout : le candidat dont l’intervalle contient ce nombre est le jeton retenu. Le contexte s’allonge d’un mot, et l’étape un reprend pour le mot suivant.

Ce qu’un vrai modèle ajoute, et ce qu’il n’enlève pas

Cette démonstration est honnête à une condition : dire où l’analogie s’arrête.

Ce que la recherche a mesuré

Trois résultats publiés situent ce que la démonstration fait sentir.

Choisir systématiquement le mot le plus probable produit un texte plat et répétitif ; l’échantillonnage nucleus, qui tronque la partie peu fiable de la distribution (le top-p de cette page), produit un texte plus naturel. Le paramètre de température de la formule softmax adoucit ou durcit la distribution de probabilité calculée par le modèle : une température plus élevée rend les choix moins prévisibles et plus uniformément répartis entre plusieurs mots possibles. L’échantillonnage top-k, qui restreint le tirage aux k mots les plus probables à chaque étape, est une méthode employée pour engendrer un texte plus varié qu’un choix toujours déterministe.

Pourquoi un texte plausible n’est pas un texte vrai

Le modèle de cette page n’a lu qu’un roman de 1873. Demandez-lui la suite d’une phrase qui ressemble à ce roman, et il répond avec un contexte réel, au bon ordre. Demandez-lui la suite d’une phrase qui n’a aucun équivalent dans ce texte, et il replie sur un contexte plus court, jusqu’à rendre le mot le plus fréquent du corpus entier : il répond quand même, avec la même assurance apparente, sans jamais signaler qu’il devine.

Une réponse plausible est une réponse qui ressemble, par sa forme, à ce que le corpus contient. Rien dans le calcul ne vérifie si elle correspond à un fait. Un grand modèle, appris sur des milliards de mots plutôt que sur un seul roman, replie moins souvent et de façon moins visible : c’est le sujet du chapitre pourquoi il invente.

Pour aller plus loin

Le découpage du texte en unités plus petites qu’un mot est traité au chapitre les mots en morceaux. Les cas où le modèle invente au lieu de répondre sont traités au chapitre pourquoi il invente. Toutes les démonstrations du site sont réunies à la page démonstrations, et le sommaire du cours à la page comprendre.

Sources

• The Curious Case of Neural Text Degeneration Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, Yejin Choi, 2020. Établit que choisir systématiquement le mot le plus probable produit un texte plat et répétitif, et que l’échantillonnage nucleus (top-p), qui tronque la partie peu fiable de la distribution, produit un texte plus naturel.
• Distilling the Knowledge in a Neural Network Geoffrey Hinton, Oriol Vinyals, Jeff Dean, 2015. Établit que le paramètre de température dans la formule softmax adoucit ou durcit la distribution de probabilité calculée par le modèle, une température plus élevée rendant les choix moins prévisibles et plus uniformément répartis entre plusieurs mots possibles.
• Hierarchical Neural Story Generation Angela Fan, Mike Lewis, Yann Dauphin, 2018. Établit que l’échantillonnage top-k, qui restreint le tirage aux k mots les plus probables à chaque étape, est une méthode utilisée pour engendrer un texte plus varié qu’un choix toujours déterministe.
• Le Tour du monde en quatre-vingts jours Jules Verne, J. Hetzel et Compagnie, 1873, domaine public. Transcription : Wikisource. Retouchée pour cette démonstration : apostrophes rendues typographiques, tirets et guillemets de la transcription retirés, marques d’italique retirées, titres de chapitre et table des matières écartés, paragraphes de moins de quarante signes écartés.