Les mots en morceaux
Un modèle ne reçoit jamais une lettre, ni un mot entier : il reçoit des morceaux, appris par statistique sur un corpus. Ce chapitre fait apprendre l’algorithme sous vos yeux, puis applique le résultat à une même phrase dans plusieurs langues.
Tout se calcule dans votre navigateur, à partir d’un texte embarqué dans la page. Le corpus, l’apprentissage des fusions et le découpage d’une phrase restent sur cet appareil. Ouvrez l’onglet Réseau de votre navigateur pendant que vous manipulez l’outil : aucune requête ne part.
Le corpus d’apprentissage
L’algorithme de ce chapitre apprend sur un texte, et rien d’autre. Le voici, en entier : les quinze premiers paragraphes du roman Le Tour du monde en quatre-vingts jours. Aucune autre phrase ne sert à l’apprentissage plus bas : ce que vous lisez ici est exactement ce sur quoi le découpage a été appris.
Ce corpus tient en quinze paragraphes.
En l’année 1872, la maison portant le numéro 7 de Saville-row, Burlington Gardens maison dans laquelle Sheridan mourut en 1814, était habitée par Phileas Fogg, esq., l’un des membres les plus singuliers et les plus remarqués du Reform-Club de Londres, bien qu’il semblât prendre à tâche de ne rien faire qui pût attirer l’attention.
À l’un des plus grands orateurs qui honorent l’Angleterre, succédait donc ce Phileas Fogg, personnage énigmatique, dont on ne savait rien, sinon que c’était un fort galant homme et l’un des plus beaux gentlemen de la haute société anglaise.
On disait qu’il ressemblait à Byron par la tête, car il était irréprochable quant aux pieds, mais un Byron à moustaches et à favoris, un Byron impassible, qui aurait vécu mille ans sans vieillir.
Anglais, à coup sûr, Phileas Fogg n’était peut-être pas Londonner. On ne l’avait jamais vu ni à la Bourse, ni à la Banque, ni dans aucun des comptoirs de la Cité. Ni les bassins ni les docks de Londres n’avaient jamais reçu un navire ayant pour armateur Phileas Fogg. Ce gentleman ne figurait dans aucun comité d’administration. Son nom n’avait jamais retenti dans un collège d’avocats, ni au Temple, ni à Lincoln’s-inn, ni à Gray’s-inn. Jamais il ne plaida ni à la Cour du chancelier, ni au Banc de la Reine, ni à l’Échiquier, ni en Cour ecclésiastique. Il n’était ni industriel, ni négociant, ni marchand, ni agriculteur. Il ne faisait partie ni de l’Institution royale de la Grande-Bretagne, ni de l’Institution de Londres, ni de l’Institution des Artisans, ni de l’Institution Russell, ni de l’Institution littéraire de l’Ouest, ni de l’Institution du Droit, ni de cette Institution des Arts et des Sciences réunis, qui est placée sous le patronage direct de Sa Gracieuse Majesté. Il n’appartenait enfin à aucune des nombreuses sociétés qui pullulent dans la capitale de l’Angleterre, depuis la Société de l’Armonica jusqu’à la Société entomologique, fondée principalement dans le but de détruire les insectes nuisibles.
Phileas Fogg était membre du Reform-Club, et voilà tout.
À qui s’étonnerait de ce qu’un gentleman aussi mystérieux comptât parmi les membres de cette honorable association, on répondra qu’il passa sur la recommandation de MM. Baring frères, chez lesquels il avait un crédit ouvert. De là une certaine surface, due à ce que ses chèques étaient régulièrement payés à vue par le débit de son compte courant invariablement créditeur.
Ce Phileas Fogg était-il riche ? Incontestablement. Mais comment il avait fait fortune, c’est ce que les mieux informés ne pouvaient dire, et Mr. Fogg était le dernier auquel il convînt de s’adresser pour l’apprendre. En tout cas, il n’était prodigue de rien, mais non avare, car partout où il manquait un appoint pour une chose noble, utile ou généreuse, il l’apportait silencieusement et même anonymement.
En somme, rien de moins communicatif que ce gentleman. Il parlait aussi peu que possible, et semblait d’autant plus mystérieux qu’il était silencieux. Cependant sa vie était à jour, mais ce qu’il faisait était si mathématiquement toujours la même chose, que l’imagination, mécontente, cherchait au-delà.
Avait-il voyagé ? C’était probable, car personne ne possédait mieux que lui la carte du monde. Il n’était endroit si reculé dont il ne parût avoir une connaissance spéciale. Quelquefois, mais en peu de mots, brefs et clairs, il redressait les mille propos qui circulaient dans le club au sujet des voyageurs perdus ou égarés ; il indiquait les vraies probabilités, et ses paroles s’étaient trouvées souvent comme inspirées par une seconde vue, tant l’événement finissait toujours par les justifier. C’était un homme qui avait dû voyager partout, en esprit, tout au moins.
Ce qui était certain toutefois, c’est que, depuis de longues années, Phileas Fogg n’avait pas quitté Londres. Ceux qui avaient l’honneur de le connaître un peu plus que les autres attestaient que si ce n’est sur ce chemin direct qu’il parcourait chaque jour pour venir de sa maison au club personne ne pouvait prétendre l’avoir jamais vu ailleurs. Son seul passe-temps était de lire les journaux et de jouer au whist. À ce jeu du silence, si bien approprié à sa nature, il gagnait souvent, mais ses gains n’entraient jamais dans sa bourse et figuraient pour une somme importante à son budget de charité. D’ailleurs, il faut le remarquer, Mr. Fogg jouait évidemment pour jouer, non pour gagner. Le jeu était pour lui un combat, une lutte contre une difficulté, mais une lutte sans mouvement, sans déplacement, sans fatigue, et cela allait à son caractère.
On ne connaissait à Phileas Fogg ni femme ni enfants, ce qui peut arriver aux gens les plus honnêtes, ni parents ni amis, ce qui est plus rare en vérité. Phileas Fogg vivait seul dans sa maison de Saville-row, où personne ne pénétrait. De son intérieur, jamais il n’était question. Un seul domestique suffisait à le servir. Déjeunant, dînant au club à des heures chronométriquement déterminées, dans la même salle, à la même table, ne traitant point ses collègues, n’invitant aucun étranger, il ne rentrait chez lui que pour se coucher, à minuit précis, sans jamais user de ces chambres confortables que le Reform-Club tient à la disposition des membres du cercle. Sur vingt-quatre heures, il en passait dix à son domicile, soit qu’il dormît, soit qu’il s’occupât de sa toilette. S’il se promenait, c’était invariablement, d’un pas égal, dans la salle d’entrée parquetée en marqueterie, ou sur la galerie circulaire, au-dessus de laquelle s’arrondit un dôme à vitraux bleus, que supportent vingt colonnes ioniques en porphyre rouge. S’il dînait ou déjeunait, c’étaient les cuisines, le garde-manger, l’office, la poissonnerie, la laiterie du club, qui fournissaient à sa table leurs succulentes réserves ; c’étaient les domestiques du club, graves personnages en habit noir, chaussés de souliers à semelles de molleton, qui le servaient dans une porcelaine spéciale et sur un admirable linge en toile de Saxe ; c’étaient les cristaux à moule perdu du club qui contenaient son sherry, son porto ou son claret mélangé de cannelle, de capillaire et de cinnamome ; c’était enfin la glace du club glace venue à grands frais des lacs d’Amérique qui entretenait ses boissons dans un satisfaisant état de fraîcheur.
Si vivre dans ces conditions, c’est être un excentrique, il faut convenir que l’excentricité a du bon !
La maison de Saville-row, sans être somptueuse, se recommandait par un extrême confort. D’ailleurs, avec les habitudes invariables du locataire, le service s’y réduisait à peu. Toutefois, Phileas Fogg exigeait de son unique domestique une ponctualité, une régularité extraordinaires. Ce jour-là même, 2 octobre, Phileas Fogg avait donné son congé à James Forster ce garçon s’étant rendu coupable de lui avoir apporté pour sa barbe de l’eau à quatre-vingt-quatre degrés Fahrenheit au lieu de quatre-vingt-six, et il attendait son successeur, qui devait se présenter entre onze heures et onze heures et demie.
Phileas Fogg, carrément assis dans son fauteuil, les deux pieds rapprochés comme ceux d’un soldat à la parade, les mains appuyées sur les genoux, le corps droit, la tête haute, regardait marcher l’aiguille de la pendule, appareil compliqué qui indiquait les heures, les minutes, les secondes, les jours, les quantièmes et l’année. À onze heures et demie sonnant, Mr. Fogg devait, suivant sa quotidienne habitude, quitter la maison et se rendre au Reform-Club.
Texte : Jules Verne, Le Tour du monde en quatre-vingts jours, 1873, domaine public. La transcription a été retouchée pour la lecture : apostrophes rendues typographiques, tirets et guillemets de la transcription retirés, marques d’italique retirées, titres de chapitre et table des matières écartés, paragraphes de moins de quarante signes écartés.
Les fusions, dans l’ordre où l’algorithme les apprend
Chaque fusion est un choix : la paire de symboles la plus fréquente dans le corpus ci-dessus devient un symbole neuf. Choisissez combien de fusions l’algorithme a le droit de faire, et regardez la table se remplir, une ligne par fusion, dans l’ordre où elle a été apprise.
La table des fusions apparaît ici, dans l’ordre où l’algorithme les apprend.
Découper une phrase
Voici ce que ces fusions font d’une phrase nouvelle : elles s’appliquent dans l’ordre où elles ont été apprises, la plus ancienne d’abord, jusqu’à ce qu’aucune ne s’applique plus.
Le découpage de votre phrase apparaît ici, en unités.
La même phrase, 7 langues
Voici le point que ce chapitre retient. Le même découpeur, réglé sur le nombre de fusions choisi plus haut et appris uniquement sur le français, segmente maintenant une phrase de sens identique dans 7 langues. Le nombre d’unités qu’il produit varie énormément d’une langue à l’autre, et cet écart n’a qu’une cause : ce découpeur n’a jamais rien lu d’autre que du français.
La comparaison entre langues apparaît ici, une barre par langue.
Phrase source : la bannière de confiance de l’ODERSA, texte canonique de la maison, publiée sous licence CC BY 4.0. Ce découpeur est un jouet appris sur mille huit cent soixante-treize : ses comptes d’unités ne sont pas ceux d’un produit, mais le mécanisme qui les produit est le même.
La méthode
L’algorithme s’appelle BPE, pour Byte Pair Encoding. Il a été conçu en 1994 comme une méthode générale de compression de données, sans lien avec le langage naturel (Gage, 1994). Il a été appliqué en 2016 au découpage de texte en sous-mots, pour permettre à un modèle de traduction automatique de traiter des mots rares ou inconnus en les décomposant en unités plus petites déjà connues (Sennrich, Haddow et Birch, 2016). C’est cette seconde version, appliquée au texte, que la démonstration plus haut vient de faire fonctionner sous vos yeux.
- Partir des caractères. Chaque mot du corpus devient la suite de ses caractères, un symbole par caractère. Le mot « enseignant » commence en dix symboles : e, n, s, e, i, g, n, a, n, t.
- Compter toutes les paires de symboles voisins. Pour chaque mot du corpus, pour chaque paire de symboles qui se touchent, on additionne son nombre d’occurrences, multiplié par le nombre de fois où ce mot apparaît dans le corpus.
- Retenir la paire la plus fréquente. À égalité de compte, la règle retient toujours celle rencontrée en premier en lisant le corpus de gauche à droite, mot après mot : deux personnes qui comptent à la main tombent sur la même paire.
- Fusionner cette paire en un symbole neuf, partout où elle apparaît dans le corpus. Le vocabulaire gagne un symbole.
- Répéter les étapes deux à quatre autant de fois que de fusions voulues. Chaque fusion s’appuie sur l’état laissé par la précédente : un rang ne se recalcule jamais sans être passé par le précédent.
- S’arrêter. Soit au nombre de fusions fixé d’avance, soit quand plus aucune paire ne se répète : chaque mot du corpus est alors devenu un seul symbole.
- Découper un texte nouveau avec les fusions apprises. On repart de ses caractères, et on applique les fusions dans l’ordre où elles ont été apprises, la plus ancienne d’abord, tant qu’une paire de la liste s’y trouve encore. Un mot qui ne partage aucun caractère avec le corpus d’apprentissage ne rencontre aucune fusion : il reste décomposé en caractères, un par un.
Un exemple entier, à la main, sur un corpus de deux mots : « enseignant »,
compté quatre fois, et « grand », compté trois fois. La paire a
suivi de n revient sept fois au total, quatre fois dans
« enseignant » et trois fois dans « grand » : aucune autre paire n’atteint
ce compte, elle fusionne donc en premier. Toutes les fusions suivantes se
trouvent ensuite à égalité de quatre occurrences : la règle retient la
première rencontrée en lisant « enseignant » de gauche à droite.
| Rang | Paire fusionnée | Symbole obtenu | Occurrences |
|---|---|---|---|
| 1 | a + n | an | 7 |
| 2 | e + n | en | 4 |
| 3 | en + s | ens | 4 |
| 4 | ens + e | ense | 4 |
| 5 | ense + i | ensei | 4 |
| 6 | ensei + g | enseig | 4 |
Au bout de ces six fusions, « enseignant » s’écrit enseig, n, an, t et
« grand » s’écrit g, r, an, d : quatre symboles chacun, et un symbole
commun, an, appris grâce aux deux mots à la fois. C’est exactement
ce mécanisme que la table de la section précédente applique au roman entier.
Une unité n’est pas un mot
Une unité, ou jeton, est un symbole retenu par les fusions : parfois un mot entier, parfois un fragment, parfois un seul caractère. Rien dans l’algorithme ne connaît la syllabe, la racine ou la terminaison d’un mot : seule compte la fréquence des paires dans le corpus d’apprentissage.
La table plus haut le montre à un rang avancé : le nom « Fogg » devient un symbole unique, simplement parce qu’il revient très souvent dans ces quinze paragraphes. Un autre corpus, sans ce personnage, n’aurait jamais appris ce symbole. Le vocabulaire d’un modèle n’est donc pas une liste de mots choisis pour leur sens : c’est l’empreinte statistique du texte sur lequel il a été construit.
Pourquoi un modèle ne voit jamais une lettre
Une fois le découpage fait, le texte n’existe plus pour le modèle que sous la forme de ces unités, converties en nombres. Le modèle calcule sur ces nombres : il n’a aucune opération qui dise « la troisième lettre de cette unité », parce que l’unité n’est pas conservée comme une suite de lettres une fois devenue un symbole.
Quand une unité correspond à un seul caractère, l’accès à la lettre existe par hasard. Dès qu’une unité regroupe plusieurs caractères, comme le montre le découpage du mot « lettres » plus haut, cet accès disparaît : le modèle raisonne sur le symbole entier, jamais sur ses lettres une à une.
Ce que ce mécanisme explique mal
Trois tâches très ordinaires demandent un accès direct à la lettre. Le découpage en unités les rend, par construction, peu fiables.
- Compter les lettres d’un mot
- Si le mot entier tient dans une seule unité, ou si une unité regroupe plusieurs lettres identiques, compter revient à compter des unités qui ne correspondent à aucune lettre précise. La réponse peut tomber juste, par hasard autant que par calcul.
- Juger si deux mots riment
- Une rime se juge sur les derniers sons, donc sur les dernières lettres. Si la frontière d’une unité tombe ailleurs que sur cette fin de mot, ce qui devrait se comparer lettre à lettre se compare entre unités qui ne se recouvrent pas.
- Écrire un mot à l’envers, lettre par lettre
- Inverser un mot suppose de disposer de chacune de ses lettres, dans l’ordre. Un modèle qui reçoit le mot déjà groupé en deux ou trois unités doit d’abord reconstituer des lettres qu’il n’a jamais manipulées séparément.
Le coût par langue
La comparaison plus haut le montre en direct : un découpeur appris sur un corpus produit peu d’unités pour un texte proche de ce corpus, et beaucoup plus pour un texte qui s’en éloigne. Une mesure publiée établit ce même écart sur de vrais découpeurs de production : un même contenu, traduit dans des langues différentes, peut nécessiter jusqu’à quinze fois plus de jetons selon la langue, ce qui rend certaines langues structurellement plus coûteuses et plus lentes à traiter (Petrov, La Malfa, Torr et Bibi, 2023).
The AI Manual prévoit de servir ce cours en 7 langues. Cet écart n’est donc pas une curiosité : une page qui coûte peu de jetons en français peut en coûter beaucoup plus dans une langue à l’écriture différente, ce qui pèse sur la vitesse de réponse et sur la part de contexte qu’il reste disponible pour la suite de la conversation.
Pour aller plus loin
Une fois le texte en unités, le modèle prédit l’unité suivante : ce mécanisme est le sujet du chapitre le prochain mot. D’autres mécanismes se manipulent de la même façon sur la page démonstrations. Le sommaire complet du cours est à la page comprendre.
Sources
- Neural Machine Translation of Rare Words with Subword Units Rico Sennrich, Barry Haddow, Alexandra Birch, 2016. Établit que l’algorithme BPE, appliqué au découpage de texte en sous-mots, a été introduit en traduction automatique neuronale pour permettre à un modèle de traiter des mots rares ou inconnus en les décomposant en unités plus petites déjà connues.
- A New Algorithm for Data Compression Philip Gage, 1994. Établit que le Byte Pair Encoding, aujourd’hui utilisé pour la tokenisation des grands modèles de langage, a été conçu à l’origine comme une méthode générale de compression de données, sans lien avec le langage naturel.
- Language Model Tokenizers Introduce Unfairness Between Languages Aleksandar Petrov, Emanuele La Malfa, Philip H. S. Torr, Adel Bibi, 2023. Établit qu’un même contenu traduit dans différentes langues peut nécessiter jusqu’à quinze fois plus de jetons selon la langue, ce qui rend certaines langues structurellement plus coûteuses et plus lentes à traiter.
- Le Tour du monde en quatre-vingts jours Jules Verne, 1873, domaine public. Quinze paragraphes seulement servent à l’apprentissage, retouchés pour la lecture : apostrophes rendues typographiques, tirets et guillemets de la transcription retirés, marques d’italique retirées, titres de chapitre et table des matières écartés, paragraphes de moins de quarante signes écartés.
- Bannière de confiance de l’ODERSA ODERSA, texte canonique de la maison, publié sous licence CC BY 4.0. Sert de phrase identique à la comparaison entre langues plus haut.