Las palabras en trozos
Un modelo nunca recibe una letra, ni una palabra entera: recibe trozos, aprendidos por estadística sobre un corpus. Este capítulo hace aprender el algoritmo ante sus ojos, y luego aplica el resultado a una misma frase en varios idiomas.
Todo se calcula en su navegador, a partir de un texto incrustado en la página. El corpus, el aprendizaje de las fusiones y el troceado de una frase se quedan en este dispositivo. Abra la pestaña Red de su navegador mientras manipula la herramienta: no sale ninguna petición.
El corpus de aprendizaje
El algoritmo de este capítulo aprende sobre un texto, y nada más. Aquí está, entero: los quince primeros párrafos de la novela La vuelta al mundo en ochenta días, en su francés original. Ninguna otra frase sirve para el aprendizaje más abajo: lo que lee aquí es exactamente aquello sobre lo que se ha aprendido el troceado.
El corpus se deja en francés a propósito, y ahí está la lección de este capítulo: el troceador que va a aprender aquí nunca habrá leído español. Lo que usted verá más abajo, en la comparación entre idiomas, es el precio que paga cada idioma por no ser el idioma del corpus.
Este corpus cabe en quince párrafos.
En l’année 1872, la maison portant le numéro 7 de Saville-row, Burlington Gardens maison dans laquelle Sheridan mourut en 1814, était habitée par Phileas Fogg, esq., l’un des membres les plus singuliers et les plus remarqués du Reform-Club de Londres, bien qu’il semblât prendre à tâche de ne rien faire qui pût attirer l’attention.
À l’un des plus grands orateurs qui honorent l’Angleterre, succédait donc ce Phileas Fogg, personnage énigmatique, dont on ne savait rien, sinon que c’était un fort galant homme et l’un des plus beaux gentlemen de la haute société anglaise.
On disait qu’il ressemblait à Byron par la tête, car il était irréprochable quant aux pieds, mais un Byron à moustaches et à favoris, un Byron impassible, qui aurait vécu mille ans sans vieillir.
Anglais, à coup sûr, Phileas Fogg n’était peut-être pas Londonner. On ne l’avait jamais vu ni à la Bourse, ni à la Banque, ni dans aucun des comptoirs de la Cité. Ni les bassins ni les docks de Londres n’avaient jamais reçu un navire ayant pour armateur Phileas Fogg. Ce gentleman ne figurait dans aucun comité d’administration. Son nom n’avait jamais retenti dans un collège d’avocats, ni au Temple, ni à Lincoln’s-inn, ni à Gray’s-inn. Jamais il ne plaida ni à la Cour du chancelier, ni au Banc de la Reine, ni à l’Échiquier, ni en Cour ecclésiastique. Il n’était ni industriel, ni négociant, ni marchand, ni agriculteur. Il ne faisait partie ni de l’Institution royale de la Grande-Bretagne, ni de l’Institution de Londres, ni de l’Institution des Artisans, ni de l’Institution Russell, ni de l’Institution littéraire de l’Ouest, ni de l’Institution du Droit, ni de cette Institution des Arts et des Sciences réunis, qui est placée sous le patronage direct de Sa Gracieuse Majesté. Il n’appartenait enfin à aucune des nombreuses sociétés qui pullulent dans la capitale de l’Angleterre, depuis la Société de l’Armonica jusqu’à la Société entomologique, fondée principalement dans le but de détruire les insectes nuisibles.
Phileas Fogg était membre du Reform-Club, et voilà tout.
À qui s’étonnerait de ce qu’un gentleman aussi mystérieux comptât parmi les membres de cette honorable association, on répondra qu’il passa sur la recommandation de MM. Baring frères, chez lesquels il avait un crédit ouvert. De là une certaine surface, due à ce que ses chèques étaient régulièrement payés à vue par le débit de son compte courant invariablement créditeur.
Ce Phileas Fogg était-il riche ? Incontestablement. Mais comment il avait fait fortune, c’est ce que les mieux informés ne pouvaient dire, et Mr. Fogg était le dernier auquel il convînt de s’adresser pour l’apprendre. En tout cas, il n’était prodigue de rien, mais non avare, car partout où il manquait un appoint pour une chose noble, utile ou généreuse, il l’apportait silencieusement et même anonymement.
En somme, rien de moins communicatif que ce gentleman. Il parlait aussi peu que possible, et semblait d’autant plus mystérieux qu’il était silencieux. Cependant sa vie était à jour, mais ce qu’il faisait était si mathématiquement toujours la même chose, que l’imagination, mécontente, cherchait au-delà.
Avait-il voyagé ? C’était probable, car personne ne possédait mieux que lui la carte du monde. Il n’était endroit si reculé dont il ne parût avoir une connaissance spéciale. Quelquefois, mais en peu de mots, brefs et clairs, il redressait les mille propos qui circulaient dans le club au sujet des voyageurs perdus ou égarés ; il indiquait les vraies probabilités, et ses paroles s’étaient trouvées souvent comme inspirées par une seconde vue, tant l’événement finissait toujours par les justifier. C’était un homme qui avait dû voyager partout, en esprit, tout au moins.
Ce qui était certain toutefois, c’est que, depuis de longues années, Phileas Fogg n’avait pas quitté Londres. Ceux qui avaient l’honneur de le connaître un peu plus que les autres attestaient que si ce n’est sur ce chemin direct qu’il parcourait chaque jour pour venir de sa maison au club personne ne pouvait prétendre l’avoir jamais vu ailleurs. Son seul passe-temps était de lire les journaux et de jouer au whist. À ce jeu du silence, si bien approprié à sa nature, il gagnait souvent, mais ses gains n’entraient jamais dans sa bourse et figuraient pour une somme importante à son budget de charité. D’ailleurs, il faut le remarquer, Mr. Fogg jouait évidemment pour jouer, non pour gagner. Le jeu était pour lui un combat, une lutte contre une difficulté, mais une lutte sans mouvement, sans déplacement, sans fatigue, et cela allait à son caractère.
On ne connaissait à Phileas Fogg ni femme ni enfants, ce qui peut arriver aux gens les plus honnêtes, ni parents ni amis, ce qui est plus rare en vérité. Phileas Fogg vivait seul dans sa maison de Saville-row, où personne ne pénétrait. De son intérieur, jamais il n’était question. Un seul domestique suffisait à le servir. Déjeunant, dînant au club à des heures chronométriquement déterminées, dans la même salle, à la même table, ne traitant point ses collègues, n’invitant aucun étranger, il ne rentrait chez lui que pour se coucher, à minuit précis, sans jamais user de ces chambres confortables que le Reform-Club tient à la disposition des membres du cercle. Sur vingt-quatre heures, il en passait dix à son domicile, soit qu’il dormît, soit qu’il s’occupât de sa toilette. S’il se promenait, c’était invariablement, d’un pas égal, dans la salle d’entrée parquetée en marqueterie, ou sur la galerie circulaire, au-dessus de laquelle s’arrondit un dôme à vitraux bleus, que supportent vingt colonnes ioniques en porphyre rouge. S’il dînait ou déjeunait, c’étaient les cuisines, le garde-manger, l’office, la poissonnerie, la laiterie du club, qui fournissaient à sa table leurs succulentes réserves ; c’étaient les domestiques du club, graves personnages en habit noir, chaussés de souliers à semelles de molleton, qui le servaient dans une porcelaine spéciale et sur un admirable linge en toile de Saxe ; c’étaient les cristaux à moule perdu du club qui contenaient son sherry, son porto ou son claret mélangé de cannelle, de capillaire et de cinnamome ; c’était enfin la glace du club glace venue à grands frais des lacs d’Amérique qui entretenait ses boissons dans un satisfaisant état de fraîcheur.
Si vivre dans ces conditions, c’est être un excentrique, il faut convenir que l’excentricité a du bon !
La maison de Saville-row, sans être somptueuse, se recommandait par un extrême confort. D’ailleurs, avec les habitudes invariables du locataire, le service s’y réduisait à peu. Toutefois, Phileas Fogg exigeait de son unique domestique une ponctualité, une régularité extraordinaires. Ce jour-là même, 2 octobre, Phileas Fogg avait donné son congé à James Forster ce garçon s’étant rendu coupable de lui avoir apporté pour sa barbe de l’eau à quatre-vingt-quatre degrés Fahrenheit au lieu de quatre-vingt-six, et il attendait son successeur, qui devait se présenter entre onze heures et onze heures et demie.
Phileas Fogg, carrément assis dans son fauteuil, les deux pieds rapprochés comme ceux d’un soldat à la parade, les mains appuyées sur les genoux, le corps droit, la tête haute, regardait marcher l’aiguille de la pendule, appareil compliqué qui indiquait les heures, les minutes, les secondes, les jours, les quantièmes et l’année. À onze heures et demie sonnant, Mr. Fogg devait, suivant sa quotidienne habitude, quitter la maison et se rendre au Reform-Club.
Texto: Jules Verne, Le Tour du monde en quatre-vingts jours, 1873, dominio público. La transcripción se ha retocado para la lectura: apóstrofos convertidos en tipográficos, guiones y comillas de la transcripción retirados, marcas de cursiva retiradas, títulos de capítulo y tabla de contenidos descartados, párrafos de menos de cuarenta signos descartados. La obra no se traduce aquí: una fuente se cita al pie de la letra o no se cita, y el troceado tiene que aprender sobre el texto que se lee arriba, ni uno más.
Las fusiones, en el orden en que el algoritmo las aprende
Cada fusión es una decisión: el par de símbolos más frecuente en el corpus de arriba se convierte en un símbolo nuevo. Elija cuántas fusiones tiene derecho a hacer el algoritmo, y mire cómo se llena la tabla, una fila por fusión, en el orden en que se ha aprendido.
La tabla de las fusiones aparece aquí, en el orden en que el algoritmo las aprende.
Trocear una frase
Esto es lo que esas fusiones hacen con una frase nueva: se aplican en el orden en que se aprendieron, la más antigua primero, hasta que ya no se aplica ninguna.
El troceado de su frase aparece aquí, en unidades.
La misma frase, 7 idiomas
Aquí está el punto que hay que retener de este capítulo. El mismo troceador, ajustado al número de fusiones elegido más arriba y aprendido únicamente sobre el francés, segmenta ahora una frase de sentido idéntico en 7 idiomas. El número de unidades que produce varía enormemente de un idioma a otro, y esa diferencia tiene una sola causa: este troceador nunca ha leído nada que no fuera francés.
La comparación entre idiomas aparece aquí, una barra por idioma.
Frase de origen: la banda de confianza de la ODERSA, texto canónico de la casa, publicado bajo licencia CC BY 4.0. Este troceador es un juguete aprendido sobre un texto de 1873: sus cuentas de unidades no son las de un producto, pero la mecánica que las produce es la misma.
El método
El algoritmo se llama BPE, por Byte Pair Encoding. Se concibió en 1994 como método general de compresión de datos, sin relación con el lenguaje natural (Gage, 1994). Se aplicó en 2016 al troceado de texto en subpalabras, para permitir a un modelo de traducción automática tratar palabras raras o desconocidas descomponiéndolas en unidades más pequeñas ya conocidas (Sennrich, Haddow y Birch, 2016). Es esta segunda versión, aplicada al texto, la que la demostración de más arriba acaba de poner en marcha ante sus ojos.
- Partir de los caracteres. Cada palabra del corpus se convierte en la serie de sus caracteres, un símbolo por carácter. La palabra «enseignant» empieza con diez símbolos: e, n, s, e, i, g, n, a, n, t.
- Contar todos los pares de símbolos vecinos. Para cada palabra del corpus, para cada par de símbolos que se tocan, se suma su número de apariciones, multiplicado por el número de veces que esa palabra aparece en el corpus.
- Retener el par más frecuente. En caso de empate, la regla retiene siempre el primero encontrado leyendo el corpus de izquierda a derecha, palabra tras palabra: dos personas que cuenten a mano dan con el mismo par.
- Fusionar ese par en un símbolo nuevo, en todos los sitios donde aparece en el corpus. El vocabulario gana un símbolo.
- Repetir los pasos dos a cuatro tantas veces como fusiones se quieran. Cada fusión se apoya en el estado que dejó la anterior: un rango nunca se recalcula sin haber pasado por el precedente.
- Parar. O al llegar al número de fusiones fijado por adelantado, o cuando ya ningún par se repite: cada palabra del corpus se ha convertido entonces en un solo símbolo.
- Trocear un texto nuevo con las fusiones aprendidas. Se parte de sus caracteres, y se aplican las fusiones en el orden en que se aprendieron, la más antigua primero, mientras siga habiendo en él un par de la lista. Una palabra que no comparte ningún carácter con el corpus de aprendizaje no encuentra ninguna fusión: se queda descompuesta en caracteres, uno a uno.
Un ejemplo entero, a mano, sobre un corpus de dos palabras del francés:
«enseignant», contada cuatro veces, y «grand», contada tres veces. El par
a seguido de n aparece siete veces en total, cuatro en
«enseignant» y tres en «grand»: ningún otro par alcanza esa cuenta, así que
fusiona primero. Todas las fusiones siguientes quedan después empatadas a cuatro
apariciones: la regla retiene la primera encontrada leyendo «enseignant» de
izquierda a derecha.
| Rango | Par fusionado | Símbolo obtenido | Apariciones |
|---|---|---|---|
| 1 | a + n | an | 7 |
| 2 | e + n | en | 4 |
| 3 | en + s | ens | 4 |
| 4 | ens + e | ense | 4 |
| 5 | ense + i | ensei | 4 |
| 6 | ensei + g | enseig | 4 |
Al cabo de esas seis fusiones, «enseignant» se escribe enseig, n, an, t y
«grand» se escribe g, r, an, d: cuatro símbolos cada una, y un símbolo
común, an, aprendido gracias a las dos palabras a la vez. Es
exactamente esta mecánica la que la tabla de la sección anterior aplica a la
novela entera.
Una unidad no es una palabra
Una unidad, o token, es un símbolo retenido por las fusiones: a veces una palabra entera, a veces un fragmento, a veces un solo carácter. Nada en el algoritmo conoce la sílaba, la raíz o la terminación de una palabra: solo cuenta la frecuencia de los pares en el corpus de aprendizaje.
La tabla de más arriba lo muestra en un rango avanzado: el nombre «Fogg» se convierte en un símbolo único, simplemente porque aparece muchísimo en esos quince párrafos. Otro corpus, sin ese personaje, no habría aprendido nunca ese símbolo. El vocabulario de un modelo no es, por tanto, una lista de palabras elegidas por su sentido: es la huella estadística del texto con el que se ha construido.
Por qué un modelo no ve nunca una letra
Una vez hecho el troceado, el texto ya solo existe para el modelo en forma de esas unidades, convertidas en números. El modelo calcula sobre esos números: no tiene ninguna operación que diga «la tercera letra de esta unidad», porque la unidad no se conserva como una serie de letras una vez convertida en símbolo.
Cuando una unidad corresponde a un solo carácter, el acceso a la letra existe por casualidad. En cuanto una unidad agrupa varios caracteres, como muestra el troceado de la palabra «palabras» de más arriba, ese acceso desaparece: el modelo razona sobre el símbolo entero, nunca sobre sus letras una a una.
Lo que esta mecánica explica mal
Tres tareas muy corrientes exigen un acceso directo a la letra. El troceado en unidades las vuelve, por construcción, poco fiables.
- Contar las letras de una palabra
- Si la palabra entera cabe en una sola unidad, o si una unidad agrupa varias letras idénticas, contar equivale a contar unidades que no corresponden a ninguna letra precisa. La respuesta puede acertar, tanto por casualidad como por cálculo.
- Juzgar si dos palabras riman
- Una rima se juzga por los últimos sonidos, es decir, por las últimas letras. Si la frontera de una unidad cae en otro sitio que en ese final de palabra, lo que debería compararse letra a letra se compara entre unidades que no se solapan.
- Escribir una palabra al revés, letra por letra
- Invertir una palabra supone disponer de cada una de sus letras, en orden. Un modelo que recibe la palabra ya agrupada en dos o tres unidades tiene que reconstruir primero letras que nunca ha manejado por separado.
El coste por idioma
La comparación de más arriba lo muestra en directo: un troceador aprendido sobre un corpus produce pocas unidades para un texto cercano a ese corpus, y muchas más para un texto que se aleja de él. Una medición publicada establece esa misma diferencia sobre troceadores reales de producción: un mismo contenido, traducido a idiomas distintos, puede necesitar hasta quince veces más tokens según el idioma, lo que vuelve algunos idiomas estructuralmente más costosos y más lentos de tratar (Petrov, La Malfa, Torr y Bibi, 2023).
The AI Manual sirve este curso en 7 idiomas. Esa diferencia no es, por tanto, una curiosidad: una página que cuesta pocos tokens en francés puede costar muchos más en un idioma de escritura distinta, lo que pesa sobre la velocidad de respuesta y sobre la parte de contexto que queda disponible para la continuación de la conversación.
Para ir más lejos
Una vez el texto en unidades, el modelo predice la unidad siguiente: esa mecánica es el tema del capítulo la próxima palabra. Otras mecánicas se manipulan de la misma manera en la página demostraciones. El índice completo del curso está en la página entender.
Fuentes
- Neural Machine Translation of Rare Words with Subword Units Rico Sennrich, Barry Haddow, Alexandra Birch, 2016. Establece que el algoritmo BPE, aplicado al troceado de texto en subpalabras, se introdujo en traducción automática neuronal para permitir a un modelo tratar palabras raras o desconocidas descomponiéndolas en unidades más pequeñas ya conocidas.
- A New Algorithm for Data Compression Philip Gage, 1994. Establece que el Byte Pair Encoding, hoy usado para la tokenización de los grandes modelos de lenguaje, se concibió en origen como un método general de compresión de datos, sin relación con el lenguaje natural.
- Language Model Tokenizers Introduce Unfairness Between Languages Aleksandar Petrov, Emanuele La Malfa, Philip H. S. Torr, Adel Bibi, 2023. Establece que un mismo contenido traducido a distintos idiomas puede necesitar hasta quince veces más tokens según el idioma, lo que vuelve algunos idiomas estructuralmente más costosos y más lentos de tratar.
- Le Tour du monde en quatre-vingts jours Jules Verne, 1873, dominio público. Solo quince párrafos sirven para el aprendizaje, retocados para la lectura: apóstrofos convertidos en tipográficos, guiones y comillas de la transcripción retirados, marcas de cursiva retiradas, títulos de capítulo y tabla de contenidos descartados, párrafos de menos de cuarenta signos descartados.
- Banda de confianza de la ODERSA ODERSA, texto canónico de la casa, publicado bajo licencia CC BY 4.0. Sirve de frase idéntica para la comparación entre idiomas de más arriba.