Qué quiere decir «inventar», para una máquina que predice

Un modelo de lenguaje no consulta ninguna base de hechos para responder. Calcula una distribución de probabilidad sobre la palabra siguiente, como muestra el capítulo la próxima palabra, y luego sortea dentro. Ese cálculo no cambia nunca de naturaleza según que el tema esté abundantemente documentado en su corpus o completamente ausente: es la misma fórmula, aplicada a cuentas distintas.

«Inventar» no designa por tanto una avería. Es lo que hace el modelo en cada palabra, tenga materia o no. Cuando falta, la distribución se apoya en un contexto más corto, y luego en uno más corto todavía, hasta el conjunto del corpus si hace falta: siempre existe, siempre produce una palabra, y nada en la manera de producirla cambia. El nombre que la investigación da a ese fenómeno es la alucinación: una salida fluida y gramaticalmente correcta, sin relación garantizada con un hecho verificable.

Interrogar al mismo modelo sobre lo que le falta

El modelo de esta página es el del capítulo la próxima palabra: un modelo de n-gramas, aprendido sobre Le Tour du monde en quatre-vingts jours, de Jules Verne, publicado en 1873, en su francés original. Esa novela tiene … palabras y signos de puntuación, para un vocabulario de … palabras distintas. Un texto de 1873 no puede saber nada de lo que todavía no existía, ni de lo que simplemente no contiene: eso es lo que permite saber, con certeza, lo que el modelo no ha leído nunca.

Escriba un comienzo de una a tres palabras que la novela contenga realmente, o elija un ejemplo. Después escriba un comienzo que seguro que no contiene. El modelo responde en los dos casos, de la misma manera. Al lado de su respuesta, una medición que un producto corriente nunca muestra: el número de veces que ese comienzo exacto aparece en todo el corpus, cero si nunca ha figurado en él.

Lo que la demostración muestra

Una misma voz, exista la materia o no

Pruebe «Phileas Fogg avait», un comienzo que la novela contiene realmente, y luego «Phileas Fogg alluma son smartphone», que evidentemente no figura en ella. Las dos continuaciones suenan igual: misma longitud, misma gramática, mismo tono seguro. Ninguna de las dos avisa de lo que sabe o no sabe.

El repliegue es silencioso: nadie lo ve pasar

Cuando no se ha visto ninguna de las palabras pedidas, el modelo no se detiene: cae sobre la palabra más frecuente de toda la novela, sin señalarlo en ninguna parte del texto producido. Pruebe dos comienzos sin relación que caigan los dos en ese caso, con la misma semilla: obtendrá el mismo texto, palabra por palabra. La respuesta ya no viene entonces de lo que usted ha pedido, sino de lo que el corpus contiene más a menudo.

El método

Esto es lo que hace el botón «Interrogar al modelo», en orden. Se puede repetir a mano, con la novela abierta y un lápiz.

1. Trocear el comienzo. El texto escrito se convierte en una serie de palabras y de signos de puntuación, como en el capítulo la próxima palabra.
2. Buscar el contexto conocido más largo. El modelo busca si las tres últimas palabras del comienzo han sido ya seguidas de una palabra, en alguna parte de la novela. Si no, busca con dos palabras. Si no, con una sola. Si no, cae sobre el conjunto de la novela: esa tabla existe siempre, nunca puede estar vacía mientras el corpus no lo esté.
3. Contar. En la tabla retenida, cualquiera que sea su nivel, anotar cada palabra que ha seguido y cuántas veces. Esta etapa es idéntica, sea el contexto retenido el pedido o un repliegue.
4. Sortear, y volver a empezar. Se sortea una palabra en esas cuentas, se añade a la serie, y la etapa dos vuelve a empezar para la palabra siguiente. Eso es lo que produce el texto generado, cualquiera que haya sido la pregunta de partida.
5. Contar, por separado, el comienzo exacto. Esto no sirve para responder: es una medición aparte, que cuenta cuántas veces la serie de palabras pedida, tal cual, se ha visto en toda la novela. Un modelo real nunca muestra ese número. Esta página sí.

La etapa cinco es la que falta en un producto corriente. Nada impide técnicamente que exista: simplemente no está en lo que la interfaz muestra.

Por qué la fluidez no es señal de verdad

La fluidez de una respuesta, su gramática correcta, su tono seguro, vienen todas del mismo cálculo que la propia palabra. No existe ninguna etapa separada que verifique el contenido antes de escribirlo. Una frase verdadera y una frase inventada atraviesan exactamente la misma mecánica, y nada en esa mecánica favorece a la primera.

No es un defecto aislado: es la consecuencia de la forma en que el modelo se entrena, y luego se califica. El entrenamiento recompensa una continuación que se parece a lo que contienen los textos; no existe, en ese cálculo, ninguna casilla «no lo sé» que rinda tanto como una buena respuesta.

La evaluación que viene después agrava el problema en lugar de corregirlo. La mayoría de las pruebas solo puntúan si una respuesta es exacta o falsa: una respuesta falsa y una abstención reciben la misma nota, cero. Adivinar se convierte entonces en la mejor estrategia posible, exactamente como a quien se examina con preguntas de opción múltiple le conviene marcar una casilla al azar antes que dejarla vacía, puesto que una casilla vacía nunca da ningún punto y una casilla al azar puede dar uno. Un modelo optimizado para ese tipo de nota aprende la misma estrategia: adivinar renta, abstenerse no renta nunca.

Nada, en esa mecánica, empuja al modelo a distinguir un comienzo que conoce bien de un comienzo que no conoce en absoluto. Los dos pasan por el mismo cálculo hasta el final, y nada interrumpe la cadena para señalar la ausencia.

Lo que un modelo real añade, y lo que no quita

Esta demostración es honesta con una condición: decir dónde se detiene la analogía.

Lo que la investigación ha medido

Existe una revisión de referencia que clasifica las causas y las formas de alucinación de los grandes modelos de lenguaje, así como los métodos de detección y de atenuación propuestos por la investigación: la cuestión se estudia desde hace varios años, no tiene nada de anecdótica.

Un trabajo teórico va más lejos y sostiene, a partir de resultados de teoría del aprendizaje, que cierta tasa de alucinación sería matemáticamente inevitable para un modelo de lenguaje usado como resolutor general de problemas. Esa conclusión sigue en discusión: trabajos posteriores cuestionan que sus hipótesis formales se apliquen a los usos reales y finitos de los modelos. Ese desacuerdo no versa sobre la existencia del problema, solo sobre su magnitud exacta.

El gesto que conviene guardar

Este capítulo no dice que haya que desconfiar de todo lo que un modelo escribe: dice que no hay que confundir nunca el aplomo de una respuesta con su exactitud. Las dos cosas no están ligadas por ninguna mecánica del cálculo: pueden coincidir, y pueden igualmente no coincidir, sin que ninguna señal lo distinga.

Lo que debe disparar una verificación no es, por tanto, nunca el tono de la respuesta. Es la naturaleza de lo que se afirma: una fecha precisa, una cifra, una referencia, una cita, un nombre propio, una dirección, todo lo que podría ser verdadero o falso independientemente del estilo de la frase que lo lleva. Cuanto más preciso y verificable es un detalle, más merece una fuente exterior: precisamente ahí la fluidez del modelo es idéntica, tenga la materia o la invente.

Preguntar al modelo si está seguro no sirve de nada: su respuesta a esa pregunta la genera el mismo cálculo, sin acceso a ninguna medición interna de verdad. La pregunta útil es siempre: ¿existe, en otra parte, una fuente independiente y verificable de esa afirmación? Cuando la respuesta es no, esa es la respuesta.

Para ir más lejos

La mecánica de la distribución y del sorteo se explica en el capítulo la próxima palabra. Otra consecuencia del mismo cálculo, la reproducción de los sesgos del corpus, se trata en el capítulo de dónde vienen los sesgos. Las situaciones en las que la herramienta se cierra por completo están reunidas en cuándo no usarla. Todas las demostraciones del sitio están reunidas en la página demostraciones, y el índice del curso en la página entender.

Fuentes

• Why Language Models Hallucinate Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang, 2025. Establece que los procedimientos de entrenamiento y sobre todo de evaluación actuales recompensan adivinar una respuesta plausible antes que admitir la incertidumbre, igual que un estudiante adivina una respuesta en un examen de opción múltiple antes que dejarla en blanco.
• A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions Lei Huang, Weijiang Yu, Weitao Ma, Weihong Zhong, Zhangyin Feng, Haotian Wang, Qianglong Chen, Weihua Peng, Xiaocheng Feng, Bing Qin, Ting Liu, 2023. Establece que existe una revisión de referencia que clasifica las causas y las formas de alucinación de los grandes modelos de lenguaje, así como los métodos de detección y de atenuación propuestos por la investigación.
• Hallucination is Inevitable: An Innate Limitation of Large Language Models Ziwei Xu, Sanjay Jain, Mohan Kankanhalli, 2024. Establece, a partir de resultados de teoría del aprendizaje, que cierta tasa de alucinación sería matemáticamente inevitable para un modelo de lenguaje usado como resolutor general de problemas. Resultado en discusión: trabajos posteriores cuestionan que sus hipótesis formales se apliquen a los usos reales y finitos de los modelos.
• Le Tour du monde en quatre-vingts jours Jules Verne, J. Hetzel et Compagnie, 1873, dominio público. Transcripción: Wikisource. Mismo corpus, retocado de forma idéntica, que en el capítulo la próxima palabra: apóstrofos convertidos en tipográficos, guiones y comillas de la transcripción retirados, marcas de cursiva retiradas, títulos de capítulo y tabla de contenidos descartados, párrafos de menos de cuarenta signos descartados.