La pregunta «¿me espía la inteligencia artificial?» no se puede verificar: es demasiado vaga para que una respuesta sea verdadera o falsa. La pregunta que sí se verifica es más estrecha. ¿Lo que acabo de subir puede reaparecer algún día, ante otra persona? Esa pregunta tiene una respuesta medida, y depende de cuatro gestos que primero hay que distinguir.

Las cuatro cosas que «dar» reúne

Una misma subida de archivo desencadena hasta cuatro operaciones. No tienen ni el mismo carácter inevitable, ni las mismas consecuencias.

Leer, para responder ahora

El contenido se trocea en unidades y se coloca en el contexto del modelo, que calcula su respuesta a partir de ahí. Esta operación es inevitable: es exactamente lo que se le pide al servicio. Termina con la respuesta.

Conservar, en los servidores del servicio

El contenido y la respuesta se registran, para el historial de la conversación, para tramitar avisos, para la moderación. Un plazo de conservación es una decisión del servicio, no una propiedad del modelo.

Reentrenar, con ese contenido entre otros

El contenido se suma al depósito de datos que servirá para entrenar una versión siguiente del modelo. Aquí es donde la subida deja de ser un intercambio y se convierte en una aportación duradera, a menudo sin que la persona lo haya querido.

Devolver, más tarde, a otra persona

Un modelo entrenado con un contenido puede reproducirlo palabra por palabra en respuesta a una pregunta corriente hecha por otra persona. No es una hipótesis: es el resultado medido por los trabajos citados más abajo.

Las dos primeras operaciones son cosa de una política de servicio, que se lee y se compara. Las dos últimas son cosa del funcionamiento de un modelo, y es lo que explica este capítulo.

Un modelo retiene, y eso se mide

Un modelo no tiene una base de datos donde se pudieran recuperar los textos que ha leído. Sus datos de entrenamiento no están guardados en algún sitio dentro de él: han modificado sus parámetros. Por eso la palabra «memoria» induce a error. Y sin embargo pasajes enteros vuelven a salir, y la investigación sabe en qué condiciones.

En 2021, un equipo dirigido por Nicholas Carlini extrae de un modelo de lenguaje centenares de secuencias reproducidas palabra por palabra desde sus datos de entrenamiento, entre ellas información personal identificable. El método no tiene nada de rodeo: son preguntas corrientes. Algunas de las secuencias recuperadas solo aparecían una vez en los datos de origen.

Un segundo estudio, en 2023, mide lo que hace crecer ese fenómeno. Tres factores, cada uno establecido por separado.

1. El tamaño del modelo. Cuantos más parámetros tiene, más memoriza.
2. La duplicación de un ejemplo en los datos. Un contenido presente varias veces vuelve a salir con más facilidad que un contenido presente una vez.
3. La longitud del texto dado como contexto antes de pedir una continuación. Cuanto más largo es el comienzo, más probable es la devolución.

A estas alturas queda una objeción abierta: puede que estas demostraciones apunten a modelos de laboratorio, sin relación con un servicio realmente usado. Un tercer estudio, del mismo año, responde apuntando a modelos ya desplegados en producción, incluido un modelo de gran público cuyas respuestas están encuadradas, y extrae de ellos gigabytes de datos de entrenamiento por simple interrogación. El encuadre de un modelo reduce ese riesgo. No lo anula.

Leer lo que un servicio dice de verdad

Una política de uso se lee buscando tres formulaciones precisas, y no una impresión general de seriedad.

Lo que la frase recubre

«Mejorar nuestros servicios» es la fórmula que recubre más a menudo el reentrenamiento, sin nombrarlo. No es ni mentirosa ni informativa. El texto útil dice, en su lugar, qué se hace con el contenido, y quién lo hace.

La opción, y su valor por defecto

A veces existe una negativa al reentrenamiento, y su forma cuenta más que su existencia. Una negativa que se aplica por defecto protege a todo el mundo. Una negativa que hay que ir a buscar en un ajuste solo protege a las personas que saben que está ahí, es decir, a casi nadie. Una política se juzga por su valor por defecto, no por sus opciones.

El plazo, y lo que queda después

Un plazo de conservación no dice nada del modelo ya entrenado. Borrar una conversación quita un registro de un servidor; eso no quita de un modelo lo que ese contenido ya ha modificado en él. Un modelo entrenado no se desentrena de un contenido al borrar una cuenta.

Antes de subir un archivo

Tres preguntas, en este orden. La ausencia de respuesta a una de ellas es en sí misma una respuesta.

1. ¿Este servicio dice, con claridad y sin fórmulas envolventes, para qué sirven los contenidos subidos?
2. ¿La negativa al reentrenamiento es el comportamiento por defecto, o un ajuste que hay que ir a buscar?
3. ¿Este contenido pertenece a otra persona? Un expediente profesional, un trabajo de un alumno, un documento médico, una fotografía de familia comprometen a personas que no han aceptado nada.

Este último punto es el que más se olvida, y el único que no se repara. Aceptar condiciones para uno mismo es una decisión. Aceptarlas para un tercero que no está presente, no lo es.

Lo que se sube, lo que no se sube

No existe una lista universal, porque el riesgo depende de lo que esté en juego. Este reparto vale para un servicio cuya política de reentrenamiento no está clara.

El gesto que conviene guardar

Sustituir antes de enviar. La mayoría de los usos profesionales de un modelo no piden los nombres reales, ni las fechas reales, ni los importes reales: piden la forma del problema. Un expediente reescrito con datos de sustitución obtiene la misma ayuda y no aporta nada al depósito. Es el único gesto de este capítulo que no depende de la política de ningún servicio.

Para ir más lejos

La mecánica que hace que un modelo responda incluso sin saber nada se trata en el capítulo por qué inventa. La composición de los datos y sus efectos se tratan en el capítulo de dónde vienen los sesgos. Las situaciones en las que la herramienta se cierra por completo están reunidas en cuándo no usarla. Hay una lectura más corta del mismo tema publicada en el blog: lo que pasa con un archivo subido. El índice del curso está en la página entender.

Fuentes

• Extracting Training Data from Large Language Models Nicholas Carlini, Florian Tramer, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts, Tom Brown, Dawn Song, Ulfar Erlingsson, Alina Oprea, Colin Raffel, 2021. Establece que centenares de secuencias de texto presentes en los datos de entrenamiento, incluida información personal identificable, se extrajeron palabra por palabra con solo interrogar al modelo.
• Quantifying Memorization Across Neural Language Models Nicholas Carlini, Daphne Ippolito, Matthew Jagielski, Katherine Lee, Florian Tramer, Chiyuan Zhang, 2023. Establece que la memorización aumenta con el tamaño del modelo, con el número de veces que un ejemplo se duplica en los datos, y con la longitud del texto dado como contexto.
• Scalable Extraction of Training Data from (Production) Language Models Milad Nasr, Nicholas Carlini, Jonathan Hayase, Matthew Jagielski, A. Feder Cooper, Daphne Ippolito, Christopher A. Choquette-Choo, Eric Wallace, Florian Tramer, Katherine Lee, 2023. Establece que se extrajeron gigabytes de datos de entrenamiento de modelos realmente desplegados en producción, incluido un modelo de gran público alineado, mediante un ataque simple.
• Datasheets for Datasets Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, Kate Crawford, 2018. Establece que existe una propuesta normalizada para documentar la procedencia, la composición y el modo de recogida de un conjunto de datos, a fin de poder remontarse al origen de un problema constatado en lugar de descubrirlo una vez desplegado el modelo.