La question « est-ce que l’intelligence artificielle m’espionne ? » ne se vérifie pas : elle est trop vague pour qu’une réponse soit vraie ou fausse. La question qui se vérifie est plus étroite. Ce que je viens de déposer peut-il ressortir un jour, devant quelqu’un d’autre ? Cette question a une réponse mesurée, et elle tient à quatre gestes qu’il faut d’abord distinguer.

Les quatre choses que « donner » réunit

Un même dépôt de fichier déclenche jusqu’à quatre opérations. Elles n’ont ni le même caractère inévitable, ni les mêmes conséquences.

Lire, pour répondre maintenant

Le contenu est découpé en unités et placé dans le contexte du modèle, qui calcule sa réponse à partir de là. Cette opération est inévitable : c’est exactement ce qu’on demande au service. Elle s’arrête avec la réponse.

Conserver, sur les serveurs du service

Le contenu et la réponse sont enregistrés, pour l’historique de la conversation, pour le traitement des signalements, pour la modération. Une durée de conservation est une décision du service, pas une propriété du modèle.

Réentraîner, avec ce contenu parmi d’autres

Le contenu rejoint le réservoir de données qui servira à entraîner une version suivante du modèle. C’est ici que le dépôt cesse d’être un échange et devient une contribution durable, souvent sans que la personne l’ait voulu.

Restituer, plus tard, à quelqu’un d’autre

Un modèle entraîné sur un contenu peut le reproduire mot pour mot en réponse à une question ordinaire posée par une autre personne. Ce n’est pas une hypothèse : c’est le résultat mesuré par les travaux cités plus bas.

Les deux premières opérations relèvent d’une politique de service, qui se lit et qui se compare. Les deux dernières relèvent du fonctionnement d’un modèle, et c’est ce que ce chapitre explique.

Un modèle retient, et cela se mesure

Un modèle n’a pas de base de données où l’on retrouverait les textes qu’il a lus. Ses données d’entraînement ne sont pas rangées quelque part en lui : elles ont modifié ses paramètres. C’est pourquoi le mot « mémoire » induit en erreur. Il reste que des passages entiers ressortent, et que la recherche sait dans quelles conditions.

En 2021, une équipe conduite par Nicholas Carlini extrait d’un modèle de langue des centaines de séquences reproduites mot pour mot depuis ses données d’entraînement, dont des informations personnelles identifiables. La méthode n’a rien d’un contournement : ce sont des questions ordinaires. Certaines des séquences retrouvées n’apparaissaient qu’une seule fois dans les données d’origine.

Une seconde étude, en 2023, mesure ce qui fait grossir ce phénomène. Trois facteurs, chacun établi séparément.

1. La taille du modèle. Plus il a de paramètres, plus il mémorise.
2. La duplication d’un exemple dans les données. Un contenu présent plusieurs fois ressort plus facilement qu’un contenu présent une fois.
3. La longueur du texte donné en contexte avant de demander une suite. Plus l’amorce est longue, plus la restitution est probable.

Une objection reste ouverte à ce stade : ces démonstrations visent peut-être des modèles de laboratoire, sans rapport avec un service réellement utilisé. Une troisième étude, la même année, répond en visant des modèles déjà déployés en production, y compris un modèle grand public dont les réponses sont encadrées, et en extrait des gigaoctets de données d’entraînement par simple interrogation. L’encadrement d’un modèle réduit ce risque. Il ne l’annule pas.

Lire ce qu’un service dit vraiment

Une politique d’usage se lit en cherchant trois formulations précises, et non une impression générale de sérieux.

Ce que la phrase recouvre

« Améliorer nos services » est la formule qui recouvre le plus souvent le réentraînement, sans le nommer. Elle n’est ni mensongère ni informative. Le texte utile dit à la place ce qui est fait du contenu, et par qui.

Le choix, et son défaut

Un refus du réentraînement existe parfois, et sa forme compte davantage que son existence. Un refus qui s’applique par défaut protège tout le monde. Un refus qu’il faut aller chercher dans un réglage ne protège que les personnes qui savent qu’il est là, c’est-à-dire presque personne. Une politique se juge à son défaut, pas à ses options.

La durée, et ce qui reste après

Une durée de conservation ne dit rien du modèle déjà entraîné. Supprimer une conversation retire un enregistrement d’un serveur ; cela ne retire pas d’un modèle ce que ce contenu a déjà modifié en lui. Un modèle entraîné ne se désentraîne pas d’un contenu par une suppression de compte.

Avant de déposer un fichier

Trois questions, dans cet ordre. L’absence de réponse à l’une d’elles est elle-même une réponse.

1. Ce service dit-il, en clair et sans formule enveloppante, à quoi servent les contenus déposés ?
2. Le refus du réentraînement est-il le comportement par défaut, ou un réglage à aller chercher ?
3. Ce contenu appartient-il à quelqu’un d’autre ? Un dossier professionnel, un devoir d’élève, un document médical, une photographie de famille engagent des personnes qui n’ont rien accepté.

Ce dernier point est le plus souvent oublié, et c’est le seul qui ne se répare pas. Accepter des conditions pour soi est un choix. Les accepter pour un tiers qui n’est pas là n’en est pas un.

Ce qui se dépose, ce qui ne se dépose pas

Il n’existe pas de liste universelle, parce que le risque dépend de l’enjeu. Cette répartition tient pour un service dont la politique de réentraînement n’est pas établie.

Le geste à garder

Remplacer avant d’envoyer. La plupart des usages professionnels d’un modèle ne demandent pas les vrais noms, les vraies dates ni les vrais montants : ils demandent la forme du problème. Un dossier réécrit avec des données de remplacement obtient la même aide et ne verse rien au réservoir. C’est le seul geste de ce chapitre qui ne dépend de la politique d’aucun service.

Pour aller plus loin

Le mécanisme qui fait qu’un modèle répond même sans rien savoir est traité au chapitre pourquoi il invente. La composition des données et ses effets sont traités au chapitre d’où viennent les biais. Les situations où l’outil se referme sont réunies dans quand ne pas s’en servir. Une lecture plus courte du même sujet est publiée au blog : ce que devient un fichier déposé. Le sommaire du cours est à la page comprendre.

Sources

• Extracting Training Data from Large Language Models Nicholas Carlini, Florian Tramer, Eric Wallace, Matthew Jagielski, Ariel Herbert-Voss, Katherine Lee, Adam Roberts, Tom Brown, Dawn Song, Ulfar Erlingsson, Alina Oprea, Colin Raffel, 2021. Établit que des centaines de séquences de texte présentes dans les données d’entraînement, incluant des informations personnelles identifiables, ont été extraites mot pour mot en interrogeant simplement le modèle.
• Quantifying Memorization Across Neural Language Models Nicholas Carlini, Daphne Ippolito, Matthew Jagielski, Katherine Lee, Florian Tramer, Chiyuan Zhang, 2023. Établit que la mémorisation augmente avec la taille du modèle, avec le nombre de fois qu’un exemple est dupliqué dans les données, et avec la longueur du texte donné en contexte.
• Scalable Extraction of Training Data from (Production) Language Models Milad Nasr, Nicholas Carlini, Jonathan Hayase, Matthew Jagielski, A. Feder Cooper, Daphne Ippolito, Christopher A. Choquette-Choo, Eric Wallace, Florian Tramer, Katherine Lee, 2023. Établit que des gigaoctets de données d’entraînement ont été extraits de modèles réellement déployés en production, y compris un modèle grand public aligné, par une attaque simple.
• Datasheets for Datasets Timnit Gebru, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, Kate Crawford, 2018. Établit qu’il existe une proposition standardisée pour documenter la provenance, la composition et le mode de collecte d’un jeu de données, afin de pouvoir remonter à l’origine d’un problème constaté plutôt que de le découvrir une fois le modèle déployé.