Ce que devient un fichier déposé
Avant de déposer un fichier dans un service qui utilise l’intelligence artificielle, une question précise se pose : ce contenu peut-il ressortir, plus tard, face à quelqu’un d’autre ?
Déposer un fichier dans un service qui utilise l’intelligence artificielle déclenche rarement une explication claire de ce qui arrive ensuite à ce fichier. La question à se poser n’est pas « l’IA va-t-elle m’espionner », une formule trop vague pour se vérifier. La question documentée par la recherche est plus précise : ce contenu peut-il ressortir, plus tard, face à quelqu’un d’autre ? Un devoir scolaire, une photographie de famille, un dossier professionnel : le geste de déposer un fichier est devenu banal, la question de ce qu’il devient ensuite ne l’est pas.
Un modèle peut retenir des passages entiers
En 2021, Nicholas Carlini et son équipe publient une démonstration directe. En interrogeant simplement GPT-2, un modèle de langage antérieur aux assistants conversationnels actuels, ils en extraient des centaines de séquences de texte reproduites mot pour mot depuis ses données d’entraînement : des noms, des numéros de téléphone, des adresses de courriel, des échanges de discussion, du code informatique. Certaines de ces séquences n’apparaissaient qu’une seule fois dans les données d’origine. Autre constat de l’étude : les modèles les plus grands mémorisent davantage que les plus petits. Aucune de ces informations n’avait été recherchée par un moyen détourné : elles sont simplement ressorties en réponse à des questions ordinaires, posées comme n’importe quel usage courant du modèle.
Ce qui fait grossir ce risque
Une seconde étude, publiée par une partie de la même équipe en 2023, mesure précisément ce qui augmente la mémorisation. Trois facteurs, chacun mesuré séparément : la taille du modèle, la répétition d’un même exemple dans les données d’entraînement, et la longueur du texte donné en contexte avant de demander une suite. Plus un modèle est grand, plus un exemple s’est répété, plus le contexte fourni est long, plus la probabilité de retrouver un fragment mémorisé augmente. Les auteurs décrivent une mémorisation plus répandue qu’on ne le pensait, appelée à s’aggraver avec des modèles toujours plus grands, sauf mesure prise pour la contenir.
Le risque n’est pas seulement théorique
Une objection reste possible : ces démonstrations visent-elles des modèles de laboratoire, sans rapport avec un service réellement utilisé ? Une étude de 2023, dirigée par Milad Nasr, répond en visant des modèles déjà déployés : des modèles ouverts comme Pythia ou GPT-Neo, semi-ouverts comme LLaMA ou Falcon, et un modèle fermé accessible uniquement par un service en ligne, ChatGPT. Elle en extrait des gigaoctets de données d’entraînement. Pour ChatGPT, un modèle dont les réponses sont normalement encadrées, les auteurs mettent au point une technique qui force le modèle à s’écarter de son comportement habituel : cette technique fait ressortir des données d’entraînement à un taux 150 fois supérieur à celui observé quand le modèle répond normalement. L’encadrement d’un modèle réduit ce risque, il ne l’annule pas. Extraire des gigaoctets ne suppose aucun accès privilégié au modèle : l’étude procède par simple interrogation, dans les mêmes conditions que n’importe quel usage courant du service.
La question à se poser avant de déposer un fichier
Ce que ces études mesurent ensemble déplace la question initiale. Il ne s’agit pas de savoir si un modèle lit un fichier au moment où il le reçoit, ce qu’un usage normal suppose déjà. Il s’agit de savoir si ce contenu peut ensuite servir à entraîner ou ré-entraîner un modèle, et donc rejoindre le réservoir dont un fragment peut, dans les conditions mesurées plus haut, ressortir un jour. Avant de déposer un fichier dans un service qui utilise l’IA, deux questions se posent : ce service dit-il, en clair, à quoi servent les données déposées ? Et propose-t-il un choix réel de refuser qu’elles servent à entraîner quoi que ce soit ? L’absence de réponse à l’une ou l’autre est, en soi, une information.
Ce qu’il advient d’un contenu confié à un service, et ce que ce service en dit réellement, est détaillé dans le chapitre du cours qui lui est consacré.
Ce que la recherche a mesuré, et ce qu’elle ne dit pas :
- L’extraction de données d’entraînement mémorisées, dont des informations personnelles, en interrogeant un modèle réellement déployé.
- Une mémorisation qui augmente avec la taille du modèle, la répétition d’un exemple, et la longueur du contexte fourni.
- Une surveillance en temps réel de ce qui est écrit : ces études documentent une possible ressortie ultérieure, pas une lecture instantanée transmise à un tiers.
Sources
- Extracting Training Data from Large Language Models Nicholas Carlini et al., 2021.
- Quantifying Memorization Across Neural Language Models Nicholas Carlini et al., 2023.
- Scalable Extraction of Training Data from (Production) Language Models Milad Nasr et al., 2023.
Cet article est publié sous licence CC BY 4.0 : copiez-le, traduisez-le, republiez-le en citant l’ODERSA.