上传的文件后来怎么样了

把一个文件放进一个使用人工智能的服务，很少会随之得到一句清楚的说明，告诉你这个文件接下来会怎么样。该问的问题不是“人工智能是不是要监视我”，这个说法太笼统，没法核实。研究记录下来的那个问题要精确得多：这份内容会不会在以后，在另一个人面前冒出来？一份学校作业、一张家庭照片、一份工作卷宗：上传一个文件这个动作已经变得很平常，而它后来怎么样了这个问题，并不平常。

模型可能记住整段文字

2021 年，Nicholas Carlini 和他的团队发表了一次直接的演示。他们只是向 GPT-2 提问，这是一个比现在的对话助手更早的语言模型，就从里面提取出数百条从训练数据一字不差复现的文本序列：姓名、电话号码、电子邮箱、聊天记录、计算机代码。其中某些序列在原始数据里只出现过一次。这项研究的另一个结论是：更大的模型比更小的模型记住得更多。这些信息没有一条是靠什么旁门左道找出来的：它们只是在普通的提问下冒了出来，问法和这个模型任何一次日常使用没有区别。

什么会让这个风险变大

同一团队的部分成员在 2023 年发表的第二项研究，精确测量了什么会增强这种记忆。三个因素，各自单独测量：模型的规模、同一个样本在训练数据里的重复，以及要求续写之前放进上下文的文本长度。模型越大、一个样本重复得越多、提供的上下文越长，找回一段被记住的片段的概率就越高。作者描述的是一种比人们原先设想更普遍的记忆，而且随着模型越来越大，它还会加重，除非采取措施加以控制。

这个风险不只是理论上的

还有一个可能的疑问：这些演示针对的是实验室里的模型，与真正被使用的服务无关吗？2023 年由 Milad Nasr 主导的一项研究作出了回答，它针对的是已经部署的模型：像 Pythia 或 GPT-Neo 这样的开放模型、像 LLaMA 或 Falcon 这样的半开放模型，以及一个只能通过线上服务访问的封闭模型 ChatGPT。它从中提取出了数千兆字节的训练数据。对于 ChatGPT 这个回答通常受到约束的模型，作者们设计出一种技术，逼它偏离平常的行为：这种技术让训练数据冒出来的比率，达到模型正常回答时所观察到的 150 倍。给模型加约束会降低这个风险，但不会消除它。提取出数千兆字节并不需要任何对模型的特权访问：这项研究靠的就是普通提问，条件和这个服务的任何一次日常使用一样。

在上传一个文件之前该问的问题

这些研究合起来测出的东西，把最初那个问题挪了位置。问题不在于模型在收到一个文件的那一刻会不会读它，正常使用本来就以此为前提。问题在于这份内容接下来是否会被用来训练或再训练一个模型，从而进入那个数据池，而其中的一个片段在上面所测的那些条件下，有一天可能冒出来。在把一个文件放进使用人工智能的服务之前，有两个问题要问：这个服务有没有明明白白地说，上传的数据用来做什么？它有没有提供一个真正的选择，让人可以拒绝这些数据被用于训练任何东西？其中任何一个问题没有答案，本身就是一条信息。

一份交给某个服务的内容会遇到什么，以及这个服务对此究竟说了什么，详见课程里专门讲这件事的那一章。

研究测出了什么，以及它没有说什么：

来源

• Extracting Training Data from Large Language Models Nicholas Carlini 等，2021 年。
• Quantifying Memorization Across Neural Language Models Nicholas Carlini 等，2023 年。
• Scalable Extraction of Training Data from (Production) Language Models Milad Nasr 等，2023 年。

返回博客