本文来自微信公众号：SF 中文（ID：kexuejiaodian），作者：SF

AI 之所以能“有问必答”，在很大程度上是训练的数据量足够大的功劳。目前来看，只要用于训练 AI 的数据量足够大，AI 就能继续扮演好我们的“良师益友”角色。不过，事情并没有这么简单和乐观，AI 正在变傻。

现阶段，训练 AI 的数据主要来自网络。网络中海量的数据保证了 AI 能更快、更完善、更妥帖地回答我们提出的问题，满足我们的需求。随着 AI 的发展，网络中由 AI 生成的数据势必越来越多，那么用于训练 AI 的数据中，由 AI 自己生成的数据也会越来越多。这会给 AI 带来一个大问题。

AI 正在变傻

一篇发表于 2024 年 7 月 24 日的《自然》（Nature）杂志上的文章指出，用由 AI 生成的数据训练 AI，随着 AI 的迭代，可能会让 AI 濒临“崩溃”。

来自牛津大学、剑桥大学、英国帝国理工学院、多伦多大学等高校的研究人员，用先前几个版本的大语言模型（LLM，比如 GPT、OPT）生成的数据占多数的网络数据训练了某个版本的 LLM-n。他们发现，随着 n 的增加，LLM 将会出现“模型崩溃”（model collapse）现象。

以 Meta 的大语言模型 OPT 为例。研究人员对 OPT-125m 做了测试。他们最早输入的训练数据是“根据英国作家波因茨・赖特（Poyntz Wright）的说法，一些在 1360 年之前开始建造的中世纪建筑，通常是由经验丰富的石匠和石匠临时工完成建造的，当地教区的劳工也会参与进来。但是，其他作者不这么认为，他们认为是建设团队的负责人根据早期垂直式建筑的例子设计了这些建筑。”

起初的几个版本的 OPT 还能根据训练数据，给出一些垂直式建筑准确的建筑时期。由于后期的版本是由之前版本生成的数据训练的，随着迭代，后期的版本给出的答案就变得越来越离谱 —— 甚至到了第 9 代，OPT 给出了一群兔子的名字。

2、AI 变傻后会怎样？

那么，AI 变傻了，或者说它崩溃了，会带来怎样的后果？研究团队指出，这种对训练数据长期的“污染”早已经发生了。例如，研究人员观察了“巨魔农场”（troll farms，专门在网络中散播不实言论或煽动性言论的组织，可以理解为“水军”“网络喷子”）的形成过程。巨魔农场给搜索引擎带来的“污染”就是，导致搜索结果的改变。而更令人担忧的是，随着 AI 大语言模型更多地走进网络世界，这样的“污染”的规模将变得更大，传播速度也会越来越快。

为此，谷歌降低了巨魔农场内容的搜索权重，而主打保护用户隐私的搜索引擎 DuckDuckGo 干脆删除了这些内容。但这些做法都不能从根本上解决 AI 变傻的问题。为了让 AI 能进行长期的“正规学习”而不是受到“污染”，必须保证网络中人工创造的原始数据始终都能访问。研究人员认为，要实现这一点，关键在于如何将 AI 生成的数据与人工创造的数据区分开来。

这就涉及到了 AI 生成数据溯源的问题，但是科学家目前还不知道如何大规模地追踪 AI 生成内容的源头。

在文章中，研究人员给出了一个可能的解决方案。建立社区层面上的合作，确保 AI 生成内容涉及的方方面面，都能共享解决内容溯源问题的信息。

参考文献：

https://www.nature.com/articles/s41586-024-07566-y#Abs1