本文来自微信公众号：SF 中文 （ID：kexuejiaodian），作者：SF

长期记忆是意识的前提，现在我们还能轻易看穿人工智能模型的把戏，也是因为它们不具备长期记忆，“没有人样”。近日，科学家发现人工智能模型也可以像海马体一样，选择性地生成和巩固记忆。那么，人工智能模型会变得“有人样”吗？

大脑中的海马体在学习、记忆和空间表征等方面发挥了关键作用，而海马体发挥作用的过程都依赖于 NMDA 受体。NMDA 受体就是 N-甲基-D-天冬氨酸受体，是离子型谷氨酸受体的一个亚型，分子结构复杂。

近日，第 37 届神经信息处理系统年会在美国新奥尔良市举行。在会上，有科学团队提出，人工智能模型 Transformer 具有类似 NMDA 受体的功能。除了这项发现，他们还设计了新的非线性函数，让 Transformer 模型模拟 NMDA 受体的动力学性能。

NMDA 受体是一个“智能”通道，可以促进记忆和技能的形成。如果大脑中存在谷氨酸，神经细胞会变得兴奋，向 NMDA 受体传递神经递质。同时，镁离子会负责把关，当镁离子被从 NMDA 受体上挤走，神经递质才被允许进入下一个神经细胞。在海马体中，顺畅的物质传递才能保证短期记忆有效地转化为长期记忆，同时镁离子负责选择性地让物质通过。

在新研究中，科学家发现 Transformer 模型中也有类似于 NMDA 受体中镁离子把关的过程，并且，调整 Transformer 模型的参数可以使模型的记忆能力增强。这一发现促使研究人员思考，是否可以通过研究 NMDA 受体中镁离子把关的机制，来制定出调控 Transformer 模型记忆巩固过程的方法，并使模型具有系统的长期记忆，甚至具备意识。

短期记忆与长期记忆

想要明白长期记忆对人工智能的意义，我们需要先理解短期记忆与长期记忆。

或许许多人都有为手机内存不够苦恼过，大几千的手机用了两三年内存就告急了。但是手机平时用着并不“卡”，也没有要更换的必要。我们通常会通过删除或转移走聊天记录、图片或视频等方法，来给手机腾内存空间。

手机用着不“卡”，可能是因为手机的系统内存还有富余。系统内存是一种随机存储器（RAM），被用于存储手机程序运行时的数据，因此也被称为运行内存。系统内存无法长期存储数据，可能退出了应用程序，相关的数据就丢失了。

与系统内存对应的是手机机身内存。手机聊天记录丢失，或者无法拍照，可能是由于机身内存剩余的空间不够了。机身内存是一种只读存储器（ROM），可以稳定、长期地存储数据。但 ROM 的数据也并不是都不可擦除，现在也有了可编程、可擦除的 ROM，因此，我们现在也可以自动清理手机的机身内存。

与此类似，动物的大脑也是这样运行的。可以说，RAM 相当于动物的短期记性，ROM 相当于长期记忆，而 ROM 数据可擦除或许就相当于大脑器质性病变。

关于动物长期记忆和短期记忆的一个著名谣言就是“鱼的记忆只有 7 秒”。科学家曾对鱼进行电击实验，发现鱼在 20 秒后还有回避有电击危险的地方。还有一项新研究显示，猿类可以记得它们几十年未见的朋友，这是有记录以来最持久的非人类社会记忆。

不管是大脑，还是手机这样的电脑，都采取了类似的数据存储方式，这是因为就目前的技术而言，针对存储这项功能，任何硬件设施可发挥的作用都是有限的，而这种短期记忆和长期记忆结合的方式就是在受硬件设施限制的情况下，一种高效率的解决方案。

另外，大脑生成的长期记忆为解决复杂问题提供了基础。长期记忆实际上存在于大脑皮层。在大脑皮层，记忆意味着改变脑细胞之间的链接，构建新的链路，形成新的网络模式。海马体负责将短期以及转化为长期记忆，如果海马体受损，人就会变得“很健忘”。

Transformer 模型与海马体

其实，在这项研究之前，Transformer 模型与海马体之间就有渊源。

Transformer 模型是一种人工神经网络模型，可以并行训练，具有全局思维。现在火爆的 GPT 系列预训练语言模型就是基于这个模型。2017 年，Transformer 模型作为人工智能领域用于处理自然语言的一种新模型被首次提出，而当时的其他神经网络模型仅将输入与某些特定的输入相连。

此前，有研究显示，Transfrmer 模型是在完全没有生物学知识辅助的情况下开发出来的，但其架构却和大脑中海马体的结构极其相似。

Transformer 模型的工作原理是一种被称为“自注意力”（self-attention）的机制 —— 每个输入，不管是一个单词，一个像素，还是序列中的一个数字，总是与其余每个输入相连。

与此相对应的是，海马体在情景记忆和空间认知等大脑功能中承载了核心功能，它可以调动抽象的结构性信息，而这些信息通常是大脑行使各种不同的功能而积累的。也就是说，海马体为了解决具体问题，可以系统地抽取负责其他大脑功能的区域存储的信息。

我们甚至无法说是“人工智能模型里面有一个海马体”还是“大脑中有一个 Transformer 模型”。对 Transformer 模型的研究，可以提高我们对大脑的理解，同时，对大脑的深入研究，也可以促进人工智能的发展。

具备长期记忆会让人工智能更“智能”吗？

人类有长期记忆才有意识，才有自我。有些海马体受损的人或许可以对短期记忆表现出的瞬间意识，但此时的他已经和曾经具有自我的那个人不一样了。

现在的人工智能模型还没有长期记忆，它们通常都是重复使用已经学习好的模型或者已经被人工定义好的模型，不具备不断获取信息和知识，并把新的信息与知识加入到系统中的机制。有观点认为，具备长期记忆将是人工智能模型演进到一个更高阶段的表现，也是未来人工智能领域的热点。

但是，梳理了 Transformer 模型与海马体的关系之后，我们发现，有些人工智能技术并没有刻意往人的意识和思维方面靠拢，但却具备了与人的大脑类似的功能。那么，我们一定要按照人类的意识和思维来度量人工智能是否“智能”吗？

要回答这个问题，需要先回到这项技术发展的初期。现在，人们普遍认知的人工智能就是“用机器模拟人的意识和思维”。但是，在初期，它与“使机器智能化”这个研究方向是密不可分的。

在那时，许多科学家努力让机器学习数学思维、逻辑关系等，让它们能高效地推理数学猜想等（例如数学家吴文俊，中国人工智能领域最高荣誉“吴文俊人工智能科学技术奖”就是以他的名字命名），而如果要用“人的思维”去解决这些问题，其实并不一定高效。

对于曾经的电脑和现在的智能手机，许多人都不会觉得它们“像人”，即使它们在某些方面与人脑类似。这些技术不算人工智能，发展这些技术的初衷并不是为了模拟人的意识和思维，只是以“使机器智能化”的方式，来更高效地解决一些问题。而最终，这个初衷确实实现了。

正如在谷歌大脑（Google Brain）研究 Transformer 模型的计算机科学家大卫・哈（David Ha）所说的：“我们并不是在尝试重新建造一个大脑，但我们能否创造出足以复制大脑所作所为的机制呢？”或许，无论以什么方式，只要能实现大脑低成本、高性能的运行效果，就可以让人工智能更“智能”。

关于人工智能性价比的考虑

近几年，以 ChatGPT 为代表的大语言模型火爆全球。人们在这些人工智能模型身上看到了无限的可能性，这些模型似乎无所不能，并且还有巨大的潜力。现在，许多科研机构在调配资源的时候都会慎重考虑大语言模型。

但是，许多人也开始考虑大语言模型“值不值”。这类大型人工智能模型的运行和升级需要大量的资源，增加对它们的投入，势必会影响其他科研领域的发展。另一方面，如果人工智能模型一直保持高成本运行，自身的发展也会受到影响。

在这项新研究中，科学家在 Transformer 模型中发现的这个机制与大脑海马体的镁离子把关类似。镁离子把关在形成记忆和巩固记忆方面有重要作用，Transformer 模型中的这个机制也具有巩固记忆的效果。那么，对这个机制进行深入研究，或许可以复制大脑低成本、高性能的运行效果，并在节省大量资源的同时，提升人工智能的发展速度。

参考文献：

• https://openreview.net/forum?id=vKpVJxplmB

• https://www.pnas.org/doi/full/10.1073/pnas.2304903120

• https://arxiv.org/abs/2112.04035