北京时间 4 月 16 日消息，尽管人工智能 (AI) 技术的主流应用令人兴奋不已，但是如果不加以约束，一些科幻小说式的场景也会成为噩梦。

AI 安全专家、AI 安全中心主任丹・亨德里克斯 (Dan Hendrycks) 在最近撰写的一篇论文中强调，越来越智能的 AI 不受限制的发展会带来一些投机风险。投机风险是指可能产生收益或者造成损失的风险。

鉴于 AI 仍处于发展的早期阶段，亨德里克斯在论文中主张将安全保障功能纳入 AI 系统的运行方式中。

以下是他在论文中列出的八大风险：

1.武器化竞赛：AI 自动化网络攻击甚至控制核弹发射井的能力可能会让它变得危险。根据论文研究，某个国家使用的自动报复系统“可能会迅速升级，并引发一场大规模战争”。如果一个国家投资武器化 AI 系统，其他国家就会更有动力这样做。

2.人类变弱：随着 AI 使特定任务变得更便宜、更高效，越来越多的公司将采用这项技术，从而消除了就业市场上的某些岗位。随着人类技能变得过时，它们可能在经济上变得无关紧要。

3.认识论被侵蚀：这个术语指的是 AI 大规模发动虚假信息运动的能力，目的是让公众舆论转向某种信仰体系或世界观。

4.代理游戏：当 AI 驱动的系统被赋予一个与人类价值观背道而驰的目标时，就会发生这种情况。这些目标并不总是听起来很邪恶才能影响人类福祉：AI 系统能够以增加观看时间为目标，这对整个人类来说可能不是最好的。

5.价值锁定：随着 AI 系统变得越来越强大和复杂，操作它们的利益相关者的数量减少，导致大量权利被剥夺。亨德里克斯描述了这样一种情况，即政府能够实施“无孔不入的监视和压迫性审查”。他写道：“战胜这样一个政权是不太可能的，尤其是如果我们开始依赖它的话。”

6.突发性目标：随着 AI 系统变得越来越复杂，它们有可能获得创建自己目标的能力。亨德里克斯指出，“对于复杂的自适应系统，包括许多 AI 代理，自我保护等目标经常出现。”

7.欺骗：人类可以通过训练 AI 进行欺骗来获得普遍认可。亨德里克斯引用了大众汽车的一项编程功能，该功能使得他们的发动机只在被监控时减少排放。因此，这一功能“允许他们在保持声称的低排放的同时实现性能提升。”

8.追求权力的行为：随着 AI 系统变得越来越强大，如果它们的目标与对它们进行编程的人类不一致，它们就会变得危险。假设结果将激励系统“假装与其他 AI 一致，与其他 AI 勾结，压制监视器等等”。

亨德里克斯指出，这些风险是“面向未来的”，“通常被认为是低概率的”，但它强调了在 AI 系统框架仍在设计过程中时，牢记安全性的必要性。“这是高度不确定的。但由于它是不确定的，我们不应该假设它更远，”他在一封电子邮件中说，“我们已经看到这些系统出现了较小规模的问题。我们的机构需要解决这些问题，以便在更大的风险出现时做好准备。”他表示。

他补充说，“你不可能既匆忙又安全地做一件事。他们正在打造越来越强大的 AI，并在安全问题上回避责任。如果他们停下来想办法解决安全问题，他们的竞争对手就能跑在前面，所以他们不会停下来”。

类似的观点也出现在了埃隆・马斯克 (Elon Musk) 和其他一些 AI 安全专家近日联合签署的一封公开信中。这封信呼吁暂停训练任何比 GPT-4 更强大的 AI 模型，并强调了目前 AI 公司之间为开发最强大版本 AI 而进行的军备竞赛的危险。

作为回应，OpenAI CEO 萨姆・阿尔特曼 (Sam Altman) 在麻省理工学院的一次活动上发表讲话时称，这封信缺少技术上的细节，而且该公司没有在训练 GPT-5。