腾讯朱雀实验室首度亮相，业内首秀控制神经元构造AI模型后门-风君雪科技博客

　　腾讯科技讯，8 月 19 日，第 19 届 XCon 安全焦点信息安全技术峰会于北京举行，腾讯朱雀实验室首度亮相公众视野。该实验室由腾讯安全平台部孵化，专注于实战攻击技术研究和 AI 安全技术研究，以攻促防，守护腾讯业务及用户安全。

　　会上，腾讯朱雀实验室高级安全研究员 nEINEI 分享了一项 AI 安全创新研究：模拟实战中的黑客攻击路径，通过对 AI 模型文件的逆向分析，跳过传统利用“样本投毒”的攻击环节，直接控制 AI 模型的神经元，为模型“植入后门”。甚至在保留正常功能的前提下，直接在 AI 模型文件中插入二进制攻击代码，将模型文件改造为攻击载体来执行恶意代码，在几乎无感的情况下，实现对神经网络的深层次攻击。

　　这也是国内首个利用 AI 模型文件直接产生后门效果的攻击研究。

　　腾讯安全平台部负责人杨勇表示，当前 AI 已融入各行各业，安全从业者面临着更复杂、更多变的网络环境。我们已经看到了网络攻击武器 AI 化的趋势，除了框架这样的 AI 基础设施，数据、模型、算法，任何一个环节都是攻防的前线。作为安全工作者，必须走在业务之前，做到技术的与时俱进。

　　针对新型攻击手法，腾讯朱雀实验室也对 AI 研究和从业人员提出了应对建议：从第三方渠道下载的模型，要保证渠道的安全性，避免直接加载不确定来源的模型文件。对模型文件的加载使用也要做到心中有数，通过“模型可信加载”，每次加载模型进行交叉对比、数据校验，进行充分的代码检测，可有效应对这种新型攻击手法。