作为引领第四次科技革命的战略性技术，人工智能给社会建设和经济发展带来了重大而深远的影响；但数据隐私、算法偏见、技术滥用等安全问题也正给社会公共治理与产业智能化转型带来严峻挑战。

那么，如何在推动未来人工智能创新发展的同时兼顾安全可控？这一议题的重要性正日益提升。在此背景下，智源大会“AI安全与产业治理”论坛近日召开，瑞莱智慧CEO田天接受了媒体专访。

田天表示，我们要发展第三代更加安全、可靠、可信、可扩展的人工智能，首先是安全，现在随着人工智能的大规模应用我们发现存在很多新的安全隐患和新的漏洞，这跟网络时代一样会有黑客或者黑产利用系统漏洞来形成一些恶意损失，这是第三代人工智能解决的第一个问题。第二是可靠，安全是AI受到恶意攻击的表现，可靠是AI正常情况下怎么避免出现意外。其三是可解释性，第二代人工智能深度神经网络是黑盒，人是没有办法理解它到底怎么做决策的，但其实这个又跟现在很多场景的应用相悖，比如金融或者医疗。第四是可扩展性，我们现在能够做的AI场景有限，将来还有很多新场景会出现，需要我们把AI推到各个行业去应用。

“围绕这几个目标我们有一系列具体的技术实现，首先结合第一代知识驱动的AI和第二代数据驱动的AI，提出新的人工智能的知识理论和框架，通过多元融合，结合数据和共同驱动AI来实现刚才的这几个目标，包括深度学习、人工智能，这是一套完整的体系。”田天系统性的阐述了什么是第三代人工智能。

谈及背景，他进一步解释道：“学术领域是2014、2015开始关注这个方向的，最早谷歌包括高校开始做，我们团队也是2014年左右正式提出做这个方向。到2017、2018年左右，一方面有些技术慢慢开始成形，另外实际的案例也爆发式的出现，从出现第一起到出现很多，然后大家广泛认识，也是这个中间发生的事情。2018年一方面产业界有自己的反思，我们是不是提高人工智能发展的质量关注它的可靠性和安全性，另外监管角度，国家开始从法规制度标准层面对安全性可靠性、自主可控提出更高的要求。”

田天指出，现在基本已经形成行业内的共识，做AI的时候必须考虑安全性、可靠性、合规治理、伦理，这已经成为一个必备的选项。

与此同时，他告诉记者，人脸识别是一个典型的场景特点，满足人脸识别的精度这个问题上，通过第二代深度神经网络基本可以达到，但是有两个本质问题，一是安全性不足，人脸识别99%的准确度都是没有恶意破坏情况下能够达到，但是不做专门的防护一旦受到攻击，出错的几率是百分百，所以需要通过第三代人工智能技术增强安全性。另外是人脸识别的可解释性，人脸识别到底是怎么识别的？我们需要补充信息。人脸识别还有一个新问题，就是对人脸技术的滥用，比如制作虚拟视频恶意传播，这也是第三代人工智能这个大范畴之内需要解决的问题。

以下为采访精选摘要：

问：第三代人工智能和第一第二代有什么本质的区别？

田天：其实第三代人工智能主要强调几个不同的维度，我们要发展第三代更加安全、可靠、可信、可扩展的人工智能，这几个关键词其实强调不同的点，比如安全前面介绍的比较多，主要是针对算法安全。其实现在随着人工智能的大规模应用我们发现存在很多新的安全隐患和新的漏洞，这跟网络时代一样会有黑客或者黑产利用系统漏洞来形成一些恶意损失，在AI时代因为算法是一类全新的系统和软件，就会存在新的漏洞，这是第三代人工智能解决的第一个问题，怎样让AI形成的算法更加安全。

可靠，刚才说安全是AI受到恶意攻击的表现，可靠是AI正常情况下怎么避免出现意外。比如自动驾驶汽车，其实在路上碰到白色的大货车经常看不见，这很明显就是算法不可靠，就是出现一些特定的情况就会出问题，这是第二代人工智能所带来的缺陷，需要第三代的人工智能方法来弥补。

可解释性，现在因为AI其实特别是第二代人工智能深度神经网络都是黑盒，人是没有办法理解它到底怎么做决策的，但其实这个又跟现在很多场景的应用相悖，比如金融或者医疗，如果没有办法给预测结果一个合理的解释，或者让人看明白的解释，其实大家没有办法利用。不管是AI还是人总会在一些场景上犯错误，这个时候如果AI缺乏可解释性没有办法在这些场景中发挥作用。

可扩展性，我们现在能够做的AI场景有限，将来还有很多新场景会出现，这些场景我们怎么基于已经获得的知识或者模型，在新的场景上发挥作用？这块也需要我们把AI推到各个行业去应用。

所以这三代有什么区别？这四个方面我们都要进行突破。围绕这几个目标我们有一系列具体的技术实现，怎么解决这三代人工智能，这块首先结合第一代知识驱动的AI和第二代数据驱动的AI，提出新的人工智能的知识理论和框架，通过多元融合，结合数据和共同驱动AI来实现刚才的这几个目标，包括深度学习、人工智能，这是一套完整的体系。

问：刚才提到的案例比较集中在人脸识别，它主要是在哪个维度？

田天：人脸识别，这是大家能够感受AI最顶层的应用，它的应用最广，但是其他的问题在其他的AI也会出现。比如人脸识别一个典型的特点，在满足人脸识别的精度这个问题上，我们通过第二代的深度神经网络基本可以达到，你在训练集测试集分析，通过神经网络可以做得非常高。但是有两个本质问题，一个是安全性不足，人脸识别99%的准确度都是没有恶意破坏情况下能够达到，但是不做专门的防护一旦受到攻击，出错的几率是百分百；所以这是通过第三代人工智能技术我们首先增强人脸识别的安全性，让它受到攻击的情况下仍然有比较好的表现。另外是人脸识别的可解释性领域，特别是关键领域，人脸识别到底怎么识别的？我们需要补充信息。人脸识别还有一个新问题，就是对人脸技术的滥用，去制作虚拟视频恶意传播，可能在经济或者社会舆论产生很大的恶意影响。这块怎样检测人脸有没有被滥用？有没有被用在内容生产方面？这也是第三代人工智能这个大范畴之内需要解决的问题，就是针对AI被滥用怎样用技术的手段来进行解决。

问：你觉得在未来的时代，安全防控的风险在体现在什么地方？

田天：安全是非常非常基础的问题，但是要说最重要的可能也不准确，其实还有不同层面的问题，当然安全如果做不到其他都是零。对于这块是起一个基础性的作用，说到安全到底怎么解决？其实我们强调几个不同的角度，算法本身的安全，刚才说对抗样本攻击做相应的防御，所以有专门的对抗样本防火墙——AI防火墙，还有专门的检测工具，类似AI的杀毒软件。还有一个维度是数据安全，其实AI应用还是需要大量数据做基础支撑，但是数据用在AI上要做隐私保护还有应用的价值管控，包括可用可见。这是第三代人工智能核心的一部分，只有保证数据在合法合规的情况下用AI，才有可能持续不断的提升AI性能。所以我们有专门的隐私保护机器学习平台，把隐私保护的能力，数据流通能力和AI做深度整合，基于我们的平台就可以实现，你不用担心数据隐私泄露以及实现不同的数据融合，这也是很重要的一块。

刚才提到AI的合规管控，这也是安全的一个维度，这属于AI发展的过快应用在不合法的领域，这需要制度手段包括技术手段进行管控，还有算法公平性的问题，之前提到的大数据杀熟，或者国外比较多的人脸识别，识别白人的准确率比黑人高很多，这也是AI在下一步发展过程中，特别是社会基础层面的应用场景，这是大家考虑的问题，就是AI的合规可控方面。

问：现在有很多人工智能独角兽虽然没赚钱，但是融资的金额很大，如何理解？

田天：AI不管是技术还是产业都在快速发展，现在我们所在的AI已经实现了应用，包括产业化的市场规模，相比五年以后十年以后，一定还是非常小的一块，因为现在可以看到商业社会的方方面面，各个行业都涉及到智能模块，只不过很多场景都需要人实现，人做分析决策，其实就像之前一样的体力劳动慢慢被机器取代，其实人现在智力活动包括决策，一定也会被AI逐步完整的，至少是辅助人工，很多场景甚至实现替代人工。所以未来一段时间AI产业规模还是会持续快速增长的阶段，对于AI企业，一方面眼下需要赚钱，不是说聚焦一门心思做基础研究，但是更大需要看到AI未来的市场空间，怎样通过产品和模式层面不断的创新，把现有产品推到新领域，进一步扩大市场，这个我觉得这是AI企业下一步实现快速增长的一个关键要素。

问：当时为什么创业？

田天：总得有人来做产业落地的事情，如果大家都做研究，确实也很重要，但是真正用起来产生价值才是我们做AI的终极目标。其实AI本质上相当于是在计算机这个大领域成长起来的分支，其实计算机本身就是距离产业非常近的学科，跟大家做数学物理还是不一样的。发展AI跟产业结合，肯定是一个终极目标、终极路径，所以当时在技术这个已经实现了很好的积累，之前在学校里做了很多年，不只是我这块，技术积累非常多了，2018年公司成立的时候，要把技术真正的推向市场，那时候干这个事情相比聚焦研究领域，价值会更大。

问：从毕业到创业有没有遇到比较大的困难？

田天：困难非常多，但是这事儿我觉得倒还好，我觉得我们相对来说比较顺利。首先这个领域我们选择的比较正确，首先在AI这个大的行业，虽然现在一些人对其他AI公司的发展有一些不同观点，但是对于AI产业快速爆发，基本没有人否认，所以这个行业是一个欣欣向荣的行业。我们做的第三代人工智能，安全可靠可信的人工智能，在整个AI产业从2018年开始这是大家所关注的新领域。因为确实碰到一些新问题，所以结合这些市场情况我们是比较好的时间，开始真正把这块推向产业化，所以各个方面还是比较顺利的。

问：你们在服务金融方面有什么核心竞争力？

田天：核心竞争力是我们的AI能力。比如说银行数据虽然很多，但是数据质量包括AI强调的样本的多样性等方面，其实还是存在一些问题，引用标准的算法没有办法得到很好的效果。比如说银行碰到数据不足，金融数据都是非常敏感的，怎样做隐私保护，这方面也存在痛点，包括AI上去了是不是足够安全？其实金融领域都能够找到落地的这些点，都是因为技术不足导致的，要不效果上不去或者很多场景没有办法用AI，我们刚好围绕已有的场景加上先进的AI技术，帮助金融客户一方面在业务上获得更高的收益，另一方面是节约成本方面，效果还是非常明显的。

问：人工智能安全性和可靠性在前两年没有被大家特别广泛的关注，现在它说怎么从小火苗变成大家共识的？

田天：其实从公众的层面确实这两年能够看到，但是学术领域是2014、2015开始关注这个方向，最早美国谷歌包括高校开始做，我们团队也是2014年左右正式提出来做这个方向。到2017、2018年左右，一方面有些技术慢慢开始成形，另外实际的案例也是爆发式的出现，从出现第一起到出现很多，然后大家广泛认识，也是这个中间发生的事情。这个背景下2018年一方面产业界有自己的反思，我们是不是提高人工智能发展的质量关注它的可靠性和安全性，另外监管角度，国家的主管部门开始从法规制度标准层面对安全性可靠性、自主可控提出更高的要求。从行业内部加上外部，2018年以后我们看到爆发式增长的这么一个趋势，现在基本上已经形成行业内的基本共识，我们做AI的时候必须考虑安全性、可靠性、合规治理、伦理，这已经成为一个必备的选项。

问：尽快把卡脖子的技术搞清楚是这一代技术人的目标，您认为卡脖子的技术有哪些？

田天：在人工智能方面，我们感觉中国和欧美属于同一起跑线，也参与到它的发展和推动过程中，但是也存在一些问题。比如说现在大家提到的机器学习框架，基本还是用国外的开源框架，这些可能会存在一些问题。如果我们将来不想被国外卡脖子，我们希望将更多目光投在人工智能基础理论包括基础体系本身，发展我们自己原创的自主可控的AI理论平台，这样才可以确保我们在AI行业，或者未来不再重蹈其他领域的覆辙。

问：目前我们的人才梯队建设在迎头赶上，但也存在一些问题，你认为我们应该如何解决这些问题？

田天：现在国内在AI方面的人才可以说越来越多，因为现在国内关于人工智能的高校、研究机构实力在快速增强，不断有高水平人才的输出，其实这几年因为种种原因，海外回流的现象比较明显，有一些回流到高校。一方面是中美关系的影响，一方面是国内自身环境，包括对于科研人员的待遇提升。这几年来看，AI人才是可以更好的融入到业务中的，是真正的可以去为所在的企业带来更多的业务价值，这也是一个积极的变化。