有这样一群程序员，他们既是“黑客”，又是“卫士”，试图通过突破人工智能系统来寻找漏洞，然后想办法填补漏洞。他们的领队是田甜，今年不到31岁。
虽然看起来还是一个大学生，但作为北京瑞来智能科技有限公司的CEO，田甜带领团队在短短四年时间里，打通了第三代人工智能技术与市场需求之间的通道，研发出了一套人工智能安全平台。当人工智能系统被攻击时，安全平台就像电脑里的杀毒软件一样，出拳出拳。现在，该系统已经广泛应用于金融、政务等重要领域。，构筑安全“防火墙”。
今年7月，田甜在被誉为“中国智能科学技术最高奖”的吴文俊人工智能科学技术奖中获得吴文俊杰出青年奖。
蒂安菜
“易调节眼镜”会让人工智能系统出错。
盯紧人工智能系统“黑匣子”里的“魔法”
在我上小学的时候，田甜第一次感受到了电脑。
千禧年前后，国内信息技术进入发展快车道，个人电脑逐渐进入千家万户。田的父母都是教师。通常，他们需要制作电子课件，学习做PPT，这就成了田甜的计算机启蒙课程。一点一点摸索出了一部动画作品，从零开始建了一个网站。这些小作品对于一个少年来说是很大的成就。
电脑，这个奇妙的装置，让田甜着迷。随着学习的深入，他开始接触编程，通过一行行的代码将脑海中的想法变成现实。
2009年，凭借高中物理竞赛全国金奖的成绩，田甜如愿以偿地走进了清华大学计算机系的大门。在这里，他接触到了一个全新的概念——人工智能，并将机器学习领域的众包数据结构分析和对抗攻击作为自己的研究方向。在清华大学就读的9年时间里，田天一路伴随着指尖打出的一行行代码，完成了博士学业。
也正是在这九年间，人工智能在全球范围内得到了突飞猛进的发展。2016年，AlphaGo的出现震惊了世界。凭借数据驱动的第二代人工智能算法，打败了无数围棋高手，成为围棋对抗中的“不败神话”。相比1997年诞生的超级象棋计算机“深蓝”，AlphaGo已经有了很大的进步。它可以通过海量数据学习规律和经验，性能有了很大提升。
“深蓝”是第一代人工智能的典型应用。它通过专家定义的有限知识和规则，设定了一套人工智能系统，可解释性强。但它有明显的缺陷，难以表达不确定知识和常识，难以从数据中自动获取知识，无法满足大规模应用的需要，因此一直没有得到推广。
深度神经网络出现后，人工智能获得了强大的自我学习和进步能力。在数据挖掘、自然语言处理等任务中，人工智能强大的数据处理能力远超人类，语音识别、图像识别等特定技术迎来了跨越式发展。很快，“人工智能+”开始在各行各业落地，让很多传统行业焕发出新的活力。
“大家开始意识到人工智能的强大能力，整个行业的热度都在上升。”田说，然而，现阶段的人工智能还不完善，一系列新问题马上出现。其中最受质疑的就是人工智能的安全性。
一套计算机程序在运行的过程中，或多或少都会存在漏洞。为了对付传统的软件系统，黑客会利用计算机病毒找到它们的弱点并攻击它们。“熊猫烧香”、“千年虫”等计算机病毒的广泛传播，造成了不可估量的经济损失。作为一种新型的信息程序，人工智能系统自然面临着安全威胁。
“但不同的是，传统软件系统的运行逻辑是直白的，‘0’或‘1’，每条指令的逻辑和过程都是清晰可见的。人工智能系统模型的核心能力是从数据中学习而来的，其决策逻辑和环节自然存在大量不确定性，安全风险更加隐蔽，难以察觉。如果你看不到模型在做什么，你就无法预测它什么时候会出错，会犯什么样的错误。这种不确定性带来的安全问题更加复杂。”田解释道。
具体来说，目前广泛使用的人工智能属于第二代人工智能。这种系统就像一个“黑匣子”，通过大量数据反馈的深度学习来开发。每个系统的输入数据不同，得到的模型和运行逻辑也不同。旁观者只能看到“一进一出”——数据进入，得出结果，却无法对其处理数据、运行决策的内在逻辑给出准确的解释。即使是系统的开发者也很难预测它会犯什么错误，更难以抵御或防御外界的攻击。
第二代人工智能系统的安全缺陷存在于算法层面，这是一个本质缺陷。它可以通过数据训练不断学习和进化，其内部逻辑结构是一个“黑匣子”。要想顺利堵住漏洞，就要从人工智能技术的底层逻辑上想办法。
早在2015年，中科院院士、清华大学人工智能研究院名誉院长张工就提出要研发安全可信、可靠可扩展的第三代人工智能技术。最重要的措施是将第一代人工智能的知识驱动方法和第二代人工智能的数据驱动方法结合起来，推动人工智能的创新应用。要解决它的安全问题，需要把传统的网络安全做到位，同时算法和模型层面的安全也要做到位，保证算法系统在对抗环境下的安全运行。
一副“易见眼镜”中的魔术
博士毕业后，田甜拒绝了“大厂”的橄榄枝和高薪诱惑，从学生变成了创业者，和四个同学一起创办了北京瑞莱智能科技有限公司。
与创业实验室研究最大的区别在于，企业必须生产出能够满足市场需求的产品。如何为手中的技术找到合适的着陆场景，是田甜面临的第一个难题。
所以他决定先做一个黑客。
在很多人的理解中，人工智能似乎是万能的，可以解决一切棘手的问题，但他们没有意识到，它也会遭遇“病毒”的攻击。一张宠物狗的照片，只需要做一些微小的扰动调整，就可以让人工智能模型产生严重的误判。
这种干扰能有多小？田举例说，一幅完整的画面只需要几个像素的变化，就像用绣花针在打印纸上轻敲一个微痕，变化率不到万分之一。如此细微的变化，肉眼无法察觉，却能成功迷惑人工智能系统，使系统产生“错觉”，将画面中的宠物狗识别为猫。
在普通人看来，这个错误简直不可思议，人脑很难做出这样的误判。本质是第二代人工智能系统在学习时，只是通过海量数据的训练来确定分类模型的分割线，用“非此即彼”的标准来区分猫和狗，而不是真正学会识别猫和狗各自的特征。但是这个分割线，与人类判断的分割线并不完全吻合，存在一定误差。所以可以通过加入一些细微的干扰，使图像特征数据在误差范围内，让人工智能系统在人们看不到异常的情况下做出误判。
这种加入干扰会引起系统误差的样本，称为对抗样本。类似于计算机病毒，这是一种可以攻击人工智能系统的“病毒”。
其实这项技术已经诞生很多年了，但是一直没有离开过实验室。主要用于数字世界和“白盒”攻击，即当我们知道目标模型的结构参数等内部信息后，就可以有针对性地攻击其弱点。但是，这种“预判”式的攻击并不具备足够的威慑力。如何证明这些漏洞的威胁真的存在，并可能导致一系列损失？最有说服力的是实现了大规模的“黑盒”攻击。
“我们的第一个目标是瞄准人脸识别技术，因为这项技术是最成熟的应用。”田很有信心。他和他的团队决定尝试攻击大型商业“黑匣子”设备。随着智能手机的普及，人脸识别应用越来越贴近每个人的生活。人脸解锁、刷脸支付等应用场景在方便日常生活的同时，也与个人信息安全、财产安全甚至人身安全息息相关。因为人脸识别有着最广泛的基础，尤其是智能手机的刷脸解锁系统，作为日常生活中的高频应用，开发者对其安全性足够重视，破解技术难度较大。如果成功攻破，引起的警惕和重视不言而喻。
攻击的任务是通过算法寻找最佳对策样本。团队的目标是做一副“纸眼镜”，让手机摄像头把攻击者的脸误认为机主，解锁手机。攻击原理也不复杂。通过用纸眼镜“修补”攻击者的面部特征，使攻击者的面部特征与主人的相似度达到一定的阈值，这样系统就可以把他们比作同一个人。
但从理论到应用，最终成功打破“黑匣子”隐藏的漏洞，还有很长的路要走。团队只用了三个月的时间，就实现了数字世界中有效的模拟攻击。通过算法的不断优化，最终攻击者只需要对眼睛和鼻子组成的T型面部区域进行伪装，就可以让两张相似度不超过10%的人脸在人工智能眼中呈现出90%的相似度。
数字攻击贯穿之后，就要“迁移”到物理攻击上，把数字世界里的“补丁”做成实物，用真人攻击手机。然而，现实给他们泼了一盆冷水，现实世界的环境比数字世界复杂得多。打印图片使用的纸张和墨水、打印机的清晰度、测试环境中的光线等因素。，会让原本完美的对抗格局遭遇真正的“滑铁卢”——手机破不了的人脸识别系统。
半年来，办公室打印机承担了“做鬼脸”的重任，打印了上千张鬼脸，却因为效果不佳而被丢弃。“那段时间，书桌上，抽屉里，地上，满屋子都是眼纹。”团队成员李回忆起研发时的情景，忍不住笑了。
经过反复调试攻击算法和打印技巧，2019年7月，他们终于想出了最合适的组合。用一张纸打印出一张T型面部区域的图片，配一副镜框。一副“易调节眼镜”就做好了。戴上这副眼镜，李成功通过了面部识别，解锁了同事的手机。
“我们需要永远领先一步”
第一步走得稳，后续工作进展顺利。通过算法的不断优化，需要“伪装”才能突破系统的人脸区域越来越小，图像越来越通用。一副口罩，可以连续解锁多部手机，堪称人脸解锁的“万能钥匙”。
“在实验中，我们的最高纪录是连续打破19部手机。”田回忆说，这个数据超出了团队所有人的预期。不仅相对低端的智能手机被轻易攻破，就连国内知名手机厂商推出的旗舰机型在攻击面前也同样不堪一击。即使在实验中，许多金融和政府服务应用的人脸验证系统也未能幸免。
在2021GeekPwn国际安全极客大赛上，这项技术惊艳全场。根据比赛规则，李和他的团队需要用“易见眼镜”伪装成四个不同身份的名人，并通过多个人脸识别系统的检测。四级难度逐渐加大，但队伍走得比较顺利。最后一关，一名男选手要假扮外国女性的脸，但只用了4秒就轻松过关。
想要突破“黑箱”，就要有“降维”的能力。“直到现在，行业内还没有第二个团队能仅凭一张印着对抗样本的纸，突破智能手机的人脸识别系统。”田甜对这项技术充满信心。
类似的漏洞在其他场景中不断被发现和验证。通过与样本对抗，使其“无法识别”，从而避免现有目标检测模型的识别，达到“不可见”的效果。田穿上了一件带有特殊图案的T恤衫。他胸部的图案是由一种算法生成的，这种算法可以使监控系统“选择性失明”。尽管田甜本人仍能在监控屏幕上看到，但系统的“大脑”并没有探测到他。衣服上的特殊图案也是一种对抗样本，甚至可以让一辆行驶中的自动驾驶汽车“失明”。团队也在不断探索新的攻击方式，比如现在流行的“AI变脸”。只需要目标对象的一张照片，基于“表情操纵”、“嘴唇驱动”等人脸变换技术，就可以伪造动态人脸视频，通过一系列操作绕过在线人脸认证。
至此，田天河的团队已经走在了人工智能“黑客”之路的最前沿，但也面临着一些争议——如何保证自研的攻击技术不会被滥用？对此，田甜解释说，寻找漏洞是为了更好地填补它们。安全的本质是攻防的不断升级。攻击的目的是为了更好的防御，在真正的“黑客”面前提前布局针对系统漏洞的防御措施。
“我们的运营有点像传统编程领域的‘白帽子’。”田说，对矛了解得越透彻，盾才能越坚固。积累了大量的对抗样本后，就会产生相应的防御算法。
基于此，公司开发了一款新产品——real safe，业内首个人工智能安全平台。它能攻能守。它不仅可以通过攻击算法模拟人工智能系统的攻击，并根据系统的性能对其安全性能进行评分，还可以在发现问题后通过防御算法加强防御。就像“打补丁”。无论是“隐身”还是“易容”，这套人工智能安全平台都能做到防不胜防，将系统的安全性提高到95%以上。至此，人工智能系统终于有了“杀毒软件”。
在清华大学学习期间，田甜的另一个主要研究方向是贝叶斯理论。这是一种数学思维，即使信息不完整，也可以通过不断修正概率来逼近正确的结论。将这一理论应用到人工智能系统中，可以使系统更有“自我意识”，增强对不确定性的评估能力，也就是说算法可以判断自己的能力边界，这个安全平台也融入了这部分能力。“其实安全平台升级后的新系统并没有完全克服场景的缺陷，但它能发现自己‘不行’，如果识别出超出自己能力的信息，就会报警。”
现在，这一安全平台已经广泛应用于多个国家重大项目，涉及金融、电力、公安等关键领域。
“魔高一尺，道高一丈。”基于深度学习的人工智能系统会在海量数据的反哺下不断进步。作为“杀毒软件”的防御体系，当然不能懈怠。近两年来，田天河团队的主要工作是不断优化安全平台的算法，在不解锁各类人工智能系统算法“黑匣子”的情况下，实现通用有效的安全检测和防护效果。现在平台里的相关算法几乎每个月都会迭代更新。在田甜看来，“在很长一段时间内，这条路看不到尽头，攻守双方将长期处于对抗状态。新的漏洞仍然会出现，我们需要始终领先一步。”
(原标题:揭开人工智能的神奇把戏)
来源:北京日报记者刘素雅
流程编辑:L019
