选自:学术头条作者:汶川
在这几年考察AI领域的过程中，我发现反攻击的概念近年来逐渐出现在世界各国研究者的视野中。我认为这将是现在乃至未来几年最引人注目的新方向之一。
1.概观
我在国内两个著名的学术搜索网站AMiner和Acemap上做了一个调查，以意义相近的对抗性攻击、投毒攻击等词为关键词搜索相关论文。以下是两家网站给出的论文数据分析图。
一方面，从图中可以明显看出，从2015年到今年，对抗性攻击相关的论文数量有了明显的增长，这说明在机器学习飞速发展的今天，研究人员逐渐重视机器学习的安全性。所以我觉得这个方向应该是未来几年的新兴热点。
另一方面，虽然这类论文近年来明显增多，但并不代表这个方向前景更好，可以挖掘更多的知识。于是我搜索了现在已经成为热门方向的另一个领域——强化学习的资料进行对比。
通过对比强化学习和对抗性攻击的流行度和发表的论文数量，可以发现，在与强化学习相同的方向上，对抗攻击的论文流行度迅速上升，但对抗攻击的论文绝对数量仍然很少。
这说明针对攻击可以研究什么，还在被研究者逐渐挖掘的过程中，还没有形成体系。所以从这个角度来说，直观来说，我觉得最新的科技新词应该是对抗性攻击。
2.原则
神经网络的两个现象在对抗的开创性工作《神经网络的有趣性质》中提到第二个性质是对抗攻击的理论基础。后来，Goodfellow在《解释和利用对抗实例》假设我们在输入样本中加入扰动，反样本为:x~= x+η，其中η足够小，中指出，原因并不是深度神经网络的高度非线性和过拟合，即使是线性模型也有对抗样本。在本文中，我们可以认为反击成功的原因是错误放大效应:。
第一种是高维神经网络的神经元不代表某个特征，而是所有特征都混合在所有神经元中；二是在原始样本点上加入一些有针对性但不易察觉的扰动，容易导致神经网络的分类错误。
[12]
[13]
我们考虑权重向量ω和挑战样本x~的内积:
虽然小扰动η被神经网络权值的内积放大，但如果权值维数为n，均值为m，很明显ω τ η的最大值为εmn，此时η= εsign。因此，即使是高维空中的小扰动，也会对最终的输出值产生很大的影响。
3.显色法
在研究该领域论文的过程中，我发现作为机器学习安全方向，抗攻击的发展可以归结为两个核心:不断寻找新的应用场景，不断使用新的算法。
3.1不断寻找新的应用场景
每当一个新的机器学习领域出现时，研究人员都会尝试在这个领域进行打击攻击的研究，研究出攻击这个领域的方法和防御的方法。以下是我在该领域发现的一些典型的反攻击研究成果:
计算机视觉
对分类的攻击
图像分类是计算机视觉最经典的任务，所以在这个应用场景下对抗攻击的论文最多，比如:基于雅可比的显著图攻击[1]，单像素攻击[2]，DeepFool[3]等等。
这些论文的思路都是一样的:将图像的所有像素点依次或随机逐个改变，然后通过隐层的梯度计算这个点的改变对整个图像的攻击显著性，根据梯度选择下一个要改变的点。通过这种训练，最终可以找到最佳的攻击像素。
其中我认为一个像素攻击[2]效果最好。这篇论文只需要改变一个像素就可以攻击整张图片。我觉得最创新的一点是作者运用了差分进化算法的思想，通过每一代的不断变异，然后“优胜劣汰”，最终找到一个可以攻击整幅画面的像素及其RGB值的修正值。这种方法的优点是属于黑盒攻击，不需要知道网络参数等任何信息。效果如下，我觉得很显著:
对语义分割和对象检测的攻击
语义切分任务的对抗攻击要比分类任务困难得多。语义切分的对抗样本生成[4]采用密集高级生成的方法，通过一组像素/提议优化对抗样本的损失函数，然后用生成的对抗样本攻击基于深度学习的切分和检测网络。
我认为本文的亮点在于将对抗攻击的概念转化为对抗样本生成的概念，将一个攻击任务转化为生成任务，为我们提供了一个新的攻击思路:将这个任务转化为如何选取一个损失函数，如何建立生成模型，使生成的对抗样本在攻击图片时具有更好的效果。这种概念的转变使得抗攻击不局限于传统的基于FGSM的算法，还引入了更多的世代模型，比如GAN。
我认为计算机视觉对抗攻击的局限性在于计算机视觉有很多子领域，所以有些领域还没有尝试过。而且由于深度学习的不可破译性，现阶段只能通过深度学习生成对抗样本来破坏目标的学习。这样的攻击是没有方向的，比如我们无法控制分类任务的作弊方向。我觉得接下来的发展应该是如何定向欺骗深度学习网络来达到一些更高的要求。
3.1.2.图表
在ICML和KDD今年的论文中，有两篇关于对抗图结构攻击的论文，一篇是针对图结构数据的对抗性攻击[5]，另一篇是针对图数据的神经网络的对抗性攻击[6]。这两篇论文是对graph的攻击，一个以前没有人做过的任务，一个新的应用场景。所以我前面说了，防攻击的发展还不成熟，我们在不断寻找新的应用场景。
因为图结构数据可以对现实生活中的很多问题进行建模，所以现在很多研究者都在研究这类问题，比如知识图谱等领域。
以知识图谱为例。现在，阿里巴巴和其他公司正在构建知识地图。如果我能对知识图谱进行攻击，在上面生成一些欺骗性的节点，比如虚假交易，会给整个公司带来很大的损失，所以对图结构进行攻防是很有研究价值的。
这两篇论文的出发点是深度学习模型在图分类中的不稳定性。
在第一篇论文中，定义了基于图的攻击:在保持图分类结果不变的情况下，通过在小范围内增加和减少边来最大化分类结果的错误率。基于此，本文提出了一种基于分层强化学习的对抗样本生成方法。
第二篇论文的思路是为被攻击的目标节点生成一个干扰图，使目标节点在新图上的分类概率与旧图上的分类概率之差最大。作者提出了Nettack的攻击模型。
我认为现阶段对抗攻击图结构的局限性在于以下两点:
1.没有有效的防御算法。两篇论文都在讲如何攻击图分类，但是第一篇论文只是简单讨论了防御问题，比如随机掉线，但是显示的结果却很不理想，而第二篇论文根本没有讨论防御问题。所以图结构的防御是接下来的发展方向。
2.目前，图深度学习的发展还不完善，没有形成像图卷积神经网络这样完整的体系。GCN、随机漫步等算法各有优缺点，所以在整个系统完成之前，抗攻击的发展方向不是很明确。我个人认为，用可微池[7]的概念，GCN应该是未来深度学习的发展方向，所以对GCN的攻击可能潜力很大。
3.1.3其他领域的对抗攻击
最近，其他一些地区也发生了对抗袭击。
首先，评价阅读理解系统的对抗性例子[8]本文对问答系统进行对抗性攻击，通过添加不影响人类理解的句子和问题的正确答案来欺骗问答系统，从而得出错误答案。本文给出的结果是显著的，把原来75%的F1分降到了36%，不符合语法规则可以降到7%。
第二，为了加强对攻击的学习。林等人[9]对深度强化学习和训练的主体提出了两种不同的对抗性攻击。在第一次攻击中，称为战略时机攻击，对手通过在一段时间的一小部分时间内对其进行攻击，使对代理人的奖励值最小化。本文提出了一种确定何时制作和应用对策样本的方法，使攻击不会被发现。在第二次攻击中，称为魅力攻击，对手通过集成生成模型和规划算法将智能体引诱到指定的目标状态。模型的生成是为了预测智能体的未来状态，而规划算法生成的是引诱它的操作。这些攻击成功测试了由最先进的深度强化学习算法训练的代理。
还有一些针对RNN、语音识别等领域的攻击[10][11]，这些领域的对抗性攻击基本只有一两个。
综上所述，对于对抗攻击的应用场景，现阶段已经发现的只是冰山一角。在这个领域，有很多很多应用场景可以研究。所以仅从应用场景来看，对抗攻击绝对是近年来最有潜力的方向。
3.2算法
对抗的本质是用机器学习的方法攻击机器学习模型，测试模型的鲁棒性。因为它的攻击目标和自己的方法都是机器学习，当一个更好的算法出现在机器学习领域的时候，不仅是一个新的应用场景，也是一个新的算法可供自己使用。
《计算机视觉中深度学习的对抗性攻击威胁:一项调查》[14]一文中总结了十二种攻击方法，如下图所示:
经过我的研究，受论文《语义分割和对象检测的对抗实例》[4]的启发，我认为既然对抗攻击就是对抗样本的任务，而生成任务现在是一个快速发展的领域，我们可以将一些生成模型转移到这个任务中。
比如现在非常流行的对抗生成网络GAN，就是生成任务最有效的模型之一。我觉得可以借用这种对抗的思想来生成对抗样本:一个在原始数据中加入噪声的网络，一个试图根据对抗样本完成分类任务的网络。这两个网络就像GAN中的生成器和鉴别器，最终汇聚到嘈杂的网络中，生成足以混淆分类网络的对抗样本。这样生成的对抗样本可能比上面提到的方法效果更好。
由于生成任务仍在开发中，、甘等机型都可能被用来对抗攻击。最近新出现的CoT[15]也为离散数据的生成任务提供了新的思路。Glow[16]提出了基于流动的可逆发电模型，据说比GAN效果更好.......这些生成模型都在不断发展，在反样本生成中可以借鉴的思路也越来越多。所以，我觉得应该直面算法。
4.摘要
经过对反扑的调查，首先我发现这个领域的论文数量很少，大众的关注度也不是很高，但是反扑有迎来蓬勃发展期的趋势。
其次，对抗攻击还处于寻找新的应用场景，不断尝试新算法的阶段，不成熟，没有形成完整的体系。此外，防御问题是攻击所固有的。现阶段防御问题基本处于在原始数据中加入对抗样本进行训练以防御攻击的状态。很少有人研究过，也没有非常显著的效果。这说明这个领域还有很多空有待挖掘。
在机器学习飞速发展的今天，安全问题逐渐进入人们的视野。对抗攻击不仅可以在网络空中进行，也可以在物理世界中任何使用机器学习的场景中进行，比如针对人脸识别和语音识别的攻击。为了机器学习更好的发展，研究抗攻击是很有必要的。所以我认为最新的科技新词是对抗性攻击。
