近年来，人工智能取得了巨大的成功，因为它为我们提供了强大的算法，使我们能够利用大型数据库进行准确的预测或分类。它们越来越多地用于不同的目的，包括高风险的目的。然而，它们并不是绝对可靠的。
事实上，这些算法大多是针对数据进行训练的，这些数据会被有意操纵的对手误导，使其出错。
让我们举一个简单的例子:垃圾邮件检测。首先，标准分类器在准确性方面非常有效。然而，垃圾邮件发送者很快学会了如何通过他们的同义词来改变“垃圾邮件”，并添加更多的“非垃圾邮件”信息来误导分类器。因此，垃圾邮件过滤器已被更改为检测这些伎俩。然而，垃圾邮件发送者通过使用新的来处理它。所以这就导致了防守方和进攻方无休止的博弈，直到达到均衡状态。
在这种情况下，博弈论非常有用，因为它提供了数学工具，从防御和攻击策略的角度对防御者和攻击者的行为进行建模。
更具体地说，基于博弈论的模型可以考虑以下因素:
攻击者在适应分类器的成本和攻击的收益之间进行权衡。防御者所做的权衡是在正确检测攻击和虚警的成本之间取得平衡。因此，基于博弈论的模型可以确定需要哪种适当的策略来减少防御方对抗攻击造成的损失。
垃圾邮件过滤并不是这些模型能够带来有价值信息的唯一案例。这个视图可以用来描述许多其他具有更高风险的情况:计算机入侵检测、欺诈检测和空中的监视。
在这篇文章中，我将与你分享如何将博弈论应用于对抗性机器学习。
阅读本文后，您将了解到:
博弈论如何应用于机器学习？博弈论如何帮助解决对抗性学习问题？你的机器学习算法如何对攻击具有鲁棒性？一个基于博弈论的例子
让我们从一个简单的例子开始:垃圾邮件检测。
接下来的部分描述了刘(W. Liu)和查瓦尔(S. Chawal)为对抗性学习开发的博弈论模型。
常规设置
它可以被建模为垃圾邮件发送者和防御者之间的双人游戏。
垃圾邮件发送者可以选择1)通过改变垃圾邮件来攻击分类器，以便他们可以通过垃圾邮件过滤器，或者2)当他们知道一些垃圾邮件可能通过时不进行攻击。防御方可以选择1)重新训练分类器以保持低的错误分类率，或者2)不重新训练分类器，尽管这可能增加垃圾邮件的错误分类。我们将假设垃圾邮件发送者是第一个采取行动的。
如下所示，有4种可能的结果。每个场景可以与两个玩家的收入相关联，以反映根据最终结果的相对排名。
例如，场景2对防御方来说是最坏的情况，但对垃圾邮件发送者来说是最好的情况，因为他对未经训练的分类器的攻击会导致大量错误分类的垃圾邮件。
垃圾邮件发送者和防御者之间的博弈树模型定义
这种情况可以建模为Stackelberg博弈，其中有一个领导者和一个追随者。
Stackelberg博弈通常用于模拟在一定竞争水平的市场中理性主体之间的战略互动。
在这种情况下，每个玩家通过从一组可能的动作U和v中选择一个动作来分别对S和D做出反应。这些集合被认为是有界的和凸的。
每个结果都与奖励函数Js和Jd相关。返回函数Ji是二次微分映射Ji→R，其中R是反应。
因此，可以预期参与人I的反应r I将使其收益最大化，即:
此外，第一个采取行动的人可以预测追随者的理性反应，并在他的第一个决定中将其考虑在内。这就是所谓的回滚或逆向归纳。
这意味着垃圾邮件发送者的第一个行动是解决以下优化问题:
因此，防御者会选择最佳方案:
这个解就是Stackelberg平衡。
请注意，这不同于纳什均衡，博弈中两个参与者同时行动，联立方程的解是，即两个参与者都不反应。
模型描述
现在我们已经定义了一般的设置，我们还需要确定分类问题的具体情况下玩家的收益函数。
为了简化，我们先只考虑一个属性。那么就可以很容易的扩展到多个属性。
首先，参与者的行动效果如何？
让我们定义以下分布:
p:垃圾邮件的分布Q:非垃圾邮件的分布μ' 0，且以下问题的极小值R满足f= l:
请注意，对于深度神经网络等复杂模型，这个优化问题没有封闭形式的解。但是可以用迭代数值法，这样会减慢生成速度。但是，它的成功率很高。
快速梯度符号法
我们定义:
X:干净观测J:模型损失函数相对于X的梯度:控制对抗性扰动重要性的参数该方法通过增加损失函数的值来产生对抗性扰动，如下:
请注意，在梯度方向上增加一个扰动，可以有意改变观测结果，从而使模型误分类。
与前一种方法相比，该方法速度快，易于实现。然而，它的成功率很低。
Goodfellow等人的论文也描述了这种方法，并得出一些有趣的观察结果，例如:
在创建对抗性实例时，使用扰动方向而不是扰动量来识别具有对抗性实例的分类器更有效，类似于分类器的正则化迭代快速梯度符号。
还可以以较小的步长应用FGSM几次，并修剪总数，同时使干净实例和对抗实例之间的失真小于1/3。
转移对抗的例子
上述大多数技术都假设攻击者知道所使用的模型。它们属于所谓的白盒攻击，而不是黑盒攻击。然而，在现实生活中，情况并非总是如此。
那么，攻击者通常会使用哪些技术呢？
对手可以通过探测重建模型。这使他能够形成一个数据集，用于训练替代模型。然后，利用白盒算法生成对抗性实例。
但是，在某些情况下，探测可能会受到可接受查询的最大数量的限制，或者受到对手产生的成本的限制。为了解决这个问题，对手可以生成对抗实例来欺骗分类器，并并行训练另一个模型。然后，他可以重用这些相同的对抗性实例来欺骗多个不同的分类器。
请注意，利用模型生成的对抗实例，可以欺骗黑盒模型。
生成对抗网络
对抗网络的生成完全依赖于博弈论方法。在这些模型中，被干扰的实例是从对手那里产生的，同时它们被用来训练学习者的模型，如下所示。
生成对抗网络框架如上图，学习者使用的函数称为鉴别器，而对手使用的函数称为生成器。
鉴别器和生成器通过零和游戏相互作用，因为它们都寻求优化一个不同的和相反的目标函数，或损失函数。
在这种情况下，鉴别器和生成器分别不断调整它们的预测和数据销毁机制。
最后
如今，随着个人和企业正在拥抱数字革命，人工智能算法越来越多地用于解决各种情况下的复杂问题，其中一些问题可能具有高风险。
因此，重要的是不要低估他们的弱点，因为他们可能在敌对的环境中面临对抗性的攻击。
这方面的例子不胜枚举:用于访问私人空或有价值信息的图像识别系统，用于保护个人和公司财富的欺诈检测算法，等等。
在这种情况下，博弈论为对手和学习者的行为建模提供了一个有用的工具，因为它一方面包含了对手的利益、攻击者的利益和生成对手数据的成本，另一方面包含了更新学习者模型的成本。
基于博弈论的方法会权衡对手和学习者采用的方法，可以用来评估实施具体技术的风险。因此，它是一个强大的决策工具，需要在类似情况下更广泛地使用。
