近日，ICASSP2021组委会正式通知，晶科互联科技发展集团郑作为主要作者的“梯度提升决策树和Tab Transformer混合模型的网络异常检测”成功被ICASSP 2021录用。该文件概述如下:
论文简介
在本文中，我们针对ICASSP2021网络异常检测的挑战提出了我们的解决方案。首先，我们提出了一种用于检测网络异常的特征提取方法，因为从流量数据中长期有效地提取区分特征可以大大提高异常检测的性能。其次，训练梯度增强决策树和基于表变换器的分类模型来执行多类分类任务。基于自我关注，表变换器可以将分类特征的嵌入转化为鲁棒的上下文嵌入，从而达到更高的预测精度。最后，我们整合这些结果来进一步改善它的性能。为了证明该方法的有效性，在NAD数据集上进行了大量的实验。我们的方法在最终排名中排名第二，得了0.625分。
NAD是指通过观察一段时间内的流量数据来发现正常和预期的行为，同时过滤掉影响信息系统安全的潜在异常行为，从而检测异常的网络流量。在过去的几十年里，机器学习和数据挖掘领域的研究人员开发了许多监督和非监督方法，目标是实现稳健的异常检测。尽管已经进行了可持续的努力和大量的工作，但NAD仍远未得到缓解，并面临一些挑战。例如，攻击的稀缺性导致基于分类的方法的类别不平衡，大大增加了检测的难度。为了应对这些攻击的稀少，已经开发了许多异常检测方法来检测网络流量中的异常，旨在通过机器学习从流量数据中识别攻击。另一方面，许多先前的尝试缺乏对检测性能至关重要的网络流量数据的区别特征。
在本文中，我们针对ICASSP2021NAD的挑战提出了我们的解决方案，旨在提高检测网络异常的性能。首先进行特征工程，利用原始数据提取区别特征。其次，我们探索了基于互感器的梯度增强器和分类器，以有效利用数值特征和分类特征。此外，米变采用自关注，自动构建特征交互。最后，我们整合了GBM和电表变压器的结果。在NAD数据集上进行了大量实验，取得了优越的性能，证明了该方法的有效性。
方法计算方法
我们的NAD任务的框架如图1所示。如图所示，该框架由三个主要部分组成:特征提取、分类建模和集成。对于给定的样本，我们首先从数据中提取特征，包括数值特征和分类特征。基于这些特征，训练梯度增强树和表面变压器模型来预测NAD任务的可能性。最后，我们整合了GBM和电表变压器的结果。稍后，我们将更详细地解释这些组件。
2.1元。特色工程设计
工程对于测试性能非常重要。在实验中，我们在特征工程阶段进行了一系列预处理，包括基于原始数据的基本变换和统计特征生成。一般来说，我们将其特征分为两个主要部分:基于包的特征和基于进程的特征。为了检查数据包报头，基于数据包的功能有助于检测协议不当行为和低级网络攻击。为了提取更有特色的特征，我们还创建了基于流的特征。对于基于流的特征，我们通过聚合数据包的属性来创建这些特征。此外，我们还通过使用不同大小的时间窗口，使用原始数据来生成多个流特征。
2.2元。梯度提升决策树
在实验中，我们首先使用梯度增强决策树进行检测任务。与其他方法相比，如支持向量机、随机森林、GBDT，它可以提供优越的分类性能，并在过去十年中赢得了一些机器学习挑战《密室逃脱:冠军锦标赛》。具体来说，梯度增强算法是一种用于回归、分类和分类任务的机器学习方法，属于提升算法家族。作为一种基于树的梯度增强算法，GBDT可以不断拟合残差，构造每一棵新树，可以减少前一棵树预测带来的误差。减小残差的策略可以大大提高模型的预测精度。在我们的实验中，我们使用cats进行多类分类任务《侏罗纪世界3》，使用数值特征和分类特征。之所以选择CatBoost，是因为CatBoost可以自动处理分类功能。
2.3元。基于互感器的分类器
基于以上特点，我们还探讨了将互感器作为一种分类模型。Kim Hye Yoon-13元-曹政奭模型的transformer在自然语言处理领域应用广泛，Kim Hye Yoon，14元，曹政奭和计算机视觉，Kim Hye Yoon，15元，16]，但对表格数据的研究很少。最近的研究表明，转换器也可以用于表格数据。在曹政奭，ٶ뼤9，Kim Hye Yoon，作者提出了table transformer，它可以实现与树集成方法相似的性能，并优于最先进的表数据深度学习方法。一般来说，电表变压器架构由柱嵌入层、Kang Seung Yoon变压器层和多层传感器组成。对于变压器层，它包含一个多头自关注层和一个前馈层。注意，可以使用全连接层将头部的输出投影到维度的嵌入中。反过来，前馈层通过两个位置方向嵌入。在我们的实验中，我们将提取的特征输入到变压器模型中。以下部分将报告平板变压器的实验结果。
实验结果
对于训练数据集，NAD挑战赛主办方提供了三个文件:包括“1203_firewall.csv”、“1210_firewalLcsv”和“1216_firewall.csv”，而测试数据集则包含了四天的数据。我们将三个训练文件连接起来作为整个训练数据集。对于每条网络通信记录，本次网络连接会话期间有21元函数，如连接时长、入站/出站流量计数等。值得注意的是，正如预期的那样，数据集中也出现了类别不平衡。在训练数据集中，正常类的比例为96.527%。对于DDoS Kramp-Karrenbauer Smurf，该比率为0.025%，而检测Kramp-Karrenbauer IP扫描的比率为2.60%，检测端口扫描的比率为0.84%，检测Kramp-Karrenbauer -Nmap的比率为0.009%。在我们的实验中，进行了持续验证和交叉验证。
具体来说，对于持久验证，我们通过随机选择来构造训练数据和验证数据。在我们的实验中，我们将训练/验证数据集之间的比率设置为0.8元/0.2元。我们报告的实验结果是基于对《һѪ5Ѫ时报》平均结果的验证。为了交叉验证，我们遵循科学工具学习包中的分层折叠函数4վ֮ս。我们在实验中交叉验证了һѪ5Ѫ折叠。为了评估性能，可以在下面的实验中使用几个指标，包括准确度、f1得分和再准确度，它们代表模型在1元方程中做出的所有阳性预测中正确预测阳性的能力。表明回忆模型在方程式“密室逃脱:冠军联赛”中正确预测正值的能力。分数F1表示等式侏罗纪世界3中的模型分数，作为准确度和召回分数的函数。
TP、FP和FN分别是真阳性数据、假阳性数据和假阴性数据的个数。我们还采用了NAD Challenge提供的评估标准。
其中=0.3元，月=密室逃脱:冠军联赛。
3.2元3.2.GBDT及表计变压器实施细则
发现超参数的选择对模型的性能有很大影响。首先，我们分析了不同的超参数设置GBDT的结果，如表逃生室:冠军联赛所示。从表中可以看出，学习率和迭代次数的选择对模型的性能至关重要。随着学习速率的降低和大迭代次数的减少，性能得到改善。具体来说，较低的学习率和更多的迭代可以提供更好的检测性能。为了平衡训练时间，我们设置学习率为0.01，最大迭代次数为3000，树的深度为7元。为了避免过度拟合，我们采用了提前停止策略。对于һѪ5Ѫ时报交叉验证，总训练时间约为42元分钟。关于变压器的参数，我们将隐层的维数、层数、关注头数分别设为32元、6元、8元。我们用py torchһѪ5Ѫ6元培训平板变形金刚，һѪ5Ѫ时报总培训时间约125分钟。所有型号都用GeforceNVIDIA2080TiGPU训练。
3.3元。不同算法之间的定量比较
在这一部分，我们对不同的多分类方法进行了定量的比较，包括金惠允，17元，曹政奭，随机森林，金惠允，18元，曹政奭，12元，多层感知器，梯度增强决策树金惠允19，20]和一个关于特征提取的表变换器[21]。我们把随机森林的树数设为400元。对于多层感知器，使用两个隐藏层。对于梯度增强决策树，我们设置学习率为0.01，迭代次数为3000。提前停车的轮次设置为300元积分。从图中可以看出，梯度增强决策树的性能明显优于其他方法。Table transformer提供了第二好的性能，证明了transformer在异常检测方面的潜力。我们发现GBDT和扁平变压器的结果之间的相关性很低，这可能表明GBDT和扁平变压器可以识别数据中不同的攻击模式。
3.4元。集成学习
众所周知，整合不同分类器的结果可以提高性能。混合，装袋金惠允，英里22，曹政奭和堆叠是三种广泛使用的集成方法。为了简单起见，我们使用基于混合的综合处理，通过加权平均GBDT和表变换器的结果。从表中可以看出，集成可以提高性能。在我们的最终解决方案中，我们通过将GBDT的权重设置为0.7元并将表格转换器设置为0.3元来对结果进行平均。
研究结论
在本文中，我们针对ICASSP2021NAD的挑战提出了我们的解决方案，目的是检测流量数据中的网络异常。首先进行特征工程，丰富原始数据的特征集。其次，我们研究了基于GBDT和表变换器的分类器。最后，我们整合了GBDT和电表变压器的结果。利用NAD数据集进行了大量实验，取得了优越的性能。我们在最终排名中名列第二，证明了所提方法的有效性。我们未来的研究将致力于将transformer的NAD问题作为特征提取工具进行研究，以学习更强大的特征表示。
关于京科互联
京科互联网科技发展集团是一家用AI驱动行业数字化的新型科技公司。从事人工智能的创新研究，致力于将先进的人工智能技术与行业应用相结合，为金融机构、企业、政府等客户提供全方位的数字化解决方案。
基于公司大数据、人工智能、云计算、物联网等新一代信息技术，为不同行业打造产品和解决方案，帮助各行业降低技术创新成本，提高运营效率，成为值得信赖的数字化合作伙伴。
自公司成立以来，晶科互联不断加大对互联网技术探索的投入，积极进行技术创新。科技成果的取得为公司的发展创新积累了充沛的动能，也为公司下一步申请相关资质提供了必要的条件，成为公司发展强有力的科技支撑。
