AI技术领域未来几年最引人瞩目的新方向是什么？

出发地:学术头条作者:汶川

在近年来对人工智能领域的研究过程中，我发现近年来反攻击的概念逐渐出现在世界各国研究者的视野中。我认为这将是现在和未来几年最引人注目的新方向之一。

1.概观

我在国内两个著名的学术搜索网站AMiner和Acemap上进行了一项调查，并以对抗性攻击和相似意义中毒攻击等词作为关键词搜索相关论文。以下是两个网站给出的论文数据分析图表。

一方面，从图中可以明显看出，从2015年到今年，与对抗性攻击相关的论文数量显著增加，这表明在机器学习飞速发展的今天，机器学习的安全性逐渐受到研究者的重视。所以我认为这个方向应该是未来几年的新热点。

另一方面，尽管近年来此类论文的数量显著增加，但这并不意味着在这方面有更好的前景和更多的知识有待挖掘。所以我搜索了另一个现在已经成为热门话题的领域——强化学习的数据进行比较。

通过对比强化学习和对抗攻击的流行程度以及发表的论文数量，我们可以发现与强化学习方向一致已经成为一个热门话题，反攻击已经开始进入论文阶段，并且流行程度急剧上升。然而，反攻击论文的绝对数量仍然很少。

这表明，可以用来对抗攻击的研究还在被研究者逐渐挖掘的过程中，还没有形成一个系统。所以从这个角度来看，直觉上来说，我认为最新的科技新词应该是对抗性攻击。

2.原则

中性网络的耐人寻味的性质，在打击攻击方面的开创性工作

尽管有轻微的干扰？扰动放大是由神经网络权值的内积引起的。如果权重维数是n，平均值是m，那么显然？？？此时的最大值是εmn？=？？？？？(？).因此，在高维空间中，即使是很小的扰动也会对最终的输出值产生很大的影响。

3.显色法

在研究该领域的论文的过程中，我发现作为机器学习安全的方向，抗攻击的发展可以归结为两个核心:不断寻找新的应用场景和不断使用新的算法

3.1继续搜索新的应用场景

每当一个新的机器学习领域出现时，研究人员都会尝试在这个领域进行研究，以对抗攻击，并找出攻击和防御这个领域的方法。以下是我发现的一些典型区域的反攻击研究结果:

3.1.1计算机视觉

分类攻击

图像分类是计算机视觉中最经典的任务，因此在这个应用场景中有很多关于抗攻击的论文，比如:基于雅可比的显著图攻击(JSMA)

对语义分割和对象检测的攻击

语义分割任务的挑战比分类任务要困难得多，语义分割的挑战样本就这样产生了。

在我的调查之后，受“闪族分割和目标检测的有利范例[4”论文的启发，我认为既然反攻击的任务是生成反样本，而生成的任务是一个非常快速发展的领域，我们可以将一些生成模型移植到这个任务中。

例如，非常流行的对抗生成网络GAN是生成任务的最有效的模型之一。我认为我们可以用这个对策思想来生成对策样本:一个给原始数据添加噪声的网络和一个试图根据对策样本完成分类任务的网络。这两个网络就像GAN中的生成器和鉴别器。最后，噪声网络产生的对策样本足以混淆分类网络。这样生成的对策样本可能比上述方法效果更好。

由于代任务的不断发展，VAE、甘等型号可能被用来打击攻击。最近出现的CoT[15](合作训练)也为离散数据的生成任务提供了新的思路。辉光[16]提出了基于流的可逆发电模型，据说比氮化镓更有效...这些生成模型在不断发展，越来越多的想法可用于生成抗攻击样本。因此，我认为该算法仍有无限的潜力来对抗攻击。

4.摘要

经过对反攻击的调查，首先，我发现这一领域的论文数量很少，公众的关注度也不是很高，但是反攻击有一个迎来蓬勃发展时期的趋势。

其次，反攻击仍处于寻找新的应用场景和不断尝试新算法的阶段。它还不成熟，还没有形成一个完整的体系。此外，攻击天生就有防御问题。目前，防御问题基本上处于训练反攻击样本和原始数据一起防御攻击的状态。很少有人研究过它，也没有什么显著的效果。这表明该领域仍有很大的探索空间。

随着机器学习的快速发展，安全问题逐渐进入人们的视野。反击攻击不仅可以在网络空间进行攻击，还可以在物理世界中使用机器学习在任何场景中进行有效的攻击，例如对人脸识别和语音识别的攻击。为了更好地发展机器学习，有必要研究如何抵抗攻击。因此，我认为最新的科技新词是对抗性攻击。

5.引用

[1] N. Papernot，P. McDaniel，S. Jha，m .弗雷德里克松，Z. B .切利克，A.Swami，深度学习在对抗环境中的局限性，载于2016年美国电气与电子工程师学会欧洲安全与竞争研讨会论文集。

[2]苏俊杰，瓦尔加斯，库一，一个像素攻击愚弄深层神经网络，arXiv预印本第四版:1710.08864，2017 .

[3]穆沙维-德佐利，法齐，弗罗萨，深傻瓜:一种简单而精确的方法，在美国电气和电子工程师学会计算机视觉与模式识别会议论文集，第2572582页，2016。

[4]谢，王，张，周，谢，阿育，语义切分和目标检测的对立示例，arXiv预印本arXiv:1703.08603，2017 .

[5]戴，，回礼，，，，，."对抗攻击图结构数据."机器学习国际会议(ICML)，2018.2018卷。

6]祖？格内尔，丹尼尔，阿米尔·阿克巴尔奈贾德和斯蒂芬·顾？奈曼。"对图数据的神经网络的对抗性攻击."《第24届美国计算机学会全球知识发现与数据挖掘国际会议论文集》，第2842856页。奥地利中心，2018年。

[6][. 7]英若，尤杰，莫瑞斯，等.可微池的层次图表示学习[[].CoRR，2018年

[8]贾瑞，梁平.评价阅读理解系统的反例. J].arXiv预印本arXiv:1707.07328，2017。

[9]林毅中、洪、廖、施、刘、孙，深度强化学习代理人的对抗性攻击策略，arXiv预印本arXiv:1703.06748，2017 .

[10]帕尔诺特·恩，麦克丹尼尔·普，斯瓦米·阿，等.为递归神经网络设计对抗性输入序列[C]//军事通信会议，军事通信委员会2012016。IEEE，2016:49-54

[11]卡林尼，魏格纳d .音频对抗的例子:有针对性的攻击讲话到文本[J]。arXiv预印本arXiv:1801.01944，2018。

[12] C .塞格迪，w .扎伦巴，I .苏斯基弗，j .布鲁纳，d .埃汉，I .古德费勒，r .弗格斯，神经网络的内在性质，arXiv预印本arXiv:1312.6199，2014 .

[13]古德费勒，施伦斯，塞格迪，《解释和利用对立的例子》，arxivprebordearxiv:1412.6572，2015。

《计算机视觉中对深度学习的对抗性攻击的威胁:一项调查》，[J。arXiv预印本arXiv:1801.00553，2018

[5]15]卢生，俞露，张伟，等. CoT:生成性建模的合作训练. J].arXiv预印本arXiv:1804.03782，2018。

[16]金玛·戴普，《辉光:具有可逆1×1卷积的生成流》，[J]。arXiv预印本arXiv:1807.03039，2018。