南京理工一研究成果有效对抗AI“造假”

近日，南京理工大学计算学院李教授团队开发的“人工智能恶意样本监测技术”在2019年国际人工智能大会上发布。该算法及其实验获得了“挑战问题奖”，这也是中国信息安全学者首次获奖。这一成果将提高对抗环境下智能恶意软件监控方法的可靠性和安全性。

图片源网络

人工智能被广泛应用于越来越多的领域，如工业制造、医疗卫生、教育等。它给人们的生产和生活带来了极大的便利。同时，也存在一定的安全隐患。长期以来，恶意软件作为社会公共安全的重要威胁，已经成为*、工业和交通管理部门监视和攻击的目标。然而，为了避免监控，恶意软件开发人员应用人工智能技术来抵御监控，于是产生和注入对抗性恶意样本等新技术应运而生，俗称“人工智能智能攻击”。目前，在信息安全研究领域和安全产品市场上，还没有针对这些攻击的通用有效的对策。

针对现有大量监控系统中的机器学习算法容易受到逃避监控的人工智能算法攻击的现状，李教授的团队开展了“人工智能恶意样本监控技术”的研究。他们试图增强深度学习模型，主要使用人工智能分类器对恶意软件进行分类，以恶意软件为输入样本，分为训练数据集和测试数据集。在训练阶段，训练一组多个人工智能分类器，并将所提出的原则系统地应用于每个分类器；在测试阶段，样本被输入到每个分类器，最后根据所有分类器的投票结果确定样本是否是恶意软件。

据团队成员李德强博士介绍，该技术的关键是在训练阶段创新性地提出一些设计和规避原则，可用于恶意软件分类的设置，提高智能分类器对抗对抗性规避攻击的可靠性和安全性。

李表示，该研究成果应用广泛，可用于规范工业互联网、智能无人系统等领域的顶层安全设计。通过统一智能系统的安全架构，可以增强无人系统等智能系统的安全互操作性，提高智能系统的信息防御能力。也可用于指导智能平台和工业互联网的产品安全开发。通过通用化、标准化和组件化，各种安全功能组件可以重复使用和更换，从而大大降低采购成本。它还可以用于指导智能平台和工业互联网的安全组件的分配和协调应用。通过安全资源的优化、安全监控流程的优化和安全组件的配置，提高了智能系统适应各种安全防御任务的能力，提高了无人系统、无人系统和有人系统以及无人系统和网络信息系统之间的安全交互能力。