人工智能自主掌控武器，这……靠谱吗？

互联网上的图片

最近，韩国科技大学研究所和军事企业“汉化系统”联合开发了自己的武器，遭到了全世界50多名人工智能学者的抵制。南京大学的周志华教授是*唯一的学者。

根据周志华的说法，危险在于让机器决定是否对人类进行破坏性攻击。"自主武器首先在伦理上是错误的."

近年来，人工智能技术取得了飞速的进步，行业对此非常着迷。然而，从已经曝光的许多舆论事件来看，人工智能技术正被利益绑架，伦理规范和法律约束苍白无力，这引起了业界的深切担忧。

自动武器应该举起简单而普通的屠刀。

战争的武器是不祥的，不是绅士的武器。它们必须作为最后的手段。我国著名思想家老子对武器的使用有过精辟的论述。

"武器作为一种必要的邪恶而存在，它的道德标准要高得多."东南大学的程副教授认为，与人类控制的武器相比，自主武器依赖于预设的程序。然而，复杂的程序也是简单的规则，一旦满足触发条件，例如对方携带武器或具有显著特征，就可以自动执行。“现场环境极其复杂多变。如果是人类，当时的决策不一定是正确的，更不用说机器是基于一个简单的规则。”

通用智能武器早就有了，但最终的决定是由人类做出的。另一方面，自主武器将这种“决策权”赋予机器，机器将决定是否杀死人类。

“如果发展这种武器，自主武器将导致第三次战争革命，这将比以往任何时候都更容易和更残酷。”包括周志华在内的50多名学者在公开信中写道，他们可能成为*的武器。暴君和*可以用他们来对付无辜的人，他们会无视任何道德限制。如果这个潘多拉的盒子被打开，它将很难关闭。

在任何科学研究领域都有一些东西是不应该被触及的。例如，主流生命科学禁止人类克隆。这是科技伦理界定的禁区，也是主流价值观和人类道德的共识。

“当人类使用武器时，他们受到*意志和道德责任的控制，而自动武器则根据固定的程序来判断。他们既没有负责任的主体，也没有对杀戮的道德反思。这太可怕了。”程对说道。

两种伦理规范是不可或缺的

想象一下:当一辆自动驾驶汽车高速行驶时，一个人突然冲出了前车道，如果你不让车道与方向冲突，你可能会杀死对方并救你自己，如果你匆忙避开对方，你可能会失去生命...此时，计算机是如何做出合理的决定的？

这是人工智能行业广泛讨论的一个伦理问题，就像当妈妈和女朋友掉进水里时，谁应该首先被救的问题一样，答案并不清楚。

“人工智能面临的伦理问题实际上是在传统伦理学中讨论的。只有问题的形式发生了变化，从而引起了公众的关注。”程告诉记者，在这种情况下，将司机改为成年人不会引起如此广泛的关注。

学术界将人工智能的伦理分为两个方面。首先，对于机器来说，人类设计的程序包含道德规范。另一方面，应用技术或产品的人也必须受到道德约束。两者都不可或缺。

周志华认为强大的人工智能“不能也不应该做！”强大的人工智能意味着拥有头脑和意识，并能够按照自己的意图行动。霍金、马斯克和其他人担心“人工智能威胁人类”指的是强大的人工智能。到目前为止，主流研究并不支持机器的自主意识。

然而，对技术用户的道德和监管要求仍然是支离破碎和薄弱的。例如，最近支付宝被罚款5万元，因为它收集的个人财务信息不符合最低和必要的原则，并且使用不当。一些网民开玩笑说，“这种惩罚是一种罚款”。

“在网络信息领域，技术发展得太快，但伦理道德却没有共识。例如，数据收集技术非常高效，但几乎没有有效的控制和评估手段。这就像一个孩子在玩枪。没有人知道危险何时以何种方式发生。”程对说道。

伦理不是技术创新的绊脚石

过去，伦理学似乎与计算机科学不太相关。由“代码农民”编写的软件似乎不太可能造成身体伤害、疼痛或死亡。

然而，近年来道德问题急剧增加。在中国大数据被扼杀的舆论平息之前，外国已经揭露了脸谱网数据被泄露用于政治活动的丑闻。技术带来的负面问题大大增加了公众的焦虑和不信任。

在2018年的新学期，一门新课程命名为人工智能伦理学、数据科学伦理学、技术伦理学、机器人伦理学等。已经被添加到哈佛、康奈尔、麻省理工、斯坦福和其他美国大学的课程中。

与此同时，越来越多的互联网和人工智能公司，如谷歌、亚马逊和脸谱，正在拥抱科学和技术伦理，甚至成立专门的伦理中心或伦理委员会，招聘人工智能政策和伦理方面的研究人员。

然而，我国对研究生的科技伦理教育才刚刚起步，更不用说对不同科学领域的伦理课程进行详细的划分了。

“这是因为受宗教文化影响，西方社会一直对技术发展保持警惕，对伦理问题更加敏感。”程说，对技术的简单乐观在中国仍然占主导地位。

2016年3月，“阿尔法狗”横扫围棋世界冠军，使人工智能闻名于世。"工业、金融和技术都一下子变得疯狂起来，但道德和法律却没有跟上."南京信息工程大学副教授徐军说:“技术是一把双刃剑，取决于谁在使用它。”

技术发展不同于科学探索。它指向更具体的目标。现代德国社会学家马克斯·韦伯曾提出工具理性与价值理性区分的学术概念。其核心是说技术或工具追求的是如何有效地实现既定目标。价值理性的任务是检验这一目标对人类福利和社会发展的价值。两者必须统一。

“当伦理问题出现时，仅仅依靠几十位学者的呼吁是不够的。这需要开发商、决策者和社会各界达成共识。”徐军认为。

然而，在道德观日益多元化的今天，形成社会共识越来越困难。尽管如此，专家们仍然呼吁人工智能的开发者和决策者要更加自律。相关企业应建立伦理审查机制，防止技术滥用；相关院校应尽快开设人工智能伦理学课程，让学生在离校时能够进行负责任的创新。与此同时，有必要为法律法规设置更严格的红线，以大幅提高违法成本。

文章的原始标题是“人工智能独立控制武器，可靠吗？”》