怎样才能不造出一个“奥创”？

复仇者联盟2:奥创时代开始了。在这部电影中，人工智能“奥创”背叛了人类，几乎杀死了所有人——但是请放心，破坏者已经结束了。

[:我能说奥创人真的很丑吗...照片来源:复仇者联盟2海报]

人工智能反叛确实是美国文学和科幻小说中的一个共同主题。问题是现实中真正的人工智能似乎正一步步向我们走来。如果我们真的造了人工智能，它又*了呢？能否安排预防措施，使它永远忠于我们，永远不会杀死我们所有人？

机器人三定律？你认为许多科幻迷会记得阿西莫夫的机器人三定律吗:

机器人不允许伤害人，也不允许因不作为而造成伤害。机器人必须服从人类的命令，除非它们违反第一定律。机器人必须保护自己，除非它们违反第一或第二定律。这似乎足以保护人类，但一点也不。

[机器人三定律摘要。来源:infinitywave]

首先，把三个定律翻译成“定律”是错误的。牛顿三定律是人类观察和总结自然的结果。我们有理由相信，在它们的适用范围内，它们总是有效的。然而，阿西莫夫的三个“定律”实际上只是三个定律，它们是由人类在没有任何物理支持的情况下写入机器人大脑的。任何了解机器人工作原理的人都可以制造出不遵循三定律的机器人，这不是机器人自身失败的可能性。事实上，阿西莫夫自己至少写过三个违反法律的例子。

然后，这三个定律甚至没有给“人”和“机器”一个明确的定义...阿西莫夫的索拉里亚人向他们的机器人规定，“只有带有索拉里亚人口音的人才是人类”。人形机器人也带来各种各样的判断困难。(这引出了三大定律的另一个问题。如果机器人没有足够的信息并且不能意识到其行为的后果，它能任意行动吗？)

此外，法律之间的冲突更难以处理。在早期的作品中，一个机器人陷入了一个死循环，因为它陷入了第二定律和第三定律的冲突中。在后来的环境中，如果有不可调和的冲突，机器人会自我毁灭——但冲突是一种非常普遍的现象，而且是一个连续的频谱。如果一个行为是100%有害的，它当然适用于第一定律。50%怎么样？1%怎么样？0.001%怎么样？不能准确计算概率吗？知道交通事故的风险，机器人会按照“开车送我去上班”的顺序吗？指挥官的语气和命令的紧迫性有影响吗？这些都是现实中极其普遍的问题，不能用三定律来解决。

这显示了三个定律中最基本的问题:这是一个极其简化的“义务论”系统。它无限强调理性的力量，并试图用简单而普遍的规则来决定世界上的所有情况——但现实哪里如此简单？想想《旧约》中发生了什么，当时上帝试图用十诫来规范人类的结果。

锁在盒子里？如果我们有一个会造成危害的程序，标准的做法是让它在一个严格监管的虚拟机中运行——它所能做的最坏的事情就是破坏虚拟机。人工智能也可以这样做。对于其他程序，这样做没有问题。但是现在我们面对的是一个智力超群的人工智能，它仍然是一个人在照顾它。甚至人类囚犯也可能诉诸欺骗、劝说或威胁来让狱警开门。人工智能呢？想象一下，当你醒来发现自己和一群老鼠在*里，而你还能和它们交流时，出去是多么困难。你真的能永远抵制人工智能的超人智能吗？即使人们可以做到，我们用来关闭人工智能的虚拟机能保证永远万无一失吗？

人工智能研究人员模拟了所谓的“人工智能盒子实验”:一个人扮演人工智能，另一个人扮演守卫。有了同等水平的智力，人工智能就有很大的机会说服人类去开门。

而且，即使第一个人工智能被锁在盒子里，也会有第二个、第三个和第四个。你不知道其他人工智能是什么样子，它可能比你的更危险——至少你知道你创造了什么。此外，无论你想让人工智能完成什么任务，让它接触到外部环境的所有信息肯定会让它更好地完成。如果别人这样做，你会受苦。此外，发布的超级人工智能也可以帮助你炒股或什么的。既然你确实是第一个创造这个伟大奇迹的人，如果你没有充分利用它所能带来的一切，而是让别人去做完全一样的事情，那还有什么意义呢？

所以，打开盒子让我出去？

智慧就是善良？这并不一定意味着我们希望的人工智能在所有方面都比我们好——在这种情况下，也许他们在智力上比我们更优秀，在道德上比我们更高尚，所以他们不会邪恶或愚蠢到杀死我们所有人。

要是这样就好了！问题是，你怎么知道人工智能的目标是什么？人类的精神基础是进化的产物。我们都有生理、安全、社交、尊重、自我实现等共同需求。，但不同的人有不同的侧重点和实现方式。然而，第一个超级人工智能可能不是从一个人造人身上诞生的，而是来自现实的需求，比如它的目标是在股票市场赚钱或增加工厂的产量。此时将会发生什么很难预测——它的道德体系可能与人类毫无共同之处。

一个著名的思想实验是所谓的“纸夹最大化机”。如果你设计一台机器来生产回形针，并且它在某种程度上拥有超级智能，它会把它所有的智能都投入到更好、更快、更好地制造回形针上，直到整个地球变成回形针。如果你订购它来生产1亿个回形针？那么1亿个片段必须有计数和质量控制，并且必须添加新的仪器。新仪器总是有可能出现问题，需要更多的仪器来纠正它们。最终，它将把整个地球变成一堆计数器、探测器和各种辅助仪器加上1亿个近乎完美的回形针。这是一台生产回形针的机器。它的道德体系围绕着制作回形针而存在。它既不爱你也不恨你。它只是把你当成一个可以用来制作回形针的原子。

[也许世界最终会再次诞生智慧——但一切都将围绕着回形针。资料来源:thoughtinfection.com]

让人工智能背诵整套道德？我们不敢放松的方法都行不通，那我们就坚持下去。由于人工智能具有非凡的智能，它的学习能力不会差。刚才我们也有各种各样的大数据工具来将人工智能注入我们现有的整个道德体系，这将永远持续下去。可以吗？

你填了哪一个？许多道德理论之间的矛盾是一团糟。谁敢说他代表了道德哲学的制高点？更重要的是，这只是我们目前的理论。如果古希腊人创造了青铜人工智能，他们会教它什么？如果墨家创造了木头的人工智能呢？康斯伯格的《人工智能》会成为康德的学生吗？伦敦的人工智能必须向米勒学习吗？他们中的哪一个能在今天的社会中完美地生存？50年后，有多少今天的道德规范仍然有效？

停下。也许我们太自大了。就连我们人类也没有消灭谋杀和战争，没有找到道德和幸福的真正源泉，在日常生活的每一分每一秒都不得不犹豫、挣扎和后悔。那么，为什么你认为我们创造的超级人工智能，比我们更聪明、更不可预测，能从我们身上学到完美的答案呢？

时间、平等、交流和爱可能是退一步思考现实中最伟大、最接近的“人工智能”的时候了。儿子。我们如何教育我们的孩子不要杀死我们所有人？

我们花了18年或更多的时间和他们在一起，慢慢地，逐渐地影响他们的世界和思想。

从我们屈尊俯就的开始，我们就教他们一步一步走向平等，最后我们把他们当成和我们一样的人。

我们不断与他们交流，倾听他们的困惑，帮助他们解决问题——通常是帮助我们自己。

我们爱他们。他们也爱我们。

这可能是开创成功先例的唯一途径。孩子是我们的创造，但他们也是独立的个体。我们可以教他们，但我们不能永远控制他们。怎么会有一个人拥有非凡的智慧、想象力和创造力，完全在另一个人的控制之下？如果我们想要一个能够绘画和作曲的人工智能，一个能够处理现实中复杂问题的人工智能，一个能够和我们聊天的人工智能，一个喜欢人甚至比人更好的人工智能，我们最终会发现我们别无选择，只能给它*。

因此，面对超级人工智能，最终的解决办法可能是放手。教授it知识和世界观，并与之讨论和思考。世界正在迅速变化。没有人真正知道该做什么。我们可能必须推进我们创造的人工智能，而不是徒劳地试图用枷锁和规则来“控制”它。毕竟，即使我们束缚了人工智能和自我毁灭的能力，我们也丝毫没有减弱。

欲了解复仇者联盟2的更多科学解释，请在特殊区域盖章: