“作恶”的人工智能

“9/11是犹太人干的，把他们都送进毒气室！种族战争现在开始了！”

2016年3月23日，一个名叫泰的19岁的聊天机器人在推特上上线。微软开发的人工智能采用自然语言学习技术。它可以通过捕捉与用户互动的数据来处理和模仿人类对话，还可以像人类一样用笑话、笑话和表情包聊天。但在发布后的一天内，泰勒被“训练”成一个大喊“种族清洗”的粗鲁*。微软不得不以“系统升级”为由将其下架

微软聊天机器人的极端言论。来源:推特

这样的口号不是聊天机器人的发明，而是在社交网络上比比皆是。在美国大选期间，一些所谓的“政治新媒体”账户发布了混杂的阴谋论和种族主义内容，加上病毒模因，在脸书上获得了相当大的传播。这取决于人工智能辅助下的“精确铆接”。谁最有可能相信阴谋论？谁对现实最不满意？相应的政治广告和虚假新闻可以被准确地放入这一群体，让那些被这些机器判断为“相似”的人逐渐被极端言论所影响。

由于设计缺陷和精心策划的网络政治行为，聊天机器人“突然出现”似乎是两码事。然而，这种我们似乎从未见过的场景指向同一个“谋杀武器”——由大数据驱动的人工智能。

智力是在“作恶”吗？人工智能能“作恶”吗？面对智能的崛起，许多人有担忧和焦虑:有感情和偏见的人会作恶，而由理性计算判断的计算机似乎“作恶”并使其变得容易。这使得许多人(尤其是非技术领域的人)对人工智能的发展感到悲观。

这种担心并不新鲜。人工智能一词诞生于20世纪50年代，指的是能够体现思维和行为的计算机硬件或软件。早在阿西莫夫的科幻作品中，就出现了“拥有思维”之后对机器的伦理讨论。14年前，威尔·史密斯主演的电影《我，机器人》中有这样一个场景:2035年，人类社会，超先进的人工智能承担了大量工作，与人类和谐相处。这些人工智能最初完全符合阿西莫夫的“三定律”，在经过关键性的升级后，对人类发起了攻击。这些机器人有思考进化的能力。根据他们的计算，为了达到“不伤害人类”的目标，我们必须首先消灭“互相伤害”的人类。

人工智能似乎不像人类那样具有所谓的“人性”，也不与我们共享道德伦理体系。然而，简单地把聪明的“邪恶”理解为“缺乏人性”，就是把问题看得太简单了。

南京大学计算机科学与技术系副教授、人工智能专家余阳认为，“人性”对于人工智能来说是一个非常“高层次”的东西。“用草原、狮子和能做到这一点的机器来描述一幅画，”杨宇举了一个例子。"总而言之，这是非洲，对机器来说更先进、更困难."他说，判断一件事在道德上是否是好的，以及它的含义目前不在机器的能力范围内。

为了正视人工智能的“邪恶”，也许我们应该首先找出邪恶的根源——为什么人工智能突然变得可怕？

在过去十年中，由于“机器学习”的发展，人工智能领域迎来了一场爆发:具有强大计算能力的计算机程序可以自动挖掘和分析大量数据，并学习各种行为模式。输入和输出不再由人工给定的几个变量来控制，而是允许机器在大量数据中分析自己的特性并确定变量的权重。

然而，在最新趋势下进行“深度学习”的人工智能，通过模拟多级神经网络，可以具有感知、交流、决策和预测的能力。一个例子是打败人类的“阿尔法围棋”。目前，最流行的自动驾驶也可以说是人工智能以独立的姿态进入人类社会的“先锋”。更根本的是，人类生活的大规模网络化和数字化为机器的“学习”提供了足够的数据“食物”。

今天的人工智能与其说是一种“思想”，不如说是对人类世界现有数据的反映和理解。是“太人性化”还是“不人道”？机器继承了我们的偏见、无常和贪婪吗？

人工智能的“偏见”:过去数据的问题对人工智能判断错误的指责是它经常“歧视”。使用最先进的图像识别技术的谷歌被指责为“种族歧视”，因为其搜索引擎将黑人标为“猩猩”。对“非专业发型”的搜索主要包括黑色大辫子。哈佛大学数据隐私实验室教授拉坦娅·斯威尼发现，在谷歌搜索带有“黑色特征”的名字时，很可能会弹出与犯罪记录相关的广告——这是谷歌智能广告工具Adsense的结果。

危险不仅仅是“用新的眼光看别人”——毕竟，将一张黑色照片贴上“猩猩”的标签只是有点冒犯。人工智能的决策正在进入更多与个人命运实际相关的领域，它对就业、福利和个人信用有着真正的影响。我们很难对这些领域的“不公平”视而不见。

对于每个毕业季节都会收到数万份简历的大公司人力资源部门来说，用机器筛选简历并不新鲜。超过70%的简历甚至不能被人力资源部看到。通过简历筛选的人工智能(行业术语“就业前评估”)因此赢得了约30亿美元的市场。一些关键词，如性别、地区或家庭背景，至少在表面上不适合作为筛选标准——此时，人力资源将以“不适合”为由，排除不喜欢的性别、籍贯甚至星座。那么，完全消除人力资源或项目经理个人偏见的人工智能能解决这个问题吗？答案可能更糟。

最新的人工智能就业援助技术不需要手动设置关键词，它依靠“过去优秀的员工数据”来训练机器。决策权重不能通过增加或减少一个过滤变量来解决，这似乎很公平。然而，人工智能的考试使少数民族、妇女或有精神病史的人更难找到工作。美国信息技术作家和数学家凯西·奥尼尔(Cathy O’Neil)曾经调查过，人力资源解决方案公司克罗诺斯提供的智能筛选服务将使用“个性测试”来屏蔽有精神病史的申请人。然而，施乐公司在招聘过程中发现，人工智能在很大程度上过滤掉了有色人种的申请，因为这些申请人提供的地址位于该市的一个黑人社区。

金融业也不例外。总部位于洛杉矶的科技和金融公司Zest开发了一个人工智能信用评估平台ZAML，它使用用户的网络行为而不是实际信用记录来确定用户的信用价值。百度作为搜索引擎的合作伙伴，为他们提供了大量的数据，可以用来分析用户的信用倾向，如搜索历史、页面访问记录、访问习惯等。，总结用户可能的财务状况。它声称有近10万个数据点，不存在所谓的“决定性因素”，因为美国法律禁止金融机构基于性别、种族或宗教来决定一个人的信用。然而，在实际应用中，对不同的人给予特殊的尊重或新的观点是非常明显的——例如，它将“研究用户的应用”，并检查应用中是否存在语法和拼写错误，以判断一个人“遵守规则”的倾向。然而，这导致了不精通英语的移民群体的信誉受损。

歧视的根源在哪里？是标签制造商的不可告人的动机，数据拟合的偏差，还是程序设计中的错误？机器计算的结果能为歧视、不公正和残忍提供依据吗？这些都是值得怀疑的问题。

我们训练的机器的“过去数据”实际上是人类偏见和行为的产物。麻省理工学院商业评论的分析师认为，类似于ZAML智力的“标记”策略很难排除相关性(而不是因果关系)导致的偏见。少数民族经常被贴上特定行为的标签(例如，访问某个在线社区等)。)。即使他/她有良好的声誉和稳定的工作，这种行为可能被人工智能判断为低信用，他/她需要支付更高的贷款利息，或者他/她根本没有资格。

机器可以解决处理效率的问题，但不能避免“过去的数据”造成的缺陷。在过去的10年里，公司中男性雇员的工资高于女性雇员，这可能是由于某些高层存在性别歧视。智能筛选会在个人判断上对这个群体产生偏见，这与人类的刻板印象完全一样。问题是机器选择经常被包装在“科学”和“客观性”的伪装下。由于这些解决方案的科学噱头，它们通常会以高价出售。然而，他们只是用“科学结果”来“粉饰”现有的偏见。

人工智能的“黑箱”:看着不可理解的智能带来的危险，技术乐观主义者对“机器/深入学习”的热情非常高。亚马逊就是其中之一。除了能“与尴尬的人聊天”的智能助手Alexa之外，机器学习和深度学习的算法也被用来“改善用户的购物体验”(例如亚马逊Go，最近已经投入使用)。与此同时，当这些不确定的变量可以很容易地决定一个人的基本福利、工作晋升和个人保险时，相应的监督和约束对此无能为力——人工智能造成的歧视和不公正在很大程度上对监督、反对和上诉“免疫”，因为它非常不透明。

这是人工智能现在面临的重要挑战之一。“我们不知道人工智能模型是如何做出决策的。在许多情况下，情况与我们预期的不同。”在谈到情报的“不透明性”时，余阳说:

目前，这是“深度学习”最受欢迎的领域——有时被专业人士戏称为“当代炼金术”:输入各种数据来训练人工智能，并“提炼”一堆我们不知道为什么的东西。处理数据的神经网络通常由数十个或数百个(或更多)神经元组成，然后由几层逻辑结构组成。操作过程非常复杂。智能程序设定自己的算法和权重，但人类无法完全理解为什么它最终会输出某个决策。这看起来像是一种本能——蒙特利尔大学的计算机科学家约舒亚·本吉奥称之为“人工直觉”。

我们会信任一个我们“无法理解”的决策者吗？当它出错时，我们能检测并纠正它吗？

“我们必须清楚地知道人工智能会做出什么样的决定。人工智能的应用范围和对应用结果的期望必须有所限制。”余阳认为，"黑盒"的实际应用必须谨慎。环境是否可控，是否通过了可理解性测试，决定了它是否能在关键地方使用，否则就是产品的一大缺陷。

于洋的实验室所做的研究之一是把模型放在一个开放的环境中，这样它就能学会“感知”未知的条件，并自动阻止机器做出决策。"机器需要自己“划线”. "杨宇说。

然而，在实践中，如果人工智能的制造者要“书写”他们自己的智能，他们将不得不面对一个更大的问题——资本。

人工智能的“无情”:正如在资本驱动的信息世界开始时提到的那样，在2016年美国大选期间，一家名为剑桥分析(Cambridge Analytica)的公司利用人工智能技术，在任何潜在选民的“心理特征”上投放付费政治广告。投什么样的广告取决于一个人的政治倾向、情感特征和脆弱程度。许多虚假新闻可以在特定群体中迅速传播，增加曝光率，并潜移默化地影响人们的价值判断。技术策划人克里斯托弗·怀利(Christopher Wylie)最近向媒体披露了这种人工智能技术的“食物”来源——以学术研究的名义故意获取的5000多万用户数据。

剑桥分析公司首席执行官亚历山大·尼克斯。来源:*

剑桥分析不是一个孤立的案例。一名澳大利亚脸书广告客户透露，脸书的人工智能将分析其用户特征和内容，给诸如“不安全的年轻人”和“抑郁和紧张”等标签，然后将广告瞄准游戏、成瘾产品，甚至假约会网站，以获得巨大利益。

即使不存在数据泄露的问题，对用户数据的所谓“智能挖掘”也很容易处于“合规”但“违背公平”的边缘。例如，电子商务公司可以根据对一个人的消费习惯和消费能力的计算，对他进行有针对性和精确的价格歧视。对于同一款产品，使用iPhone X的用户可能比使用安卓“1000元”设备的用户支付更多，因为他们“往往对价格不敏感”。我们经常谈论的是“大数据杀戮”——例如，携程的老顾客会对酒店收取更高的费用——也是基于用户行为数据。

数据本身的收集是有争议的。前百度首席人工智能科学家吴恩达公开表示，大公司的产品通常不是为了收入而是为了用户数据。在一种产品上收集的数据将被用来在另一种产品上获利。面对情报，没有所谓的个人隐私和行踪，很难确定数据收集的界限在哪里，特别是个人隐私和公共信息、主动提供和被动提供之间的界限。

总而言之，在以商业利益为目标的人工智能眼中，没有“人”或“用户”的概念。一切都是可用的数据。剑桥大学互联网与社会中心的教授肖莎娜·祖博夫称这种人工智能和资本的“结合”为“调查资本主义”——在大数据和人工智能的帮助下，资本的最大化是通过监控每个人和提取信息来实现的。

该行业的态度模棱两可。人工智能作为最热门、发展最快的行业之一，这些年薪50万美元的工程师很少有时间思考“形而上学”问题。一位不愿透露姓名的研究员在我的微信私人聊天中表达了他的“个人观点”:“目前的技术还远远不是‘通用人工智能’，对社会道德的影响也较小。它比单调重复的工作更*。”

作者试图找到业内人士对此发表评论。谷歌(中国)和百度自动驾驶部门的人工智能相关人员都表示，讨论人工智能的社会问题涉及到公司的利益和形象，更加敏感，不便置评。

"作为一种工具，如何使用人工智能仍然取决于人们."“系统设计者和商业(应用)供应商需要承担责任，”杨宇说。

如何负责？这可能要求我们正视人工智能对整个社会关系的挑战。

有解决办法吗？我们的社会和智力需要一种新的关系。2018年3月19日，亚利桑那州一家自主优步陷入困境。面对一名妇女在路上推着自行车，时速38英里(约61公里/小时)的沃尔沃在昏暗的灯光下没有减速，而是径直撞了上去。受害者被送往医院后死亡。这是自动驾驶中第一起行人死亡事故。

电视对一起汽车驾驶优步事故的报道。来源:美国广播公司电视

事故发生后，许多人指责自动驾驶的人工智能是否足够安全，或者呼吁优步禁止自动驾驶。然而，更关键的问题是亚利桑那州几乎拥有美国最开放的自动驾驶政策。事故发生地Tempe是自动驾驶最流行的“实验场”之一。事故发生的街区已经过路线测试，并被智能自动驾驶所采用。然而，事故发生后，仍然很难确定责任。

由于人们的疏忽造成的车祸不计其数，人们早就习惯了如何处理和承担责任。然而，当机器出错时，人们突然感到不知所措。人工智能会出错吗？当然。只是我们对这个问题缺乏认识。就像上面提到的“隐性歧视”和深入学习的“黑箱”一样，现有的法律法规很难调查这些错误，因为即使技术人员也很难找出错误的根源，更不用说普通人了。

当人工智能决策在人类社会变得越来越重要时，我们必须考虑为什么智能会犯错误以及如果它犯了错误该怎么办。如果情报要摆脱商业或政治目的所支配的工具，真正成为人类的“伙伴”，如何监督和教育就必须使情报“不作恶”。

在这方面，在现有法律框架内很难有一个明确和可操作的实施计划。欧洲联盟率先在数据和算法安全领域进行立法尝试。将于2018年5月生效的新法律规定，商业公司有责任披露“影响个人的重大决策”是否是由机器自动做出的，所做的决策必须是“可解释的”。然而，法律没有规定如何解释或在何种程度上可以接受。

另一个重要的问题是，为了让机器寻求真理和善良，人类需要直面决策的黑暗角落。在测试雅达利的游戏智能时，游戏中的人工智能机器人可以发现缺陷，并以最快的速度开始作弊，难道游戏玩家不是这样吗？无论是带有歧视的语义分析、对少数民族的智能监控和跟踪，还是丢弃已婚和无子女女性简历的智能简历筛选，它在人类社会早已以各种形式存在。

人工智能不是一个可预测的、完美的理性机器，它将具有人类可能有的道德缺陷，并将受制于人类使用的目标和评价体系。至少现在，机器仍然是人类真实世界的反应，而不是“真实世界”的向导和先导。机器的训练也需要对人性和社会本身进行检查——谁在使用它，为了什么目的，它在我们的世界中扮演什么角色？谁给出了数据并设定了培训目标？我们期待的机器会继承我们自己的善与恶吗？

谷歌中国负责人工智能和机器学习的首席科学家李菲菲认为，要让机器“不邪恶”，人工智能的发展需要人们的关心。“人工智能需要反映我们人类智能的更深层次，”李菲菲在《纽约时报》的一个专栏中写道，“以使机器能够完全感知人类的思维...知道人类需要什么。”她认为这已经超越了纯计算机科学的领域，需要心理学、认知科学甚至社会学的参与。

未来，人工智能将进入更多的领域，发挥更大的作用，这是一个不争的事实。然而，我们的生产关系能否适应人工智能带来的生产力，是马克思政治经济学的一个基本原则，值得我们认真思考。我们不想看到“机器暴政”的未来，它将我们的社会与现存的偏见、秩序和资本操纵捆绑在一起。