AI侦探敲碎深度学习黑箱

研究人员创建了一个神经网络，可以填补照片中的空白，以识别人工智能中的缺陷。资料来源:ANH NGUYEN

杰森·约辛斯基坐在美国加州旧金山的一间小玻璃办公室里，陷入了对人工智能的沉思。作为优步的一名研究科学家，尤辛斯基正在为运行在笔记本电脑上的人工智能进行“大脑手术”。

许多人工智能将改变现代人的生活，比如优步的无人驾驶汽车。约辛斯基的程序是一个深层神经网络，其架构或多或少受到大脑的启发。就像人脑一样，这个程序很难从外部理解:它是一个黑匣子。

这种特殊的人工智能可以通过大量的标记图像来训练，以识别诸如斑马线、消防车、安全带等物体。但是它能在摄像机前认出约辛斯基和记者吗？约辛斯基放大人工智能的一个独立计算节点(神经元)，看看是什么触发了它的反应。

屏幕上漂浮着两个幽灵般的白色椭圆形物体。这个神经元似乎已经学会了如何检测面部轮廓。他说:“它会对你我的脸以及不同大小和颜色的脸做出反应。”

然而，没有人训练这个网络来识别人脸。在训练图像中，人类没有被标记，但是网络确实学会了识别人脸，也许是和人脸一起出现的物体，比如领带和牛仔帽。网络如此复杂，以至于人类无法理解他们所做的决定。

约辛斯基的探索指出了一些道路，但总体情况仍不明朗。“我们有惊人的模型，但我们并不真正了解它们，这种情况每年都在恶化，”他说。

深度学习似乎每个月都扩展到另一个学科。他们可以预测合成有机分子的最佳方式，检测与自闭症相关的基因，甚至改变科学本身的进步方式。人工智能没有缺点，但它让理论科学家们担心:为什么模型会这样？

解释这个难题激励着学术界和工业界的新一代研究人员。有些工具无需深入就能检测人工智能。有些是可与神经网络相比的替代算法，具有更高的透明度。一些人继续使用更深入的学习来窥探黑盒。合在一起，它们已经成为一门新的学科，约辛斯基称之为“人工智能神经科学”

西雅图华盛顿大学的毕业生马可·里贝罗试图通过一种叫做“反事实探针”的神经科学工具来打开黑匣子。这个想法是以一种聪明的方式改变人工智能输入，看看发生了什么变化以及它们如何影响输出。

例如，Ribeiro的程序LIME将电影评论标记为正面，并稍微修改文本以创造新的变化。这些变异然后被输入一个黑盒，看看他们是否仍然被标记为阳性。结果表明，石灰可以区分单词——或部分图像，分子结构，或任何类型的数据——这在人工智能的初步判断中是至关重要的。

然而，每月都会出现新的反事实方法，如LIME。但是谷歌计算机科学家穆孔德·孙达拉扬发明了另一种探测方法，它不需要数千次网络测试——如果你试图理解许多决策，这肯定是一个好处。

Sundararajan的团队没有随机调整输入，而是引入了一个空白的引用——一个纯黑色的图像或者零数组而不是文本——并一步一步地将它转换成一个测试用例。通过运行网络中的每一步，他们观察确定的跳跃，并通过轨迹推断预测的重要特征。

Sundararajan比较了这一过程，发现了玻璃墙空间的关键特征:杯子、桌子、椅子和电脑的标准组合。“我可以给出无数的理由。”但是当你慢慢调暗光线。当光线变得很暗时，只有最大的原因被突出显示。这些转换使得Sundararajan比Ribeiro的变体能够捕获更多的网络决策。

孙达拉扬说，但是更深层次的未解问题依然存在。

这个问题不仅仅来自科学。根据欧盟的一项指令，部署继续影响公众的算法的公司必须在未来一年解释其模型的基本机制。美国国防高级研究计划也在新的“可解释人工智能”项目上投资7000万美元，试图解释无人机和情报挖掘操作的深入学习。谷歌机器学习研究员玛雅·古普塔也表示，打开黑匣子的动力也来自硅谷内部。

当她2012年加入谷歌时，她向人工智能工程师询问了他们的担忧，发现准确性并不是他们唯一的担忧。工程师告诉古普塔:“我们不确定网络在做什么。我们不太信任它。”

今天的神经网络比以前复杂得多，但它的本质是一样的。一端是数百万杂乱的数据(如狗的照片)。这些数据将被输入到一个十几层或更多层的网络中，在那里神经连接将对数据中的特征做出反应。每一层都将对内容进行一点抽象，最后一层将解释最终的判断，例如从梗中识别腊肠犬。

起初，这个系统可能非常笨拙。然而，每个结果都将与标记的狗图片进行比较。在称为反向传播的过程中，结果通过网络转发。这个过程将重复数百万次，直到整个网络学会识别不同品种的狗。"有了现代技术和大胆的尝试，你就能让它们真正发挥作用。"微软雷德蒙研究所的计算机科学家里奇·卡鲁阿纳说。然而，这种神秘而灵活的力量也把网络变成了一个黑匣子。

古普塔有不同的策略来处理黑盒问题:她试图绕过这些问题。几年前，古普塔启动了一个名为GlassBox的项目。她的目标是将工程的可预测性整合到神经网络中来解释它。她的指导原则是单调性，即变量之间的相关性。

Gupta将这些单调的关系嵌入到一个庞大的数据库中，称为插值查找表。本质上，这个查找表就像高中三角函数查找表。然而，插值查找表在一个维度上不超过十个条目，它在多个维度上有数百万个条目。她将这些表格写入神经网络，从而有效地增加了额外水平的可预测计算知识，因此神经网络也将变得更加可控。

然而，有时人们不得不忍受黑盒难题。因此，理论研究者开始追求深度学习的第三条可解释路径。他们说解释深度学习的方法可以是简单地更深入地学习，而不是试图理解或回避神经网络。

像许多人工智能开发人员一样，亚特兰大佐治亚理工学院娱乐情报实验室的负责人马克·里德尔从20世纪80年代开始用电子游戏测试他的工作。青蛙过河是他最喜欢的游戏之一:玩家让青蛙穿过交通到达另一边的池塘。实际上，训练一个网络来玩一个专家青蛙过河游戏是非常容易的，但是很难解释人工智能在其中做什么。

Riedl没有探索神经网络，而是让人类受试者玩游戏，通过让人们实时说话来描述他们的策略。Riedl在游戏代码中记录了这些玩家的评论:“哦，有一辆车向我驶来，我需要向前跳。”Riedl训练了第二个神经网络将语言和代码翻译成英语。

然后，他将翻译网络与最初的游戏网络连接起来，生成一个可以表达的综合人工智能。当它停在路上时，人工智能会说，“我在移动前等着开洞。”当被困在屏幕边缘时，人工智能也会感到沮丧、咒骂和抱怨。

Riedl称这种方法为“合理化”，他设计这种方法是为了帮助用户理解机器，如家用机器人和自动驾驶汽车。“如果我们不能质疑他们为什么这样做，并让他们给出合理的答案，那么人们只能把人工智能束之高阁。”雷德尔说。但这些解释提出了另一个问题，他补充道:“在人类失去信任之前，合理化会有多错？”

像里德尔一样，约辛斯基也使用了第二个人工智能系统来帮助他理解第一个系统。

首先，约辛斯克更新了分类器来生成图片，而不是标记它们。然后，他和他的同事对它进行静态着色，并通过它向发出请求的物体发送信号，比如“更多的火山”最后，他们假设网络会将噪音纳入火山图。此外，人工智能和人类看到的是不同的。

接下来，该团队使用GAN制作照片。这样，在图像的训练数据集中，“生成器”学习生成图像的规则，并且可以创建合成图像。第二个“对抗网络”将尝试检测图像结果是真还是假，提示发生器再试一次。这个迭代过程最终将产生一个包含人眼可识别特征的粗略图像。

GAN现在可以绑定到任何解决图像问题的网络。约辛斯基用它来识别网络中的问题，并为任何图像写描述。然而，约辛斯基说，这只是开始，仍有很大的差距需要填补。(唐毅宸编译)