能否打开人工智能的“黑箱”

资料来源:西蒙·普拉德斯

迪安·波默洛仍然记得他第一次遇到“黑匣子”。那是1991年，当时他正在进行一项开创性的尝试。现在，这是自动驾驶汽车研究中的一个常见问题:教计算机如何驾驶。

Pomerleau驾驶的是一辆经过特殊改装的悍马方向盘。当时，他是卡内基梅隆大学机器人学的研究生。伴随他的是一台可编程的计算机，它可以观察路况，解读交通状况，并通过摄像机记录波默洛对各种状况的反应。Pomerleau希望这台机器最终能够自己控制方向盘。

每次旅行中，波默洛都会对系统进行几分钟的训练，然后让它自己开车。一切似乎都进行得很顺利，直到有一天悍马在桥头突然转向一边。他迅速抓住方向盘，避免了一场事故。

回到实验室，波默洛试图找出电脑出了什么问题。“我论文的一部分是打开黑盒，找出电脑在想什么。”他解释道。但是怎么做呢？他将计算机功能编程为“神经网络”——一种基于大脑的人工智能，预计它比传统算法更适合处理复杂的现实。

不幸的是，神经网络和大脑一样不透明。它也没有清晰地将所学知识存储在数字存储器中，而是以极其困难的方式传播信息。在充分测试了软件对各种视觉刺激的反应后，Pomerleau发现了这个问题:他的“神经网络”一直用长草路的边缘作为道路方向的指示，所以它对桥的出现感到困惑。

打开黑盒子

25年后，打破黑盒的难度成倍增加。然而，人工智能技术本身的复杂性和应用范围也经历了爆炸性的增长。波默洛现在在卡内基梅隆大学兼职教授机器人技术。他说他的系统只是当今计算机上巨大神经网络的初级低端版本。利用海量数据训练人工智能深度学习的技术也已经被应用到各种商业应用中，从自动驾驶汽车到根据用户浏览历史推荐商品的网站。

这项技术也有望在科学研究中展示其威力。未来的无线电观测站也需要深入研究，以找到值得探测的信号，否则它们将无法处理大量信息。引力波探测器需要用它来理解和消除最弱的噪声源。出版商将利用它检索和标记数百万篇研究论文和书籍。

一些研究人员认为，能够深入学习的计算机最终可能会展现想象力和创造力。"把数据交给机器，它就会推导出自然法则."加州理工学院的物理学家Jean-Roch Vlimant说。

然而，这些发展只会使黑箱问题更加突出。例如，这些机器如何找到有价值的信号？人们怎么能确定机器是正确的呢？人们应该在多大程度上信任深度学习？

"在这些算法面前，我认为我们正在失去优势."哥伦比亚大学的机器人专家Hod Lipson说。他把这比作外星人，他们不仅看到红、绿、蓝三原色，还看到第四种颜色。人类很难理解他们看待世界的方式，外星人也很难向人们解释他们的方式。计算机在向人们解释问题时也面临类似的困难。"在某种程度上，这就像给一只狗解释莎士比亚的作品."

面对这些挑战，人工智能研究人员采取了与波默劳相同的应对方式——打开黑匣子，用相当于神经科学研究的方式来理解网络。但是欧洲核研究中心的物理学家文森佐·因诺琴蒂说，答案不可能是突然发现的。因诺琴是人工智能在粒子物理领域应用的先驱。他提到，“作为一名科学家，我不满足于仅仅区分小猫和小狗。科学家们希望能够分辨出其中的区别。”

卷起袖子学习硬科学

第一个人工神经网络出现在20世纪50年代初，几乎与能够执行算法的计算机同时出现。人工神经网络的思想是模拟排列在不同层次的小计算单元(即“神经元”)与大量数字“突触”的连接。底部的单元收集外部数据，然后将信息传递给下一级的单元。这些单元将根据简单的数学规则整合输入数据，然后向上传递结果。顶层最终会给出一个答案，比如判断人物是猫还是狗。

这种网络的优势在于它们的学习能力。有了正确答案的训练数据集，网络可以调整每层连接的强度以提高性能，直到顶层的输出也是正确的。这个过程模拟了大脑增强或减弱突触学习的过程，最终获得一个能够成功分类未训练数据集的网络。

但这种学习方式也是信息分散在网络中的原因:就像人脑一样，记忆是通过许多连接进行编码的，而不是存储在固定的位置。“你脑子里第一个手机号码在哪里？也许它在一堆突触中，也许它离数字中其他数字的存储位置不远。”加州大学欧文分校的机器学习专家皮埃尔·巴尔迪说。

对于需要在各自学科中处理大数据的科学家来说，这使得深入学习成为一种需要谨慎使用的工具。为了理解这一原因，英国牛津大学的计算机科学家安德里亚·韦达迪让人们想象在不久的将来，人们将使用乳房x光片来训练深入的学习网络。经过训练，一个看起来健康的女性的乳房组织可能在机器前“显现”出癌症的迹象。"该网络可能已经秘密了解到识别标记可以预测癌症."他说。

但是如果机器不能解释它是如何知道的，维达尔迪说，它将会给医生和病人带来严重的麻烦。对于女性来说，选择乳房切除术已经很难了，因为基因变异会显著增加患乳腺癌的风险，但是如果你甚至不知道风险因素是什么，那么选择乳房切除术就更难了。

2012年，一些研究团队开始研究这样的黑盒问题。加拿大多伦多大学的机器学习专家Geoffrey Hinton带领团队参加了计算机视觉竞赛。他们第一次展示了深度学习方法在对包含120万张图像的数据库中的照片进行分类方面比任何其他人工智能方法都要好。

为了探索这是如何实现的，维达尔迪团队逆转了辛顿的算法，使用一个预先训练好的网络试图重建产生这些解释的图像。这有助于研究人员识别机器的不同行为。这就像问检测癌症的网络:“你认为乳房x光照片的哪一部分是癌症风险的标志？”

然而，在2014年，怀俄明大学的计算机科学家杰夫·克鲁恩的团队使用了一种方法，这种方法可以放大所有神经元的反应，而不仅仅是顶层神经元的反应，并且发现黑盒问题可能比以前想象的更严重:神经网络很容易被人类认为是随机噪音或抽象几何图形的图像所愚弄。

研究人员已经提出了一些方法来解决愚弄的问题，但是到目前为止还没有找到通用的方法。在现实生活中，这可能有潜在的危险。克鲁恩说，尤其令人恐惧的是，黑客也可以学习利用这些漏洞，让自动驾驶汽车认为广告牌是道路，并撞上它们。“我们必须卷起袖子，进行艰苦的科学研究，让机器学习变得更加强大和智能。”克鲁恩总结道。

放开你的手

去年，英国剑桥大学的机器学习研究员邹斌·格拉马尼发表了一个算法，该算法可以自动化数据科学家的工作——从检查原始数据到写论文。该软件被称为自动统计员，可以发现数据集中的趋势和异常，并给出结论，包括推理方法的详细解释。Ghahramani提到，这种透明度对于科学应用和许多商业应用至关重要。

但是黑盒也会引起关注。大型数据公司阿伦多分析公司的数据科学主管埃莉·多布森说，许多组织都有类似的担忧。例如，如果英国利率的调整导致任何不良后果，“英格兰银行不能总是说，‘是黑匣子让我这么做的’。”她说。

计算机科学家认为，尽管有种种担忧，透明人工智能的发展应该被视为深度学习方法的补充，而不是替代。他们说，一些透明的方法可能适用于被描述为一系列抽象事实的问题，但不适用于感知，即从原始数据中提取事实。

无论如何，这些研究人员指出，机器学习给出的复杂答案是不可或缺的科学工具，因为现实世界非常复杂。例如，天气或股票市场可能不存在全面和简化的描述。"有些事情无法用语言来描述。"巴黎理工学院的应用数学家斯特凡·马拉特说:“如果你问医生如何做出诊断，他们会告诉你一些原因，但是为什么人们需要20年才能成为好医生呢？因为信息不仅仅存在于书中。”

巴尔迪认为，科学家应该拥抱深入学习技术，不要太在意黑盒问题。毕竟，每个人脑子里都有一个黑盒子。“人们一直在使用大脑，并一直相信它，但他们不知道它是如何工作的。”(张张编)