人工智能面临“再现”危机

用同样的算法学习走路可能会产生不同的结果。资料来源:尤瓦尔·塔萨

去年，加拿大蒙特利尔大学的计算机科学家渴望展示一种新的语音识别算法。他们想把它与一位著名科学家开发的基准算法进行比较。唯一的问题是基准算法的源代码还没有发布。研究人员不得不从公开的描述中重建算法。然而，它们不能将它们的版本与基准算法的要求相匹配。“我们试了两个月，但没有成功，”该校博士生南罗斯玛丽·柯说。

人工智能作为一个蓬勃发展的领域，正面临着实验复制的危机，正如实验复制的问题在过去十年里一直困扰着心理学、医学等领域一样。人工智能研究人员发现很难复制许多关键结果，这导致了对研究方法和出版协议的新责任感。

法国国家信息和自动化研究所的计算神经科学家尼古拉斯·罗杰尔说:“这个领域之外的人可能会认为，因为我们有代码，所以复制是有保障的。但事实并非如此。”最近，在美国新奥尔良举行的人工智能协会(AAAI)会议上，再现性问题被提上了议程。一些团队分析了这个问题，其他团队提出了缓解这个问题的工具。

最根本的问题是研究人员通常不共享他们的源代码。在AAAI会议上，挪威科技大学的计算机科学家奥得里克·贡德森报告了过去几年在两个*人工智能会议上发表的论文中提出的400种算法的调查结果。他发现只有6%的研究人员共享算法的代码。只有三分之一的人分享他们测试算法的数据，而只有一半的人分享“伪代码”。(在许多情况下，发表在《科学》和《自然》等期刊上的人工智能论文也没有代码。)

研究人员表示，这种缺失有很多原因:代码可能是一项持续的工作，由一家公司拥有，或者由一名渴望在竞争中保持领先地位的研究人员牢牢掌握。该代码还可能依赖于其他代码，这些代码本身尚未发布。或者代码可能只是丢失了，在丢失的磁盘上或者被盗的笔记本电脑上——罗吉耶称之为“我的狗吃了我的程序”

另一方面，如果您能够获得并运行原始代码，它可能仍然不能满足预期。在机器学习领域，计算机从经验中获取专业知识，算法的训练数据会影响其性能。柯指出:“每次运行的结果都充满了随机性。你可能真的很幸运，运行了一个非常好的数字。研究报告通常是这种情况。”

在AAAI会议上，加拿大麦吉尔大学的计算机科学家彼得·亨德森(Peter Henderson)说，通过反复实验设计的人工智能的性能不仅对使用的确切代码非常敏感，而且对随机产生的“超级参数”也非常敏感。他在不同的条件下运行了几个这样的“强化学习”算法，并发现了完全不同的结果。亨德森说，研究人员应该记录更多的关键细节。"我们正试图在这个领域推广更好的实验程序和评估方法."

研究人员还在AAAI会议上提出了另一个帮助复制的工具:一个自动重新生成未发布源代码的系统，可以节省数天或数周的时间。该系统是由小计算单元层组成的机器学习算法。通过扫描人工智能研究论文，它寻找描述神经网络的图形或图表，然后将这些数据分析成层和连接，并生成带有新代码的网络。

荷兰埃因霍温科技大学的计算机科学家华金·范·肖伦创建了另一个存储库:OpenML。它不仅提供算法，还提供数据集、800多万次实验运行和所有相关细节。“你进行实验的确切方式充满了未发表的假设和决定，其中大部分都不在论文中。”范舍伦说。

目前，心理学通过创造一种有利于再现的文化来应对再现危机，人工智能也开始这样做。2015年，罗杰尔帮助推出了一份致力于复制的计算机科学杂志《拯救》。大型神经信息处理系统会议也开始从他们的网站链接到论文的源代码。

此外，柯还邀请研究人员尝试复制已发表的实验，并将它们提交给即将召开的会议，以实现“可复制性挑战”。柯说，近100个循环项目正在进行中，其中大部分是由学生完成的，他们可能会得到学分。

然而，人工智能研究人员说，目前的激励仍然不能匹配再现性。他们没有足够的时间在每种情况下测试算法，也没有足够的时间记录他们在文章中尝试的每一个超级参数。因为他们面临发表论文的压力——许多非同行评审的论文每天都在arXiv上发表。

此外，许多人不愿意报告再次失败。例如，在资源节约上，迄今为止，所有公布的重复项目都是积极的。罗杰尔说，他也试图发表一些失败的项目，但年轻的研究人员往往不想批评高级研究人员，也没有人提到失败的项目。这也是柯拒绝透露她想用作基准的语音识别算法背后的研究人员的原因之一。

贡德森认为这种文化需要改变。"这样做并不可耻。"他说，“这只是事实。”(张张编)

中国科学新闻(2018-02-27第三版国际版)