《科学》文章：心理学研究实验到底能不能复制

心理学研究实验可以复制吗？

心理学领域的“生殖危机”已经成为一个轰动全球的话题。

去年，为了确定心理学研究实验的“可复制性”，由270名科学家组成的非营利组织“开放科学中心”试图复制100项已发表的研究成果。然而，超过一半的研究结果以失败告终，也就是说，它们不能被复制。该研究得出结论，超过一半的心理学实验是无法复制的。一时间，心理学领域的“生殖危机”已经成为一个轰动全球的话题。

今年3月3日，两位来自弗吉尼亚大学的哈佛教授和科学家说，去年发表在《科学》杂志上的研究结果是错误的。哈佛大学和弗吉尼亚大学的科学家认为，这项研究的研究方法设计不当，应用不当，引入了错误的统计数据，因此结果严重高估了失败率。

哈佛大学和弗吉尼亚大学的科学家发现，“开放科学中心”在对数据进行深入调查后犯了一个严重的错误，导致它得出了一个完全没有根据的悲观结论。他们写了一篇评论文章，并在3月4日的《科学》杂志上发表。

复制研究不同于最初的研究方法。

哈佛心理学家丹尼尔·丹·吉尔伯特是这篇评论文章的主要作者。他在3月3日的声明中说，这样的结论对心理学研究是非常有害的。“这导致了许多科学期刊政策的改变，资金捐助者的优先次序的改变，并严重损害了公众对心理学的看法。”

许多复制研究方法与最初的研究大不相同。研究人员表示，这些“扭曲”有两个重要的后果。

首先，统计数据错误的引入导致“开放科学中心”明显低估了在意外情况下应该失败的复制。如果100个原始研究结果是准确的，并且考虑了统计误差，则统计中的失败率不高于预期失败率。

其次，吉尔伯特和其他科学家发现，低保真度研究的失败概率比高保真度研究高4倍，这表明当复制者偏离原来的研究方法时，他们会使自己的研究失败。

最后，“开放科学中心”采用“低能耗”设计。当四位研究人员使用这种设计来发布一个高重复率的数据库时，它也会显示出低重复率，这表明“开放科学中心”的设计从一开始就低估了心理科学的可重复性。吉尔伯特说，这些问题足以使研究人员从事研究问题。

复制研究的筛选不是随机的

当这些问题出现时，吉尔伯特和其他人感到震惊和失望，就像大多数阅读“开放科学中心”论文的科学家一样。但是当他们开始仔细研究这种方法并再次分析原始数据时，他们立即注意到根本原因是复制器选择了100个原始实验。

哈佛大学定量社会科学研究所所长Gary King说，“如果你想估计一个群体的参数，你必须从该群体中随机抽取样本或正确的统计数据，而开放科学中心两者都没有做到。”

他们没有随机选择需要复制的研究。“他们所做的是创建一个特殊的随机抽样规则列表，将心理学的大多数分支从样本中排除，这是研究方法中最好的一种研究，等等。”哈佛大学的科学家指出，“然后他们继续违反规则。更糟糕的是，他们实际上允许一些复制者选择他们想要复制的实验。因此，我们首先意识到的是，无论他们发现什么——好消息还是坏消息——他们都无法估计心理学研究的可重复性，但他们论文的标题声称能够做到这一点。”

偶然的失败没有被考虑在内。

“这只是开始。”Gary King说，“如果你重复100次实验，其中一些会意外失败。这是基本的抽样理论。所以你必须用统计数据来估计有多少实验会意外失败，否则，失败率数据就毫无意义了。”

根据Gary King的说法，“开放科学中心”做了这些事情，但是犯了一个关键的错误。

“当他们进行计算时，他们没有考虑到这样一个事实，即他们的重复实验不仅仅是使用来自同一人群的新样本。这些样本通常在许多方面不同于原始样本，这些差异是统计误差的来源。因此，我们重新应用了正确的计算方法，然后将其应用于他们的数据。猜猜看。他们观察到的失败实验的数量只是一个应该被观察到的偶然事件——即使所有100个初始实验都是准确的。重复实验与原始实验相匹配的失败是复制的失败，而不是原始实验的失败。”

没有完全复制原始研究

吉尔伯特指出，许多重复性实验有着惊人的差异——这些差异甚至很难理解为什么它们可以被称为复制。

吉尔伯特指出，大多数人都知道复制实验是重复最初的研究。“读者一定认为，如果一组科学家做了100次复制实验，那么他们必须用同样的方法来研究同一组人。但是他们的研究不符合这个假设。当然，复制总是与原始的有所不同，但是如果你像我们一样仔细阅读他们的报告，你会发现许多重复的实验有着惊人的差异——这些差异甚至很难理解为什么它们可以被称为复制。”

吉尔伯特举了一个原始实验的例子，其中一组斯坦福的白人学生观看了四名斯坦福学生讨论大学录取政策的视频。视频中的三个人是白人，另一个是黑人。在讨论中，一名白人学生对平等权利行动法案发表了无礼的评论。

“那么他们是如何做重复性实验的呢？阿姆斯特丹大学的学生！”吉尔伯特说，“他们让荷兰学生观看5000英里外斯坦福大学学生用英语讨论平等权利行动的视频。”换句话说，与原始实验中的参与者不同，重复实验中的参与者将观看外国学生用不同的语言讨论与他们无关的事件。

吉尔伯特认为，这不是方法论中最麻烦的部分。开放科学中心的研究人员意识到在荷兰做这个实验可能是个问题，所以他们明智地决定在美国做另一个版本的实验来挽救这种情况。这次他们选择了斯坦福的学生。但是吉尔伯特和他的团队发现这个实验可以复制。然而，这项实验的结果并没有在“开放科学中心”的论文中得到认可。

Gary King认为，“他们希望公众听到‘心理学研究不能被复制’而不是‘如果实验是正确的，这种心理学研究可以被复制’，因为后者不是一个令人兴奋的标题。”

"这是科学批评，不是人身攻击."

尽管在这项里程碑式的研究中发现了严重的问题，吉尔伯特和Gary King强调，他们的批评并不是坏事，只是正常科学调查过程的一部分。“我们需要弄清楚，参与这项研究的人没有一个试图欺骗任何人。他们只是犯了错误，就像科学家有时做的那样。许多研究者是我们的朋友。因此，这不是人身攻击，而是科学批评。我们都关心同样的事情:做好科学工作，发现真理。我很高兴看到他们对我们评论的回应，“开放科学中心”被一些小问题困扰，但在大问题上做出了让步(承认重大错误)，也就是说，他们的报告没有为负面结论提供事实证据。”

开放科学中心的研究花了四年时间，由270名科学家完成，由开放科学中心主任、弗吉尼亚大学心理学研究员布莱恩·诺塞克领导。关于批评，诺斯克说，这是因为对数据的看法不同。“批评者解释说，问题在于复制方法，而我们的解释是数据存在不确定性。”"如果你违反了科学的基本规则，你就会得到错误的答案."Gary King说。