再现性危机促使研究人员寻找途径对抗错误偏见

2013年，自他作为合著者之一完成一份手稿以来已经过去了五年——这篇文章指出，美国*党候选人可以通过略微向右调整他们的经济政策来获得更多的选票——纽约市哥伦比亚大学的安德鲁·赫尔曼(Andrew Gelman)得知他在数据分析中发现了错误，感到非常难过。在试图重复这份手稿的分析结果的过程中，一位名叫胡的研究生发现格尔曼在分析一个变量时犯了一个错误。

盖尔曼立即发布了一份更正，指出论文的所有关键部分在被纠正之前都是错误的。

今天，回顾这篇论文错误的原因，盖尔曼将他的错误归因于人类大脑固有的不可靠性。"结果看起来很合理。"他说，“大多数时候，当有这样的编码错误时，你的结论是如此荒谬。因此，如果你知道错误可能发生在哪里，那么你回去检查，直到你发现问题。但如果你没有注意到这样一个错误，你很容易就会错过它。”

这是科学中最大的问题，但是很少有人讨论它:即使是一个诚实的人也会成为自欺欺人的大师。人类的大脑很久以前就在非洲大草原上进化了，在那里早期人类可以很容易地对生存问题做出合理的假设，比如成熟的水果在哪里，或者天敌在哪里。然而，避免狮子的把戏还没有传到目前的实验室，在那里，需要对大量多维数据进行分析才能获得终身职位。在今天的环境中，如果人们能够很容易地推断出一个结论，那么随机错误的概率将会非常高。换句话说，忽视其他潜在的结论而不去质疑和接受“看似合理”的结果将会导致人们在没有意识到的情况下误入歧途。

信任危机

斯坦福大学元研究创新中心的统计学家约翰·约安尼迪斯说，缺乏对人们偏见的理解导致了科学研究结果的不重复，这导致了信任危机。这些事件可能不是学术欺诈的背后原因。今年早些时候，一个试图复制100项心理学研究结果的项目最终只复制了三分之一的论文。2012年，加州千橡生物技术公司的研究人员报告称，他们只能复制53项肿瘤学和血液学里程碑式研究中的6项。2009年，Ioannidis和他的同事说他们只能复制18个微阵列基因表达研究中的两个。

虽然在数据分析中记录研究者“欺骗自己”的例子几乎是不可能的，但是这些研究结果的不可复制性需要解释。以上述100篇心理学研究论文的重复实验为例，如果人们认为取得这些成就的绝大多数研究者都是诚实和务实的，那么只有无意识中出现的偏见才能解释这些众多的问题。"这是研究研究成果的好时机."约安尼迪斯说，“许多科学研究已经产生了许多科学成果，但是也有许多错误和偏见等着我们去研究。因为，我们非常希望找到更好的方法来处理这些错误。”

“当这种不可再生的危机发生时，它也为我们提供了改进科学工具的新机会。”斯坦福大学的社会科学家Robert MacCoun说。这以前发生过。在20世纪中期，科学家们已经意识到，实验者和研究人员经常会无意识地改变他们的行为以符合预期。正是因为这一发现，双盲标准诞生了。

“人们忘记了，当我们谈论科学方法时，我们指的不是成品。”加州大学伯克利分校的天体物理学家索尔·珀尔马特说，“科学是我们之间为了创造和避免欺骗自己而进行的竞争。”因此，研究人员试图通过各种创新方式消除数据分析中的偏见，这也会遇到各种问题，如与竞争对手合作、研究尚未开始但文章已发表，以及处理故意伪造的数据。

认知偏见

尽管自人类开始科学研究以来，人类大脑中就存在认知偏见，但一些重要的情况已经发生了变化。心理学家布莱恩·诺斯克是弗吉尼亚开放科学中心的执行主任，该中心是一个非营利组织，他说他一直致力于提高科学研究的透明度和可重复性。今天的学术环境比以往任何时候都更具竞争性。"作为一名研究者，我不会故意做出误导性的结果."Nosek说，“但是我的研究结果有出错的风险。”尤其是考虑到大脑喜欢找到它想要的结果。

认知偏差的另一个原因是惊人的大量多元数据集的出现，这些数据集经常在大量随机噪声中隐藏一些错误信号。然而，统计方法很难找到这些数据。德克萨斯大学的统计学家和MD安德森癌症中心统计学家基思·贝格利说，通过人脑显然更难找到它们。正如他去年9月在北卡罗来纳州的生物信息学会议上所说，“当我们开始分析50或数百个变量时，我们的直觉经常会干扰分析。”

其中，在早期研究阶段，研究人员经常会遇到“假性近视”的陷阱:研究人员会专注于收集只支持一种假设的证据，而忽略寻找与该假设相反的证据，从而遗漏其他解释。“如果人们认为一个假设是正确的，那么他们将试图回答使其成为事实的答案。”费城宾夕法尼亚大学的心理学家乔纳森·巴伦说。

然而，在数据检查阶段还有另一个陷阱:对细节关注的不对称性。这种情况也被称为未经证实的偏离——这种情况发生在人们容易地发布预期结果，并仔细检查主观上认为不正确的结果时。“当数据似乎与之前的评估结果不一致时，我们会想，‘哦，我的上帝！我在这里犯了错误吗？"“麦克肯说，”此时，我们不会意识到我们可能需要纠正其他地方的错误。"

解决办法

在这些陷阱中，认知偏见限制了科学的加速器:发现潜在重要科学关系的过程。这些偏见会“阻碍”科学发现，比如减缓科学发现的进程，对科学发现持怀疑态度，将科学引向死胡同。

解决办法之一是恢复清晰思考竞争假设分析的旧传统。如果可能的话，竞争假说应该被测试，并且两个假说应该被比较。这种方法也被称为强推理，可以有效避免认知偏差的“假性近视”。此外，当科学家可以通过观察做出更清晰的解释时，他们也可以减少凭直觉做出判断的倾向。

另一个引起越来越多关注的解决方案是开放科学。根据这一概念，研究人员可以在一个*数据库*享研究方法、数据、计算机模型和研究结果。总的来说，Nosek解释道，“我在如何分析数据和选择报告哪些信息方面有很大的灵活性。这也造成了利益冲突。避免这个问题的唯一方法是事先控制我的手。然后通过分析和计划报告来减少认知偏差的影响。”

另一个消除偏见的项目在物理学领域有着悠久的应用历史，但在其他领域却鲜为人知:盲数据分析。关键是，不知道离预期结果有多近的研究人员往往更难在不知不觉中找到他们在寻找的东西。

盲数据分析的一种方法是编写程序来构建选择数据集，例如添加随机噪声或隐藏偏移、将参与者改变到不同的实验组或隐藏参与者的统计类别。研究人员然后像往常一样处理假数据，而计算机忠实地计算真实数据。研究人员不知道他们的研究成果是科学宝藏还是废墟。只有到最后，他们才能消除这些干扰，看到真正的结果。最后，对分析结果的任何修改都是明显的欺骗。(红枫)