1500位科学家聚焦研究可复制性危机
超过70%的研究人员试图复制另一位科学家的实验,但失败了,而超过一半的研究人员无法复制他们自己的实验。为此,《自然》在线调查了1576名研究人员,发现研究重复性的现状令人担忧。
调查结果显示,人们对重复性的态度往往是矛盾的。尽管52%的受访者认为实验的可重复性目前是一个大问题,但不到31%的人认为不能重复发表论文的结果意味着结果最有可能是错误的。大多数受访者表示,他们愿意相信这些文件的真实性。
有多少科学文献结果是可重复的,没有多少数据,即使有,也不乐观。该领域最著名的相关性分析是针对心理学和肿瘤生物学的文献。结果表明,这两个领域的重复性分别只有40%和10%。然而,受访者持乐观态度,73%的人认为他们各自研究领域中至少有一半以上的论文是可信的,其中物理学家和化学家最有信心。
马里兰州约翰·霍普金斯大学彭博公共卫生学院的微生物学家阿图罗·卡萨德瓦尔说,调查结果反映了人们对这个问题的真实态度。他评论说:“目前,学术界对什么是科学研究实验的可重复性以及什么样的可重复性还没有达成共识。”然而,清楚地了解这种情况只是第一步。"接下来,我们应该发现具体的问题并找到达成共识的方法."
英国布里斯托尔大学的生理心理学家Marcus Munafo一直关注实验的可重复性。他认为科学研究不能重复是非常重要的事情。根据他的介绍,当他还在学校的时候,他试图重复一些论文中报道的一些简单的实验,但是结果并不成功。“因此,我对科学研究产生了信任危机。后来我发现这是一种非常普遍的感觉。”
事实上,问题不在于消除那些不能在已发表论文中重复的研究。穆纳福认为,进行尖端科学研究意味着在许多情况下获得的结果可能是不确定的。“我们希望有新的发现,但同时,假阳性率不应太高。”
重复性范围
然而,从错误的实验中找出真正的发现并不容易。尽管绝大多数参与在线调查的研究人员没有重复其他人的实验结果,但不到20%的受访者表示,他们联系过不能重复实验的人。这一结果与美国细胞生物学协会进行的一项类似的在线调查结果一致,该调查涉及约900人。原因可能是很难进行这种对话。因为如果你向原作者寻求帮助,你可能会被嘲笑或批评,或者你可能会透露你的研究计划。
此外,少数受访者表示,他们希望公布重复研究的结果。但是当实验不能重复时,研究人员通常认为有合理的理由。此外,发表正面的重复结果几乎没有回报,杂志也不愿意发表负面的重复结果。事实上,许多发表过多次失败实验的受访者表示,杂志编辑和评论家都要求他们淡化与原始研究的对比。
然而,24%的受访者表示,他们已经公布了其他人的研究结果,13%的受访者还公布了无法复制的结果。然而,总的来说,接受捐款的机会高于拒绝捐款的机会。只有12%的受访者说他们不能发表成功复制的研究成果,而10%的人说他们不能发表没有成功复制的研究成果。
德克萨斯理工大学健康科学中心的亚伯拉罕·艾哈迈德提到他写了一篇文章来解释为什么干细胞技术在他们的实验室里不起作用。他预计会收到一封“冷冰冰的拒绝信”,但他不指望手稿会被接受。艾哈迈德认为成功的原因可能是编辑认为这篇论文提供了替代的解决方案。
其他人认为,没有以下因素,类似研究的成功就无法实现:运气、坚持和编辑偏好。医学发展顾问迈克尔·亚当斯说,他们有一篇文章证明糖尿病动物模型有严重缺陷,但是被拒绝了六次,部分原因是没有发现新的药物靶点。然而,另一项研究证明,一些药物在治疗美国锥虫病方面效果不佳,这项研究很快被接受。
解决办法
三分之一的受访者表示,在过去五年中,他们的实验室有特定的操作程序来提高结果的可重复性。然而,这一比例变化很大,最高的医学类别达到41%,而物理和工程类别最低,只有24%。全文检索从文本回复中显示,这是最常用的确保一个人重复自己的实验或让实验室里的其他人重复它们的方法。其他常用的手段包括加强实验记录和规范实验程序的管理。
然而,这些措施不是根本的保障方法。一位不愿透露姓名的英国生物化学毕业生说,在实验室里,由于重复实验,时间和试剂需要加倍,解决一些困难的实验问题所需的时间需要单独计算。她说,虽然重复实验可以保证结果的可靠性,但因为成本太高,她只会对创新项目或意想不到的实验结果进行重复实验。
弗吉尼亚大学平滑肌细胞博士后研究人员劳拉·尚克曼说,如何整合各种方法本身就是一个项目。在很短的时间内,几个博士后和研究生离开了她的实验室,那些离开的人很难保证实验的一致性。因此,实验室决定花些时间重复先前发表的结果。尚克曼认为,整合整个实验室,而不是逐一解决故障问题,总体上可以节省实验室费用,但这是一项长期投资。
美国布莱恩健康科学研究所的计算生物学家伊拉克利·洛拉泽(Irakli Loladze)估计,即使是在他们纯粹的理论工作中,确保可重复性的额外工作也会将每个项目的平均花费时间增加30%。他们希望确保从原始数据到最终图表的每一步都是可追溯的。但是这些工作很快成为他们工作的一部分。洛拉泽说:“重复性就像刷牙一样。这对你当然有好处,但这需要时间和精力。但是一旦你开始,它就会成为一种习惯。”
提高研究可重复性的最广为人知的方法之一是预登记方法,即研究人员在实验开始前向第三方解释他们的假设和数据分析计划,以防止将来出现选择性统计结果。但到目前为止,只有不到12个人提到过这样的计划。澳大利亚墨尔本大学道德决策领域的研究生Hanne Watkins以前也做过这样的事情。沃特金斯说,尽管这个过程很耗时,但与获得道德委员会的批准或设计一份调查问卷相比,这算不了什么。"如果这项研究从一开始就是正确的,那么就沿着这条路走."
我们能做什么?
在线调查还询问了为什么科学研究实验不能重复。超过60%的受访者提到以下两个原因,即发表论文的压力和选择性报道。超过一半的人指出他们没有进行足够的重复测试。此外,还存在监管不严、统计效果不佳等问题。其他人提到了试剂不稳定和测试技术困难等因素。
然而,威斯康星大学麦迪逊分校的发育生物学家朱迪思·金布尔认为这不是最根本的原因。资金和头寸的激烈竞争是根本原因。同时,越来越多的行政事务也占用了研究者大量的时间。金布尔评论道:“如果研究生所在实验室的高年级学生没有时间训练低年级学生,那么低年级学生将不得不独立工作,这将变得越来越糟糕。”
受访者被要求对11个不同的方案进行排序,以提高科学研究结果的可重复性。超过90%的参与者认为更好的实验设计、更科学的统计分析和更好的监督和指导是最重要的,远远超过其他因素,如资金或教学补贴和其他刺激计划。然而,即使是评选率最低的杂志也得到了69%的支持。
斯坦福大学研究可靠性的专家约翰·约安尼迪斯认为,调查显示,杂志、研究项目发起人和研究机构应该携手解决这个问题。大约80%的受访者认为杂志和赞助商应该承担更多的责任。
穆纳福认为,每个人都意识到这个问题,并能积极地想办法解决它,这是非常好的。“我们还在包括主流媒体在内的各种渠道广泛讨论了这一问题,因此这是迅速采取行动的关键。如果我们现在不这样做,机会就会转瞬即逝,我们会错过这个好机会,我们将不再对解决这个问题感兴趣。”(张张)