新工具可计算生物医学论文可重复性得分

科学界正在寻找新的工具来衡量已发表的研究成果的可重复性，因为人们担心许多研究不能独立复制。

资料来源:国家眼科研究所、国家卫生研究所

1月19日发布的一个新的在线工具可以通过分析引文数量来衡量已发表论文的可重复性。

这个软件来得正是时候。大量证据已经给科学界和期刊业敲响了警钟。它们表明许多已发表文章的研究结果是不可重复的。因此，科学界正试图找到可靠的方法来评估它们是否能被复制。

这个新工具是由美国康涅狄格州纽黑文的维拉姆分析公司开发的。它产生了一个叫做r因子的指数，这个指数解释了一篇期刊文章的可重复性，它是基于其他研究的数量来证明或反驳它的研究结果的。然而，r因子指数引起了许多学者的批评，他们认为这种相对简单的方法可能不足以解决测量重复性的许多问题。

对新工具的初步反馈表明，Verum并没有完全消除这些顾虑。该公司的开发人员承认新工具仍有局限性。他们说，打开该工具的目的是接收相关反馈，以便获得关于其工作效果和如何改进的建议。Verum自愿开发了该工具，其联合创始人乔希·尼科尔森(Josh Nicholson)表示，他们希望公开该工具的初始版本，以吸引潜在投资者来帮助改进该工具。

去年8月，Verum在预印文本中报告了该工具基于r因子的方法，并在新工具中对其进行了改进。它只依赖于大众生物医学搜索引擎PubMed上免费提供的研究论文数据。

在开发之初，尼科尔森和他的同事手动分析了引用其他已发表文章的48000段论文。Verum和他的同事将每个片段归类为“确认、反驳或提及”其他文章。Verum然后使用这些分类来训练算法，以自动识别样本组之外的每一类片段。

基于大约10，000个摘录的样本，Verum开发人员表示，新工具可以在93%的情况下对段落进行正确分类。它可以更准确地检测到“提到的”其他文章的引用，而不是引用确认或反驳的片段，因为确认或反驳类的样本更少。分析发现，大多数文章提到了以前的研究，但没有证实或反驳他们的说法。只有大约8%的引用被证实，而只有大约1%被反驳。(晋南)

阅读更多

科学网站上的相关报道