“数据暴徒”见面揭露伪劣和可疑研究

尼克·布朗(左)和詹姆斯·希斯尔斯照片来源:安迪·弗里德曼

2015年，荷兰格罗宁根大学心理学研究生尼克·布朗在推特上看到了一些引起他注意的东西。这是法国南布列塔尼大学的心理学家Nicolas Gueguen发表的一篇文章。Gueguen喜欢发表一些关于人类行为的研究结果，例如，金发女服务员会得到更多的提示。现在古根说，男人不太可能帮女人扎头发。

布朗给詹姆斯·希斯尔斯发了一封电子邮件，他是波士顿东北大学行为科学的博士后研究员。他们几年前见过面。布朗和希斯尔斯仔细研究了古根的论文，发现许多研究未能通过本地测试验证统计数据的严格性。他们还在盖恩的其他九篇文章中发现了奇怪的数据。

很快，布朗和希思罗机场询问了盖根和法国心理学会关于这些数据。结果，他们说盖冈没有完全解决他们的问题，社会似乎有理由同意他们的批评。因此，去年年底，双方公开了他们的调查，向记者表达了他们的关切，并在博客上发表了他们的评论。(盖根拒绝接受采访，而法国心理学会表示，一个大学专家委员会正在审查这些论文。)

更正科学文献有不同的风格。一些科学家喜欢使用“适当的渠道”，例如私人谈话或给编辑的信。其他人在网上论坛留下匿名评论。布朗和希斯尔采取了更加开放的方式。

现在，两位主管在揭露有问题的出版物方面取得了巨大成就。到目前为止，布朗估计他们的联合或独立分析已经导致了几十篇论文的修订和大约10篇论文的完全撤回。这包括康奈尔大学著名营养研究员布莱恩·万辛克去年撤回的五篇论文。

两人还承认，他们过于自信的风格可能会惹恼一些科学家。希斯称自己为“数据暴徒”然而，一些研究人员称赞这对夫妇是促进更严谨科学的先驱。"如果像他们这样的人不积极搜索文学论文，人们会忽略这一点."弗吉尼亚大学的心理学家布莱恩·诺斯克说，“我可能看到一篇论文说‘我不相信’，然后就放弃了。但他们将继续调查。”

因此，布朗和希思罗机场成了某种告密者:研究人员现在将向他们发送可疑文件进行调查。

不太可能的组合

这一对合作似乎不太可能。它们也是一种只出现在互联网上的奇怪组合。

57岁的布朗原本是剑桥大学的工科学生，但是“我的数学不够好”，他说，并最终成为了一名计算机网络管理员。

这份工作给了布朗两次机会，最终导致了他目前的追求。在参加人力资源会议期间，他遇到了英国心理学家理查德·怀斯曼，他在2010年写了一篇颇具影响力的博客文章，批评康奈尔大学心理学家达里尔·贝姆(Daryl Bem)即将进行的研究，该研究旨在证明超知觉的存在。这一遭遇“播下了种子”，促使布朗在东伦敦大学攻读心理学硕士学位。

新的研究使布朗第一次成功地揭示了这个秘密。2013年，他与另外两位学者合作，其中一位是纽约大学的数学家和物理学家艾伦·索卡尔。他们发表了一篇批评当时心理学理论经典论文的论文，指出论文中的公式依赖于流体动力学领域中的独立方程。他们的文章最终导致了文章的部分取消。

布朗在2014年遇到了希思罗机场。当时，他们在“脸书”讨论组讨论一篇关于心率变异性的文章。

事实上，这两个搭档性格完全相反。尽管布朗并不认为自己是一名士兵，也没有“恃强凌弱”的痕迹，但35岁的希斯尔斯出生在澳大利亚，在一个优雅的时刻表现得像一个晚餐客人，“放屁不道歉”。他似乎天生无法接受权威。

当时，作为悉尼大学的一名本科生(他在那里还获得了硕士和博士学位)，希斯尔开始学习经济学，但后来转向了生理学。"我一直在和讲师争论，我不同意他们说的话。"然而，由于种种原因，导师离开了他。“接下来的三年里，我花了大部分时间试图自己解决这个问题，”希斯说。"我不知道学术参数或该做什么。"

希斯强调了他所谓的“数据材料”简而言之，这意味着批评其他研究者的结果。“我通常的工作是从其他人那里获取测量数据，并告诉他们他们已经误入歧途。我通常会带来坏消息。”他说。

当这两个人一起工作时，通常一方明显处于领先地位。布朗说:“我们通常得分80/20或90/10。有时我会做大部分工作，詹姆斯只是在那里忍受我的抱怨，检查我不会掉进兔子洞，反之亦然。

数学方法

2015年，布朗和希斯尔开始对盖根的论文进行联合考试，他们的数学方法开始成型。

2016年5月，他们在希思罗机场的博客上发布了一项技术，聚焦于研究人员所说的“严峻方法”。本质很简单:n个整数集合的平均值必须是一个有n个分母的分数。例如，如果研究人员的研究涉及12名11至17岁的儿童，他们15.7岁的平均年龄似乎是合理的。然而，GRIM测试表明，这在数学上是不可能的，因为15.7不是一个可以用年龄之和除以12得到的数字。

希思罗机场表示，他们认为GRIM测试不是检测不当行为的好方法。GRIM是在心理学和其他领域中寻找小样本结果错误的理想方法。它不适合大规模研究和更复杂的数据集。相反，希斯说，“我们在寻找错误，这是字面上的意思。”

对于那些大型研究论文，希斯尔斯提出了一个更复杂的测试。他和布朗开发了一种样本参数重建技术。本质上，SPRITE允许研究人员做一些相反的工作:从研究中报告的方法和标准偏差中得出统计数据集。

SPRITE是分析康奈尔大学万辛克论文的理想工具。测试表明，万思克2012年发表在《预防医学》上的一篇研究学校儿童使用胡萝卜的文章的数据似乎不确定。SPRITE对公布数据的分析显示，样本中至少有一个孩子一次吃了大约60根胡萝卜。

尽管布朗和希思罗机场直接攻击了论文，但他们没有受到同行的批评。在某种程度上，这可能是因为他们的策略是温和的，但它增加了作者和期刊的压力，在一个有序的方式。例如，对万辛克的分析是从“一些非常礼貌的”电子邮件开始的，这些邮件要求研究者部门提供数据，并要求康奈尔大学研究诚信办公室提供数据。

编辑也在听

一些编辑和出版商显然也在关注这对夫妇。万辛克事件清楚地表明“在线论坛是有价值的科学记录”尖端科学诚信负责人gearóid fa olen说。该公司的一份杂志撤回了一篇由Wansink 2016发表的论文。他们还敦促《感官研究杂志》的编辑调查并修改他们在2014年发表的万辛克论文。

其他想成为数据告密者的人也对他们在影响期刊方面的成功印象深刻。纽约罗切斯特大学医学中心的保罗·布鲁克斯通过博客匿名指出可疑文件。仅仅六个月后，他就受到了布鲁克斯定律的威胁。他说，他还“经常给期刊编辑写几十封电子邮件，他根本没有回复是正常的。”

加州旧金山uBiome的科学编辑Elisabeth Bik也经历了类似的沉默。当比克还是斯坦福大学的研究员时，她领导了一项对2016年发表在mBio上的20000篇论文的分析，并得出结论，4%或800篇文档包含不适当的图片。她联系了大多数期刊，但只有三分之一的期刊回复了。

不清楚为什么布朗和希思罗机场得到了更好的回应——也许整体气氛已经改变了。那么，为什么没有更多的科学家效仿呢？

他们说，一个很大的障碍是许多人不愿意打翻“友谊之舟”。布朗说:“有些人不喜欢批评别人，甚至自己。”他们对显而易见的问题的反应是退缩，就像一个科学超我在说，“我能拿到这位教授的文章并读它吗？如果我重新计算平均值，会不会有不好的事情发生？”

另一个障碍是过度信任。希斯说:“其他人真的缺乏这种质疑的心态，认为这是必要的。没有错误的指南，没有可读的文本。我们到目前为止所做的非常特别。”(唐毅宸编译)