英用7000项案例揭示研究影响力

伦敦帝国学院被认为是英国顶尖大学之一。照片来源:自然

科学以多种方式造福社会，但是如何识别和鼓励高影响力的研究是全世界所有资助机构面临的一个令人困惑的问题。今年1月，英国试图使用新的数据来支持和解决这个问题:将近7000个案例研究记录了科学对国家经济、文化和社会的益处，并作为特别评估参考的一部分。尽管政策制定者仍在考虑这些数据，但《自然》杂志分析了这些数据，揭示了研究人员如何向资助者描述他们的工作，并使用暗示性的专业术语，如“百万”和“市场”来给他们更高的评价。

当研究人员申请资助时，许多资助机构邀请学术机构邀请他们来计划他们工作的主要影响。高等教育资助委员会(HEFCE)政策研究主任史蒂芬·希尔表示，国家希望奖励已经获得影响力的研究成果。英国已经有了研究审计的文化传统:每隔几年就对大学的研究质量进行评级，根据评估结果，每年将拨款20亿英镑。以2014年被称为“卓越研究框架(REF)”的审计为例，HEFCE调整了规则。该组织增加了一个条件，即大学需要在2008年至2013年期间调整其对个人研究的影响范围，并宣布一个组织20%的成就将基于这些贡献。

实现这些挑战是一项艰巨的任务，有时需要雇佣专业的文案和顾问。仅伦敦大学学院的一所大学就写了300个案例研究。该大学负责研究的副校长大卫·普莱斯表示，这意味着需要15人一年的工作和4名全职员工来处理这些事情。

一些科学家认为这一分析的结果给人留下了深刻的印象。"每个*都想知道其研究的社会影响。"美国亚特兰大佐治亚理工学院的科学和政策分析专家戴安娜·希克斯说:“困难在于当你只有孤立的案例时，如何进行广泛的评估。英国已经打破了这个问题的障碍，并产生了一个非常好的数据来源。”

伦敦国王学院的公共政策研究员乔纳森·格兰特说，这些案例研究的叙述证实了“非凡的广度和深度”。他们从使用纳米粒子防止细菌破坏16世纪沉船木材的化学家，到分析汇款对墨西哥和哥伦比亚贫困家庭影响的经济学家。

为了获得更深入的观察，《自然》杂志还采访了纽约伊萨卡康奈尔大学的物理学家保罗·金斯伯格，他对案例研究中使用的语言进行了文本挖掘分析和数值分析。

结果并不令人惊讶。词汇统计直接显示“研究”和“影响”是出现频率最高的词，分别出现200，000次和135，000次——如果代词如“这个”、“那些”或连词如“和”被去掉。像“发展”、“政策”和“健康”这样的词也高居榜首。值得注意的是，这些数据涉及190多个国家，表明英国的研究项目具有广泛的地理跨度。

金斯伯格还探索了一些单词的使用和成绩之间重要的数字相关性。他发现的一个跨学科现象是，像“百万”、“市场”、“*”、“重要”和“全球”这样的词更有可能被评论者高度评价，他们被要求注意对“重要性”和“可扩展性”的研究。相反，过度使用诸如“会议”、“大学”、“学术”和“项目”之类的词得分较低。

尽管这些相关性并不意味着词汇使用和评分结果之间存在因果关系，但它们表明，评论者可能更喜欢对影响的描述，尤其是经济影响。伦敦布鲁内尔大学的研究员杰玛·德里克说，他正在分析一些研究是如何被选择和评估的。

“我怀疑‘影响’因素，但我认为这是一件好事。”普莱斯说，这显示了令人信服的事实，大学可以向资助者、产业伙伴、*和校友展示。

一些英国学术机构质疑，影响研究评估的各种因素在当地资助者如何分配资金方面是否会有明显差异，如果没有差异，是否有必要做出相关的补充说明。将评估结果与资金分配挂钩的模式要到3月份才会公之于众，但已经明确预测，传统上在学术产出审计过程中表现优异的大学，如牛津大学、剑桥大学和伦敦帝国学院，仍将处于影响力排名的前列。

在国际上，一些研究人员批评使用案例研究来衡量研究的影响，而不是跟踪更可量化的经济指标。“我不明白为什么科学界要经历如此繁琐和费力的系统。”华盛顿美国研究所的经济学家朱莉娅·莱恩说。

其他国家是否会重复英国对影响力的评估仍不得而知。"我们知道许多其他国家非常有兴趣从我们的经验中学习。"希尔说。从全球的角度来看，大多数国家都引入了全国性的研究质量评估体系，如澳大利亚和意大利，它们不会评估自己的影响。然而，瑞典和捷克*等国家目前正在考虑对参考文献采取类似的方法。

回到英国，研究人员已经在为2020年的下一次绩效审计做准备，他们的方法各不相同。“无论你认为这是一件好事还是取决于你的研究领域，我们都鼓励你做更多可以形成案例研究的研究。”牛津大学的神经学家多萝西·毕晓普说，“我担心我可能会花更多的时间来评估个人研究的影响，这可能会分散我对真正研究的注意力。”

(路捷)

《中国科学日报》(2015年2月17日，第三版国际版)