美网站尝试跟踪计算机编码影响力鼓励软件创新
这种文化给人的印象是,编写代码和发表相关论文不会给研究人员带来好处。
双胞胎项目地图
Klaus Schliep是美国波士顿麻省大学进化生物学博士后研究员。他以作者身份发表的文章被列在他的谷歌学术网页上,包括一篇被引用率最高的文章。这篇文章描述了一个叫做“phangorn”的系统发育软件,但是没有提到他对这个软件的贡献。"与写论文相比,编码在科学领域被认为是一项‘二等工作’。"施利普说。
现在德普西来了。这是一个建立于2015年11月的免费网站。它的目的是“评估促进科学发展的软件的价值”
Schliep在网站上的简历显示,他对7个软件包做出了贡献,并对“phangorn”软件做出了34%的荣誉贡献。这些软件包已被下载超过2600次,被89篇开放存取研究论文引用,并被其他软件多次使用,使得Schliep在网站上所有编码者的影响力排名中排名第99位。
Depsy的创始人希望该平台能提供一个透明且有意义的渠道来追踪学术界开发的软件的影响。该平台背后的技术是由加拿大温哥华的非营利企业“影响故事”开发的。这项技术始于四年前,旨在帮助科学家追踪他们在线研究结果的影响。跟踪对象不仅包括文章,还包括博客、数据集和软件等。影响评估是通过不同的指标进行的,如转载的推文数量、搜索量、下载量、代码重用量和每日引用量。
事实上,德普西已经意识到隐藏在科学软件背后的“无名英雄”。影响力故事的创始人Jason Priem说,该组织由美国国家科学基金会和各种慈善组织资助。
目前,迫切需要这种工具。爱丁堡软件可持续发展研究所的创始人尼尔·朱宏强调说,年轻的研究人员对编码很感兴趣,但是很少有渠道对基于软件的研究人员进行评估。去年,他对随机挑选的1000名英国科学家进行了一项调查,结果显示,超过50%的研究人员会自己编写代码。然而,在英国最新的研究质量审计中,很少有科研机构将代码或软件纳入研究人员的研究成果中。即使在严重依赖软件的计算机科学领域也是如此。“这种文化给人的印象是,编写代码和发表相关论文不会给研究人员带来好处。”洪说。
跟踪软件使用情况
追踪学术影响力的传统方法是统计引文,这与软件有关。研究人员可以写文章描述他们的软件,就像Schliep在phangorn软件包上做的那样,因为任何使用该程序的人都会在随后的文章中引用他的结果。然而,统计引文作为一种评价标准,也存在缺陷。普里姆认为,研究人员可能不知道引用哪篇论文,因为一个软件包通常与多篇文章相关联,而一些重要的软件项目,如GDAL Python库项目,与标准化论文无关。
如果该软件没有相关的文章,则没有普遍接受的方式来引用它。德国汉诺威在线数据库数据参考技术总监马丁·芬纳强调说:“现在,编码者将数字对象标识符(DOIs)分配给他们的代码和数据集是非常普遍的。最初,软件通常存储在常用的编码库GitHub中,在这里可以通过*学术数据库(如Zenodo或Figshare)自动存档。他们将DOIs分配给软件,从而使它成为一个可引用的对象。其他实践也试图确保研究论文在引用软件时有标准的方法,例如通过使用研究资源标识符。
然而,关于软件DOIs和文章引用数量的统计,或者其他标准方法,不能揭示编码者对科学的影响,因为许多软件经常不被引用。在2015年研究了90篇随机选取的生物学论文后,发现有2/3的论文非正式地提到了软件的使用,但事实上只有不到一半的论文引用了相关的软件包。
Depsy在研究论文中搜索参考资料和非正式的使用软件的参考资料。结果并不出人意料。在文章的致谢部分或学术论文的主体中,提到了许多软件应用程序。然而,普里姆承认,该网站有其局限性,即目前它只能搜索开放论文,错过了大量付费学术论文。然而,“影响力故事”计划与出版商谈判,以获得在付费论文中使用软件的许可。
普里姆说,论文中的提名只是德普西追踪软件影响的三种方法之一。网站的第二个方法是跟踪代码是如何被其他人重用的。德普西的名字来自“关联网络”,是一个表示各种因素相互依赖的词。Depsy通过谷歌的PageRank算法来计算代码的重用率,从而评估哪些代码更好。普里姆说,从监控影响的角度来看,代码的重用可能比它们在文献中的引用率更有意义。
该网站的第三种方法是通过结合CRAN和PyPI(两个用常用的R和Python编程语言编写的软件库)来收集编码包的下载数据信息。
专注于科学研究
其他网站也将提供德普西可以提供的一些服务。例如,Crantastic是一个评论网站,可以跟踪最流行的R软件包。PyPI排名通过跟踪从网站下载的软件数量,列出了最受欢迎的Python模块。此外,一些商业服务网站,如VersionEye和Libraries.io,可以跟踪相关网络并解释哪些软件依赖于哪些其他软件包。
但不同的是,Depsy平台可以通过识别关键词、文本描述和软件名称来专注于研究软件。普莱姆说,尽管分类过程中仍有不足之处。该平台还跟踪其他代码,但在计算百分位影响学术排名时,它只包括研究软件。
Depsy将通过计算参与者贡献或编辑(即个人贡献)的百分比,将分散的可信度分配给软件包中的参与者。每个贡献的足迹都保存在代码中,这样就可以很容易地跟踪包的发起人。然而,并不是每个编辑都会有同样的影响力。目前,德西仍然无法区分重要贡献者和贡献较少者。普里姆说,未来仍需进一步改进,以便跟踪个人贡献的影响。
Depsy还允许用户决定哪种软件在特定领域具有最高的影响力。例如,在这个平台上搜索“天体物理学”,会有11个软件包,其中天体物理学分析和可视化模拟软件“yt”影响最大,在所有软件包中排名第97位。
发展障碍
洪指出,Depsy的限制因素之一是它只能跟踪公共纸图书馆的代码,不能显示商业软件的影响。此外,该网站只跟踪用两种编程语言(R和Python)制作的软件。
然而,Depsy的创始人最终希望包括其他编程语言,并增加第四种方法来评估软件包的影响:考虑社会影响标准,例如软件包从其他GitHub用户那里获得多少星级,以及一个软件在网上讨论了多少次。
网站的代码重用标准还有其他不足之处。研究人员经常再次使用他们自己的代码,就像一篇研究论文的作者自己“引用”自己一样。因此,德普西可能会被反复“愚弄”,从而让原作者得到更高的分数。芬纳警告说,一些研究人员也可能以另一种方式启动许多软件项目来愚弄网站,但他们不会完成它们,而是等待其他人改进并完成它们。软件成功后,项目发起人可能赢得荣誉。
“我希望看到人们试图‘戏弄’德普西,因为这意味着他们对软件重用给予了足够的关注。”普莱姆说。
最终,证明代码影响力的透明标准可能会让软件开发商在评估资金时获得更多的资助,这是洪的希望。他说,科学领域的“代码农民”应该有更多的资金和支持,但要做到这一点需要改变现有的文化和每个参与科学研究的人。“最大的讽刺是,如果我们不鼓励制造这些软件的人,我们实际上是在给科学发展设置障碍。”洪说。(红枫)
《中国科学报》(2016-013,第三版国际版)