案例展示
您的位置:主页 > 案例展示 >

同行评审的人工智能应用:现状与挑战

日期:2020-10-15 00:15

  摘 要:同行评审(Peer Review)是邦际上科技期刊稿件评审的基础轨制。科技出书商仍然运用少少早期人工智能(Artificial Intelligence,AI)本领来加强和主动化同行评审中涉及的职分,搜罗同行评审行政统治症结的编辑统治体系、专家同行评审经过的论文和评审专家明白和成家以及数据核查和验证症结的人工智能使用。人工智能既也许管理同行评审体系中展现的题目,也面对科技出书价钱占定的伦理逆境、数据怒放和牢靠性以及科技出书家产纠合度进一步进步的挑衅。

  基金: 2017年度邦度社科基金面上项目“基于社交媒体的音讯数据核查讨论”(17BXW096); 华南理工大学核心高校基础科研营业费强大造就项目“搬动音讯媒体质地评估与擢升战略讨论”(2018ZDXMPY13)讨论功劳

  同行评审(Peer Review)是邦际上科技期刊稿件评审的基础轨制。辛巴音讯(Simba Information)统计数据显示,每年有凌驾250万篇的科学作品发布正在28000余种英文科技期刊上,年伸长率切近5%,这还只是获胜发布的论文,本相上科技期刊审查的论文是发布论文数目的两倍以上,每一篇发布的作品,已经众数次被彻底拒绝,或被退回到作家的删改细化之中1。数目相对较少和固定的学者要审核数目云云广大的学术论文,这一定会变成同行评审恶果的低下和不需要的延迟发布。一方面,同行评审扩充了学术期刊出书本钱,消重了科技出书临盆恶果2。另一方面,同行评审经过中,片面私睹往往无法避免。审稿人也许对来自比赛测验室或否决者的稿件特别挑剔,对来自其伴侣、潜正在的异日配合家或讨论资助部分的稿件则有所偏颇。因而,近年来,科技出书商仍然运用少少早期的人工智能(Artificial Intelligence,AI)本领来加强和主动化同行评审中涉及的职分,以进步科技出书运营速率和恶果,打消人类私睹。当然,任何一项新本领的使用,总会有其拥簇者和否决者,人工智能也不不同。固然这些本领对付科技出书商和讨论职员来说显示出广大的潜力,然而,正在同行评审这一古板上以“人”为主导的规模,人工智能可能代替人类履行的哪些效力?咱们是否也许信任人工智能对新的讨论功劳的评估?十足主动化的同行评审是否可行?虽然众项科技出书家产和讨论叙述都对人工智能的同行评审使用异日言之凿凿,咱们却已经需求对其使用近况实行全部的明白,并正在深切了然同行评审效力和流程的根源上,留意应对。

  同行评审是邦际上科技期刊稿件评审的基础轨制。从1665年法邦皇家科学院出书的《学者杂志》(Le Journal des Savants)和英邦皇家科学院出书的《形而上学学报》(Philosophical Transactions)算起,学术期刊的同行评审已有300众年史籍。时至今日,同行评审业已成为邦际上学术期刊稿件评审与质地掌管的一种基础轨制模范3。广义的同行评审普通可界说为某规模的学者或专家正在特定韶华段对所涉及规模的学问产物实行客观评议的经过。狭义的同行评审偏重于指学术期刊论文的外审评断运动4。本文采用狭义界说。正在一篇论文发布之前,期刊编辑需求遵照论文的讨论规模,为其甄选出有才气审核该论文的专家、学者。这个评审经过因期刊而异,但一般由两位到三位评审者构成,并将评核定睹叙述给编辑,编辑遵照同行评审专家的定睹做出是否发布该论文的最终决计。据统计,一起科技期刊的稿件均匀继承率约为50%,质地越高的期刊稿件继承率越低,个中科学引文索引(Science Citation Index,简称SCI)一区收录的期刊稿件继承率仅为10%—30%5。

  同行评审轨制的理念是通过“第三方”评审来确保公正性,旨正在为学术合伙体供应一种轨制化的、针对讨论管事及功劳的、自我拘束的统治机谋6。对付科学换取,特地是对科技期刊而言至合要紧。同行评审是期刊甄选出色科技功劳、保护和进步学术质地的要紧途径之一。这一轨制有助于筛选出最有价钱的讨论,并进步已发布论文的质地。

  虽然同行评审存正在少少缺陷,然而众项考查显示,学者已经果断地扶助这项轨制,比如正在出书讨论同盟2008年的一项考查中,93%的学者不承诺“同行评审是不需要的”7,姆尼根(Mulligan)等学者斗劲1993年和2005年的考查结果展现讨论职员对同行评审的主旨立场简直没有改变:它已经受到高度珍重,很大一片面已经同意答允实行和继承同行评审8。赛博讨论(CIBER Research)2012年考查了学者们扶助同行评审的来历,重要搜罗以下方面。

  讨论职员(特地是年青学者)答允运用非同行评审的资料,但不太也许援用他们:源委同行评审的实质被看作是一项更为正式和巨头的学术运动功劳,因而,学者们更答允信托源委同行评审的实质并援用它们。

  讨论职员将同行评审视为科学讨论音讯的根源过滤器。对付专业讨论职员来说,这种过滤将可托的同行评审科学功劳与非同行评审资料区别开来,并以感知质地对期刊实行分级,将更好的作品发送给更好的期刊,对行动读者和作家的讨论职员都有利。

  信任同行评审会进步发布论文的质地也是讨论职员扶助同行评审的要紧来历之一。正在尼古拉斯(Nicholas)的考查中,大无数讨论职员(约90%)外现,同行评审专家定睹改良了本身近来发布的论文质地,虽然这个信仰正在分别的讨论规模略有分别9。

  同行评审当然不是没有驳斥者,本相上合于同行评审的缺陷和改良发起平昔是学术出书讨论的热门。重要的驳斥来自它是无效的、不牢靠的;不特长展现毛病,更加是单盲花样的同行评审;缺乏对审稿人不妥动作的监视和统治;速率舒缓,恶果低下,不必内地延迟发布等10。改良手腕发起搜罗既可能进步评审的公正性,又可能进步评审质地的怒放同行评审;旨正在进步恶果并加快宣告的级联评审;以及“宣告然后过滤”形式的出书后评审。目前,为了然决这些题目,科技出书商发端求助人工智能本领,开启新的同行评审形式测验。

  虽然同行评审一般是由梦思讨论者无偿实行的,然而出书商需求员工来统治评审经过。剑桥经济战略协会2008年“讨论音讯收集”(Research Information Network,RIN)叙述最早讨论了期刊出书经过所涉及的用度,搜罗藏书楼获取采购资金的本钱、同行评审、学者征采以及阅读作品的本钱,其后,2011年,进一步更新了这个数据,核算出期刊同行评审的职员和统治的均匀本钱为666英镑,分别级别和学科规模的期刊同行评审的行政统治本钱也大不肖似,然而总体而言,普通的科学出书机构,其发布一篇论文的同行评审本钱约为400英镑到1000英镑,而拒绝一篇论文的更是需求比继承一篇论文付出更高的间接本钱11。对期刊出书本钱的意会不光对出书商来说很要紧,对付更平凡的学术集体来说也是要紧的。由于期刊出书的高本钱一定会带来期刊发售的高价钱,从而激发“期刊垂危”(Journal Crisis)。因而,非论是学术出书商,仍是学术集体,越来越目标于凭借主动化的编辑统治体系,加快稿件从提交到审查到出书的行政统治速率,以节俭科学文献出书的韶华和金钱。

  环球最大的学术出书商之一爱思唯尔(Elsevier)就创筑了云云的一个基于人工智能的编辑统治体系“艾维斯”(EVISE)来代替落伍的爱思唯尔编辑体系,以更好地扶助编辑经过,加疾照料稿件的速率。“艾维斯”将手稿与抄袭查抄软件相合起来,由编辑依照抄袭核查数据直接拒绝那些存正在抄袭题目的稿件,避免这些稿件进入同行评审经过。其后,“艾维斯”遵照实质发起该作品最适合的评审者,并与其他项目疏导,核查评审职员的状态、科学发挥和优点冲突。挑选同行评审职员之后,“艾维斯”主动打定相合各方之间的通讯,向核阅者供应提示,假设没有答复则删除,并邀请备用核阅者。结果,“艾维斯”向作家发送决计信,并发送感动信给审稿人。这个经过大大淘汰了人类编辑的过问和统治,进步了同行评审行政统治经过的恶果。

  挑选审稿人是同行评审最耗时的管事之一。比如爱思唯尔旗下共有2500众种学术期刊,其必需为提交期刊的每一份稿件挑选最适合的审稿人。个中,2015年,共有70万名同行评审专家对提交到爱思唯尔期刊的180万份稿件实行了审查,最终仅发布40万份稿件12。也许审查稿件的人数一般限制于该规模的专家。各个专业规模获取博士学位的人的比例本就不高,况且跟着学科规模的进一步细化,还要接续地将专家分袂归类到各个学科和分支学科,因而,最终有资历审查某一份稿件的专家数目是有限的。

  从外面上说,只消有全部的专家音讯数据库可用,人工智能是有才气正在对数据库音讯实行全部审查的环境下为每一份稿件寻找到最适合的评审者的。因而,智能化同行评审的第一步是设备全部的评审专家数据库。爱思唯尔、施普林格-自然出书集团(Springer-Nature)早就发端了同行评审专家数据库的修复,爱思唯尔的“艾维斯”还与当此日下最大的文摘和引文数据库斯高帕斯(Scopus)配合,以助助“艾维斯”特别全部地审查评审者的概略,科学发挥和优点冲突,为每一篇稿件主动化分派更为适合的审稿人。布里斯托尔大学(The University of Bristol)智能体系测验室的西蒙?布莱斯(Simon Price)博士和皮特?弗莱奇(Peter Flach)讲授斥地了用来明白和成家论文潜正在审稿人的体系“提交筛选”(SubSift)。该体系将众个论文提交筛选收集供职组合成一个由诱导式用户界面驱动的管事流程,用于明白和成家论文的潜正在同行评审人,并设备作家和潜正在的同行评审人双向挑选的用户界面。通过一系列主动化器材,组筑同行评审小组,由同行评审专家对作家和论文的核心实行审查,基于论文是否对科学展现做出强大功勋,论文的主意是否可核实等尺度对论文实行评分,并将评论者评分汇总,以主动发出退稿、删改或委任决计13。论文和评审专家明白和成家是可能用基于特点的外现技巧来管理的环节职分,这是机械进修中最常睹的一种使用,也是人工智能同行评审使用讨论中伸长最疾的规模之一。

  同行评审的另一个亏欠是,很众类型的讨论不行被审稿人验证。对付某些外面学科而言,比如数学等,实质相对独立,审稿人可能通过阅读论文来查抄论文确切凿性,而不需求审查已发布的文献以外的证据,然而这正在测验科学规模则是不也许的。比如临床试验和策动机体系等,存正在豪爽的统计数据和测验数据制假,因为评审者无法反复测验,其只可审查讨论是否看起来做得很好。近年来,由于数据制假而被撤回的论文从2000年头期的每年约30人上升到2011年的400众人,纵然切磋正在此时代发布的论文数目伸长了44%,被撤回论文的伸长比率也好坏常惊人的14。因而除了行政统治和评审专家成家外,人工智能还被用于统计数据核查和测验数据验证。

  施普林格-自然出书集团就正在研发一套名为“统计核查”(Stat Reviewer)的体系,查抄论文的完好度和数据确切凿性。该体系可能识别和明白讨论的构成片面,天生明白叙述,标识以阻止确的体例照料统计数据的环境以及未依照指示技巧的环境。该体系目前还处于测试阶段,出书商生物医学中央(BioMed Central)对该项目感乐趣,而且自2014年以后平昔加入其成长。从2016年秋季发端,生物医学中央平昔带领一项旨正在考查主动化对讨论实行统计和技巧学审查的也许性的测验。该测验搜罗4个期刊:《试验》(Trials),《重症监护》(Critical Care),《BMC医学》(BMC Medicine),以及《合节炎讨论与歇养》(Arthritis Research & Therapy)。正在这4种期刊中,同时采用“统计核查”体系和通例管事技巧,以权衡“统计核查”与平常同行评审比拟检测到的技巧和统计毛病的众少,目前尚未宣告对比讨论结果15。

  虽然近年来,众项合于科技出书的叙述都将同行评审列为异日科技出书规模最要紧的趋向之一,众项科技出书家产和讨论聚会也将人工智能正在同行评审规模的使用行动要紧议题。然而,本相上,人工智能既也许管理同行评审体系中展现的题目,也也许给这个经过带来新的挑衅。

  开始,智能化的同行评审经过,使得“好科学”的价钱占定存正在危险,也许给科学出书带来伦理逆境。虽然人工智能正在同行评审经过中的使用将加疾科学换取,打消人类私睹。然而,如前所述,同行评审的要紧效力正在于供应信托、过滤科学讨论音讯以及包管发布论文的质地。科学家会信托由智能机械人评审的学术期刊和文献吗?智能同行评审正在加快科学出书速率的同时会不会变成科学讨论文献的进一步弥漫,进而落空科学出书的过滤效力?科学讨论文献质地的占定尺度是什么?仅仅是统计数据和技巧的准确吗?这只是科学讨论文献发布的基础恳求。改进水平、要紧性以及对该讨论规模的潜正在影响是更为要紧的质地占定尺度。而要对此做出占定,智能评审不光要读懂一篇论文,它还需求有超越作品自己的思索才气。也便是说,智能评审不光要了然这篇作品讨论了什么,更需求理解这个讨论正在这个规模到底有什么打破,而打破经常是不行预思的,不具有普通秩序的。因而,咱们很难对智能评审有用识别倾覆性的打破讨论持乐观立场。

  其次,数据的怒放性和牢靠性是智能评审面对的另一个挑衅。人工智能算法的有用性基于其对海量科学讨论文献的进修。人工智能获取和进修到的科学讨论数据越众,算法就越确凿,主动化决议才气就越强。然而,豪爽的科学文献,更加是各个规模最有声望的讨论功劳都是被各大科技出书商锁定正在其收费壁垒之内的,人工智能无法获得富裕进修,其有用性也一定大打扣头。除此除外,一起需求的数据都来自于先前发布的讨论。假设以前的讨论数据毛病若何办?占定毛病的仔肩谁来担任?

  结果,智能评审也许进一步进步科技出书家产的纠合度,晦气于中小科技出书商的存在和成长。贸易出书集团正在科技出书中所占的份额越来越大,前五名的科技出书商施普林格-自然出书集团、爱思唯尔、泰勒&弗朗西斯(Taylor&Francis)、威利(Wiley)和塞奇(Sage),2013年出书的英文论文占环球整年出书的英文论文的50%以上16。近年来,这个比例还正在渐渐伸长。一方面,如前所述,智能评审体系效用的进步离不开海量的科学讨论文献和数据;另一方面,智能评审的成长还离不开广大的资金和本领扶助。无论哪个方面,大型贸易出书机构清楚比中小型科技出书商有着更大的上风。因而,智能评审的成长也许变成科技出书家产纠合度的进一步进步,晦气于中小科技出书商的存在和成长,也晦气于学术换取。

  人工智能将极大地淘汰人类编辑大片面担事,比如挑选审稿人和占定是否出书稿件等加入的韶华,人工智能可能成为同行评审的有力助手。然而,正在人工智能大界限使用于同行评审之前,出书商、人类编辑和讨论者需求将人工智能的使用置于科技出书的端正之内,鲜明人工智能必需代替人类哪些管事,也许做哪些管事,不行能做哪些管事。正在科技出书规模内,智能评审需求服从的端正与人类编辑并没有什么分别。简而言之,人工智能是一个由整体人类伶俐设备的特殊而厚实的高效智能体系,人工智能最终无法切近人类的才气,科学出书已经需求人类编辑和审稿人,只是他们会正在更高的方针上管事。人工智能可能行动同行评审的扶助,而人类则需求指导其评审端正。

  [4]刘军,曾令烽,曹烨,等.科技期刊论文同行评断中伦理学危险掌管与优化重点[J].中邦科技期刊讨论,2017,28(5):407-412