基于z指数的科研机构评价的有效性实证研究

何晓庆　王圣洁　胡琳

〔摘要〕[目的/意义]对基于z指数的科研机构评价有效性进行实证研究，旨在为科学合理地评价科研机构学术影响力探寻新的视角和方法。[方法/过程]本文采用新的综合性评价指标——z指数，以Muscular Dystrophy研究领域最具代表性的25家机构为样本，通过计算分析目标数据的z指数、h指数、p指数、总发文量、总被引次数和平均被引率、一致性指标η，验证了利用z指數评价机构学术影响力的有效性。[结果/结论]结果表明z 指数是一个3D效能指标并具有高灵敏性和稳定性。同时也指出z指数存在诸如低引用长尾严重影响z指数大小、高核区论文被引的增加会对z指数产生副作用、忽略专利等其他科研形式的作用的缺陷，为后续研究奠定基础。

〔关键词〕z指数；p 指数；引文分布；相关性

DOI：10.3969/j.issn.1008-0821.2018.05.012

〔中图分类号〕G304〔文献标识码〕A〔文章编号〕1008-0821（2018）05-0082-05

〔Abstract〕[Purpose/Significance]Application of z-index to institutions evaluation aimed to explore new perspectives and methods for scientific and rational evaluation η of institutions.[Method/Process]In this paper，the z-index hat was used to calculatet the h-index，the p-inedx，the number of articles，the citation frequency，the average citation frequency and the consistency term of core institutions in muscular dystrophy.And the relevance was analyzed.The paper used an empirical study to analyze the effect of z-index in institutions evaluation.[Result/Conclusion]Results showed that z-index was a measure that combines all three attributes，namely，quality，quantity，and consistency into a single number and was high sensitivity and stability.However，this paper found that z-index had also disadvantage such as low citing long tail seriously affects the size of z-index，the increased citation of high core papers would have a side effect on the z-index and ignoring the role of other forms of scientific research such as patents，which laid the foundation for future research.

〔Key words〕z -index；p -index；citation distribution；relevance

科研机构的学术成果评价在科研活动中具有重要作用，基本每一项研究评审决策，包括科研经费预算的制定、审批研究项目等，都很大程度上取决于被评价机构的学术影响力。如何科学合理地对机构学术影响力进行评价，对推动科研机构学术成果的发展与创新具有重要的意义。对科研机构的评价分为定性评价和定量评价，基于文献计量分析方法的机构评价是除同行评议这种基于专家的定性评价外最重要的定量分析方法。

2005年Hirsch一经提出以h指数评价科研人员影响力，就被迅速应用于诸如学术期刊、科研机构、学者、国家的评价的科研评价中。2006年Prathap提出了适用于评价机构科研实力的机构h指数[1]，并给出机构h1和h2指数，其中机构h1指数计算方法为机构发表的论文中有h1篇论文的被引频次至少是h1次，机构h2指数计算方法为机构内的科研人员中有h2个科研人员的h指数都至少为h2。Prathap所提出的h1指数直接用于评价科研机构，而h2指数需要考虑机构内每个成员的h指数[2]。2010年Prathap提出了一个模拟h指数的指标p指数，并认为该指标能够提高评价结果的分辨率。

但是h和p指数用于机构评价的不足也在使用中逐渐凸显出来，如h指数对有效核外的低被引论文和有效核内的高被引论文都不太敏感。有效核内的高被引论文的被引用次数增加也不会在h指数上体现出来，这对论文数量相对较少但拥有高被引论文的科研机构非常不利；p指数不能体现总量相等的引文数在单篇论文上的分布情况。

为了改进p指数不能反映引文分布的集中情况的缺陷，p指数的提出者Prathap于2014年提出了一个新的综合计量指标——z指数[3]。Prathap认为z指数属于3D能效型指标，并认为其相较于传统评价指标级别更高。由于z指数是一个全新的机构学术影响力评价指标，目前国外对z指数的研究[4-8]主要是由Prathap利用Web of Sciecne开展的。但目前国内仅有对z指数对学者和期刊影响力的研究[9-10]。因此本文拟以Muscular Dystrophy研究领域最具代表性的15家科研机构为样本，利用z指数对科研机构进行评价，为进一步将z指数实际应用于科研机构评价提供参考。

1z指数的内涵及计算方法

Prathap继2010年提出p指数之后于2014年提出了一个综合性评价指标——z指数，。Prathap认为由于z指数将能反映数量因素的P（总发文量）、反映质量因素的i（平均被引率），描述被引用集中程度的η有机地融合在单个指数中，因此可以被称作Quantity-Quality-Consistency者Volume-Velocity-Variety（Variability）的3D效能評价指标。其中P为文献总数；i为平均被引率；η为引文分布变化的一致性指标η=X/E=（C2/P）/∑C2k， k=1 to p。

2基于z指数的科研机构评价实证分析

21评价对象与数据来源

本文以Web of Science中的Science Citation Index Expanded（SCI-EXPANDED）为数据来源，选取2012-2016年在Muscular Dystrophy研究领域最具代表性的15家科研机构，统计计算了2012-2016年25家科研机构的总发文量、总被引频次、平均被引率、一致性指标η、h指数、p指数、z指数，表格中机构顺序按z指数排名，并对应列出h指数排名和p指数排名，如表1所示。本文利用TDA（Thomson Data Analyzer）以及SPSS200等进行数据处理及分析。

22评价结果分析

221z指数与p指数以及h指数排名分析

1）z指数和p指数排名一致的机构

从表1可以看出，25个样本机构中，HARVARD UNIV、UNIV FLORIDA、NEWCASTLE UNIV、UNIV SAO PAULO、OHIO STATE UNIV、UNIV IOWA共计6家机构具有相同的z指数和p指数的排名。HARVARD UNIV虽然总发文量并不特别突出，仅位居第6，其引文分布的一致性指标η<03表明其引文分布情况集中程度并不算低，153篇文献中有高达348次引用的文献，也有0次引用的文献，但是其平均被引率遥遥领先，153篇总发文量中有10篇Highly Cited in Field和2篇Hot Papers in Field，所以超高的平均被引率大大弥补了总发文量和被引集中程度的不足，最终无论以z指数、h指数还是p指数排名均列居榜首。UNIV FLORIDA、OHIO STATE UNIV、UNIV IOWA、UNIV SAO PAULO这4家机构的引文分布情况集中程度相对比价居中，其引文分布的一致性指标027>η>024，所以具有相同的z指数和p指数的排名。NEWCASTLE UNIV虽然η=0307，但是究其原因是由于其临近的机构的引文分布情况更加平均。由此可见，无论z指数还是h指数还是p指数均是综合性的评价指标，都能一定程度上反映科研机构的质量和数量。

2）z指数排名领先于p指数排名的机构

分析z指数排名领先于p指数排名的9家机构UNIV PARIS 06、UNIV OXFORD、UNIV ROCHESTER、UNIV CALIF LOS ANGELES、CHILDRENS NATL MED CT、UNIV MILAN、UCL、INSERM、NATL CTR NEUROL PSYCHIAT，其引文分布的一致性指标η都相对较高，η≥031明显高于25家机构η的平均值。这9家机构由于引文分布情况集中程度相对很低，提升了原本由总发文量和平均被引率所决定的排名，最终导致这9家机构的z指数排名高于p指数排名。并且η值越大，对最终的排名拉升的作用越大，η=0423的CHILDRENS NATL MED CTR由p指数排名的第14位，提升到z指数排名的第7位。由此可见，引文分布情况集中程度越低，也就是引文分布越均匀，z值排位会相对较高。

3）z指数排名落后于p指数排名的机构

比较z指数排名落后于p指数排名的10家机构UNIV PENN、UNIV WASHINGTON、UNIV WASHINGTON、WASHINGTON UNIV、NATIONWIDE CHILDRENS HOSP、UNIV PADUA、RADBOUD UNIV NIJMEGEN、UCL INST CHILD HLTH、UNIV CALIF DAVIS、CINCINNATI CHILDRENS HOSP MED CTR，除了UNIV WASHINGTON，其他9家机构的引文分布的一致性指标η<03。虽然UNIV WASHINGTON的η=0307，究其原因是由于和它临近的CHILDRENS NATL MED CTR其η=0423，导致UNIV WASHINGTON的排名被CHILDRENS NATL MED CTR超越。并且η值越小，对最终排名的副作用越大。η=0166的UNIV WASHINGTON由p指数排名的第3位，降低到z指数排名的第10位。因此引文分布情况集中程度越高，也就是引文分布越不均匀，z值排位会相对降低。

222z指数与总发文量、总被引次数及平均被引率的关系

通过对25家机构的z指数、总发文量、总被引次数及平均被引率相关性分析，如表2所示，发现z指数与总被引次数在001水平（双侧）上显著相关，其相关系数为0893，说明z指数对于总被引次数具有较强的敏感性。

平均被引率是一种展现机构的学术影响力复合指标，能够有效地避免只盲目追求论文数量，而忽视论文质量的情况。z指数与平均被引率存在显著相关性，在001水平（双侧）上显著相关，其相关系数为0833。当论文平均被引率降低或者提高时，z指数都能及时反应这一变化。可以看出z指数能很好地考虑质量因素。

科研机构的论文产出数量能在一定程度上反映科研机构的学术能力和科研水平，但并不能直接体现科研机构的学术影响力。z指数与总发文量在005水平（双侧）上显著相关，其相关系数为0419，由此表明z指数即对总发文量有要求，也对每篇文献的影响力有诉求。

223z指数与h指数及p指数的关系

为了更好辨析z指数与h指数及p指数的关系，本文将从描述性统计结果、内涵以及相关性3个维度来进行分析。

1）通过对25家机构的z指数、h指数及p指数描述性统计结果分析，如表3所示，z指数平均值

2）通过对比分析z指数与h指数及p指数的内涵：

h指数的计算方法：如某一机构发表的Np篇论文中，被引次数不少于h次的论文有h篇，而其他（Np-h）篇论文的被引次数都小于等于h，那么家机构的h指数则为h[11]；

p指数的计算公式：p=（C2/P）1/3[12]，其中P为文献总数，C为被引总数；

z指数的计算公式见公式（1）和公式（2）。

从h指数的计算方法可以看出，h指数的计算一定程度兼顾了质量和数量，并能体现一定的引文分布情况。但同时h指数的计算具有完全忽视绩效核内的高被引和绩效核外低被引论文的缺陷并且容易受到机构规模的影响，对于论文被引频次很高，但规模小的机构，其h指数受机构规模影响，论文总数不会很高，h指数也不会太高；对于机构规模大，但论文被引频次并不高的机构，其h指数肯定也不高；只有当机构规模大，总发文量大，同时大多数论文均具有高被引频次时，h指数才会高[13]。

P指数的计算可以看作“几何平均数”的概念，其计算将总发文量和平均被引率均囊括进去，无论高被引还是低被引的论文都一视同仁计入结果，弥补了h指数对视绩效核内的高被引和绩效核外低被引论文忽视的缺点。但是与此同时带来的问题也凸显出来，p指数虽然很好地实现了被评价对象的数量和质量的平衡，但是由于其平均计算每一篇文献的代价是完全无法体现被引分布的情况。

对比z指数和p指数的计算公式不难发现，其实z指数是在p指数的基础上加上了一个体现引文分布的指标η，而η的计算来源于经济学中一种测量集中度的综合指数Herfindahl-Hirschman Index（HHI）的思路。η是一个小于等于1指标，只有当引文绝对平均分布时，η=1；η的值越小，表明引文的集中程度越高。由于η的加入，使得z指数在延续了p指数能兼顾评价对象的数量和质量的同时，也能很好的描述整个引文分布的情况。

3）通过对25家机构的z指数、h指数及p指数相关性分析，如表4所示，z指数与h指数存在显著相关性，在001水平（双侧）上显著相关，其相关系数为0941，说明z指数能很好地模拟h指数，继承了h指数能兼顾数量和质量并能一定程度描述引文分布曲线的优点。z指数与p指数在001水平（双侧）上显著相关，其相关系数为0924，表明z指数延续了p指数能较好实现科研产出的质量和数量的平衡的优点。

3基于z指数科研机构评价的思考

31基于z指数科研机构评价的优势

311基于z指数科研机构评价能有效结合质量因素、数量因素和引文分布情况

通过321、322及323分析可以看出，利用z指数对科研机构进行评价有很好的理论基础，其提出的过程充分考虑了以往传统评价指标（总发文量、总被引次数、平均被引率、h指数、p指数）的关系，在考量了质量和数量因素的同时还很好地考虑到了引文的分布情况。

312高灵敏性和稳定性

为了验证z指数的灵敏性，本文分别将UNIV WASHINGTON引文分布按照被引次数的降序进行排列，如图1所示，UNIV WASHINGTON的154篇文献中序号1的文献（被引次数最高）增加一次被引（情况1）、将文献中序号2的文献（被引次数第2）增加一次被引（情况2）、将文献中序号1的文献（被引次数最高）减少一次被引（情况3）、将文献中序号2的文献（被引次数第2）减少一次被引（情况4）。情况1和2由于被引总数增加，而总发文量不变，所以情况1和2的p指数都同时由变化前的3699162提高为3700045，h指数保持不变。而情况1和2的η分别变化为0165519838和0165593427，z指数分别变化为2031532313和2031833335。情况3和4由于被引总数有所减少，而总发文量不变，所以情况3和4的p指数都同时减少为3698278823，h指数保持不变。而情况3和4的η分别变化为0165998865和016592481，z指数分别变化为2032519357和2032217063。由此可见，相较于h指数和p指数，z指数具有很高的灵敏性，无论增加或者减少的每一篇发文还是获得的每一次被引有所变化都会引起z指数的相应变化。当总引用次数、平均被引率及引文分布情况发生微小变动时，z指数值不会出现大的波动和起伏，也使z指数在具有高灵敏性的同时也具有一定的稳定性。

32基于z指数科研机构评价的缺陷

321低引用长尾严重影响z指数大小

为了检验低引用论文对z指数数值的影响，本文分别将UNIV WASHINGTON引文分布图1中的154篇引用次数小于等于1的文献删除（共删除28篇文獻）（情况5），在前126篇文献不变的情况下，由于这28篇文献的减少，z指数增加到了2314602589，η也提高到了0201731369。由此可以看出，低引用论文的增长反而会对p指数产生负面影响。但是对于低引用长尾并不能一概而论，而应该根据具体情况区别对待。比如有一部分低引用长尾现象并不是由于研究质量低引起的，而是由于该领域的研究并不热门或研究过于深奥得不到其他研究响应导致的[14]。

322高核区论文被引的增加会对z指数产生副作用

为了验证高核区论文被引的增加对z指数数值的影响，本文将UNIV WASHINGTON引文分布图1中的序号1的文献（被引次数最高的文献）（情况1）和序号2的文献（被引次数第2）（情况1）各增加一次被引，在其他情况不变的情况下，由于这次被引的增加，z指数的数值却相应的下降，并且情况1比情况2下降的情况更严重。这是由于对于高核区的论文被引的增加导致了被引分布的更加不均衡，使得一致性指标η越发的小，所以z指数在高核区论文被引增加的情况下却出现了小幅下降。

323忽略专利等其他科研成果形态的作用

机构的科研成果虽然大部分会以论文、著作的形式发表，但也存在大量专利、软件等非正式出版物的科研成果形式[15]。而z指数的计算是基于发文量、引文以及引文分布的，对机构非正式出版物的形式的科研成果并不能直接对在z指数产生直接的影响。

4结束语

本文基于Muscular Dystrophy研究领域最具代表性的15家科研机构的实证证明了z指数是一个比以往的指标具有更高层次的综合性单项评价指标，其应用于科研机构评价具有良好的有效性。但z指数仍属于一种形式评价指标，其诸如不能区分施引文献影响力大小以、低引用长尾严重影响z指数大小以及高核区论文被引的增加会对z指数产生副作用等局限性也不容忽视。

机构评价涉及诸如科研产出类型、机构规模等诸多因素，如果仅仅使用某个指数来测量科研机构的影响力具有一定局限性，应根据不同类型的科研成果的特点选择相应的评价指标，甚至可以考虑运用多个指标组合评价并结合同行评议的定性评价意见，进行更深入的全方位地评价。

参考文献

[1]Prathap G.Hirsch-Type Indices for Ranking Institutions Scientific Research Output[J].Current Science，2006，91（11）：1439-1439.

[2]韦博洋.基于h指数族的科研机构评价及其改进[J].图书情报工作.2014，58（17）：112-118.

[3]Gangan Prathap.The Zynergy-Index and the Formula for the h-Index[J].Journal of the Association for Information Science and Technology，2014，65（2）：426-427.

[4].Gangan Prathap.A Three-Class，Three-Dimensional Bibliometric Performance Indicator[J].Journal of the Association for Information Science and Technology，2014，65（7）：1506–1508.

[5]Gangan Prathap.Letter to the Editor：Measures for Bibliometric Size，Impact，and Concentration[J].Journal of the Association for Information Science and Technology，2015，66（8）：1740–1741.

[6]Gangan Prathap.A Three-Dimensional Bibliometric Evaluation of Research in Polymer Solar Cells[J].Scientometrics，2014，101：889-898.

[7]Gangan Prathap.A Three-Dimensional Bibliometric Evaluation of Recent Research in India[J].Scientometrics，2017，110（3）：1085-1097.

[8]Gangan Prathap.The Zynergy-Index and the Formula for the h-Index[J].Journal of the Association for nformation Science and Technology，2014，65（2）：426-427.

[9]何晓庆，王圣洁，胡琳.z指数在学者学术影响力评价中的应用[J].情报理论与实践.http：//kns.cnki.net/kcms/detail/11.1762.G3.20180112.1106.002.html.

[10]何晓庆，王圣洁，胡琳.z指数在期刊评价实践中的应用[J].中国科技期刊研究，2018，29（5）：1-5.

[11]宋振世.一种类h指数实证分析及实践应用[J].现代情报.2017，37（5）：52-57.

[12]许新军.p指数在期刊评价中的应用[J].情报学报.2015，34（12）：1246-1251.

[13]岳婷，楊立英.Hm指数在科研机构评价中的适用性研究.[J].图书情报工作.2012，56（18）：38-42.

[14]夏慧，韩毅.一个新的综合性科技评价指标——p指数研究综述[J].图书情报工作.2014，58（8）：128-131.

[15]宋振世，周健，吴士蓉.h指数科研评价实践中的应用研究.[J].图书情报工作.2013，57（1）：117-121.

（责任编辑：郭沫含）