佟贺丰:数目字管理本质是科研评价的粗暴化和随意性

  中国的科研人员可以说处于一种“数字化生存”的状态。不过这种“数字化生存”并不是数字化“教父”尼葛洛庞帝所描述的电子时代的生活,而更靠近历史学家黄仁宇所说的“数目字管理”。黄仁宇先生在《万历十五年》中回顾中国古代为什么没有发展出资本主义时,总结出一条历史教训,就是中国没有实现“数目字管理”。但今天的科研人员可以自豪地宣称:我们已经全面进入了“数目字管理”的时代。可计算的量化考核已经成为国内很多高校和科研机构运行机制的一部分。

     这些数字化的评价方法,很多都来自文献计量学领域的研究,因为论文是对研究人员考评的一项重要内容,例如引文分析就是使用最频繁的一种方法。使用引文分析的目的,主要有几个,一是将卓越的科学成果显示给外部世界,让其他人了解什么是学术领域最突出的研究成果;二是向被评价的机构和个人提供能够让他们改进研究绩效的信息;还有就是为管理者提供如何分配研究资金的决策工具。以文献计量学为基础构建科学的、量化的、精确的评价体系是科研管理的进步。但在实际的应用中,文献计量学方法却存在被滥用的情况。

     翻看各个高校和科研机构的科研管理规定,可以发现处处充满了对于发表论文、申请专利、申请项目的奖惩条文。把对科研人员的评价作出明文规定,有利于评审的公正、公平和公开。但如果仔细研究这些条文,就会发现有一些可笑的地方。比如很多科研机构规定,在对科研人员发表论文进行奖励时,以1000元为基数,再乘以文章发表期刊的影响因子。这样发表在高影响因子期刊上的论文作者就能够得到足够高的奖金。可以说本意是好的。但这种做法完全是对文献计量学方法的不了解。首先并不存在引文分析衡量的质量就是实际的质量的说法。其次不同学科领域间的期刊影响因子不具有可比性。比如数学领域期刊的影响因子一般就大大低于生物化学和分子生物学期刊。估计数学系的教师如果知道这个规律,肯定会在心里叫屈。所以,影响因子的提出者、也是SCI的创始人尤金加菲尔德博士多次在自己的文章中强调,不应直接比较不同领域的期刊。也有一些学者为了避免这种不公平,提出“标准化影响因子”的概念,通过对科技期刊的影响因子进行一次非线性转换和线性转换而得到,可以减少影响因子在评价不同学科期刊时的误差。但很多科研机构的管理者却不知其所以然,仍然继续着原来的错误。

     如果说在对科研人员的评价中,文献计量学有被滥用的趋向,那么在一些重大项目和科研成果的评价中,则存在着文献计量学方法缺位的现象。随着研发支出的数额越来越巨大,很多国家越来越强调政府资助的研究的效果和效率。政府需要系统化的评估以优化其研究资源分配、重新定位其研究资助、重构某些领域的研究或者提高研究生产率。在我国很多项目评审中,使用的都是基于同行评议的专家咨询体系。

     同行评议在评价资助申请过程中发挥着重大作用。《国家自然科学基金条例》中就明确规定,“基金管理机构根据本条例的规定和专家提出的评审意见,决定予以资助的研究项目。基金管理机构不得以与评审专家有不同的学术观点为由否定专家的评审意见”。“申请人对基金管理机构作出的不予受理或者不予资助的决定不服的,对评审专家的学术判断有不同意见,也不得作为提出复审请求的理由。”可见评审专家的权力之大。这就要求同行评议必须表现出公正性,要保持对同行评议活动本身以及被评价者的专业回避。但同行评审专家非常容易受到来自于外界的压力,也可能依据他们自己的研究兴趣或活动来进行评价,还可能被自己心中根深蒂固的传统科学范式所制约。

     现在,国内的同行评议程序通常是在没有文献基础的情况下作出结论的。对于评审项目的意见,大多出自专家的专业背景和直觉,这一方面是对专家专业水平的考验,另一方面也对专家道德水准提出了极高的要求。所以同行评议中的专家咨询行为应该受到一定的约束。如果在一些重大项目的评审中,因为一些外部因素或人性弱点的影响造成选择的偏差,是对科研经费的浪费和不负责。其实在这类同行评议中,引入文献计量学的方法具有非常强的可操作性。引文分析能够作为一种工具,通过向同行提出具体的文献计量学结果并从同行那里获取他们不会轻易给出的相关信息。不仅如此,引文分析还可以用于评估同行评议程序,反映出同行判断中可能出现的偏见。因此,引文分析还是一个保持同行评议过程诚信的工具。

     说到底,无论是滥用还是缺失,其反应的本质都是科研评价中的粗暴化和随意性,以为有了“数目字管理”就是公平、科学的方法了,即使出了问题也与己无关。其实每一种方法的应用都有其具体的环境,反映的都是决策者的意志,决策者应该成为工具的使用者,而不能沦为工具的附庸,千万不能一切唯数字论。

 

    来源:科学时报