研究生科研绩效评估方法比较研究
来源:用户上传
作者: 李善军
科研绩效评估是一项系统工程,是对科技人员所从事的科研活动和所取得的科研成绩进行定性与定量有机结合的综合评估。
一、研究生科研绩效评估的意义
研究生作为科学研究的生力军和主力军,对研究生的科研绩效进行评价,一方面可以对研究生的科研能力进行界定,并对职业定位具有一定指导意义,另一方面便于导师和学校掌握研究生可样能力的整体培养质量,便于对后续的政策和培养手段予以调整。
(一)研究生科研水平是衡量研究生素质的重要标准
研究生不同于本科生培养,其最显著的差别即体现在科研水平的锻炼和大幅提高,如果仅停留在单纯考察研究生的考试成绩,是难以反映研究生的实际素质的,因此应该强化研究生科研水平的提高,寻求对其水平的评价具有十分重要的现实意义。
(二)研究生科研绩效对学校整体科研的贡献度不容忽视
高校教师的科研项目的完成要依赖于研究生从事的基础工作,从近年发表的科研论文分析可以看出,各高校SCI论文至少有60%以上的第一作者是研究生,可见研究生的科研工作对学校的整体科研具有不容忽视的重要性,评价研究生的科研绩效,也是对研究生的科研贡献度的肯定。
(三)研究生科研绩效合理评价是客观公正认识研究生培养质量的重要途径
研究生科研水平是衡量研究生素质的重要标准,只有客观公正的评价,才能发挥其效用和指挥棒作用,如果能建立起合理的评价体系,可以从中看出研究生的培养质量,为研究生的培养政策提供指导性意见。
目前针对高校或院系这类群体的科研绩效评估的研究和研究方法很多,但针对教师或研究生这里个体的科研绩效评估的相关研究很少,几乎没有针对研究生科研绩效评估的研究。从评价方法来看,已有的评估方法普遍存在片面性,而且人为干扰因素较多,更是缺乏规范的指标体系和统一的评价专家系统。如何客观地反映高校、院系、教师,特别是研究生的科研绩效水平,加强科学性,减少盲目性,加强竞争性,激发科研工作活力,是当前许多学者和高校科研管理者关心的热点问题,其核心是需要比较目前采用的多种处理方法,找出最优化的方法,建立一套全面、客观、公正、便捷、可靠的综合评估系统,客观地对科研绩效进行评估。
二、科研绩效评估的研究现状
绩效评估方法最初用于企业管理,是约束与激励企业发展的有效方法。所谓绩效评估,绩系指经营者业绩,效系指企业经营效益。评估是指为达到一定目的,运用特定指标,对照统一的标准,采取规定的方法,对事物做出价值判断的一种认识活动。企业绩效评估是指运用数理统计和运筹学方法,采用特定的指标体系,对照统一的评价标准,按照一定的程序,通过定量定性对比分析,就企业一定经营期间的经营效益和经营者业绩,做出客观公正和准确的综合评判。
科研绩效评估与企业的绩效评估最大的不同在于评估的对象不同,因此评估的内容和评估的方法必然也不同。国内很多研究者对科研绩效评估提出了很好的研究方法和思路。
辛艳伟(辛艳伟,2009)通过考察美国科研评估体系,全面介绍了美国科研评估的多种评估机构及其运作,以及评估内容、程序、范围和评估报告形式,并提出我国科研评估体系应“成果评估必须区别对待,基础科研重在自由探索”和“坚持科研绩效的定量评估与同行评议相结合”,但文中未指出其具体的评估方法。李继怀(李继怀等,2009)详细阐述的科研绩效评价的意义和科研绩效评价的基本原则,也提出了科研绩效定量评价指标体系构建的设计原则和评价指向,并初步给出了评价指标分解表,对本课题的研究具有指导意义,但并未给出评价指标的具体实现方法。田在兰(田在兰,2009)针对目前部分高校教师科研绩效评估的现状进行剖析,并指出存在的问题;接着从评估指导思想、现行评估体制、学科差异性等角度进行了原因探索;最后提出针对高校教师科研绩效评估的优化对策。对本课题研究也具有一定借鉴意义。
李锋(李锋等,2009)根据实际工作经验,初步建立了主要针对教师的科研绩效评估指标,并按照目标层次分析方法,给出了结论,但并未给出具体的实现方法和实际的评价效果。杨竹(杨竹等,2007)就高校院系的科研绩效评估模型的构建进行了研究,提出了较为系统的三级指标体系,但未涉及具体算法研究。
叶国荣(叶国荣,2009)利用基于主成分分析法的BP神经网络对高校院系的科研绩效模型进行了研究,具有一定借鉴意义,但缺乏实证研究和与其他方法的对比研究。
三、科研绩效评估的主要研究方法概况比较
在已有的相关科研绩效评估的研究中,采用的研究方法主要有比较层次分析法、模糊层次分析法、BP神经网络、主成分分析法、聚类分析法等,每种方法都有其特点和适用范围。
(一)层次分析法
层次分析法(AnalyticHierarchyProcess,简称AHP)是美国运筹学家T.L.Saaty教授于20世纪70年代提出的一种定量与定性相结合的多目标决策分析方法。从本质上讲,它是一种思维方法,即通过把复杂问题分解成各个组成因素,将这些因素按支配关系分组形成递阶层次结构,最终形成目标层、准则层、子准则层和方案层等,通过两两比较的方法确定层次中诸因素的相对重要性。这种方法的特点是在对复杂的决策问题的本质、影响因素及其内在关系等进行深入分析的基础上,利用较少的定量信息使决策的思维过程数学化,从而为多目标、多准则或无结构特性的复杂决策问题提供简便的决策方法。尤其适合于对决策结果难于直接准确计量的场合。
(二)F-AHP
F-AHP(FuzzyAnalyticHierarchyProcess,也称模糊层次分析法),是在模糊数学中的综合评价法的基础上,在权重集的构建上使用基于层次分析法的思想引入模糊一致性矩阵进行评价的一种方法。它是一种对非定量事件做定量分析的简便方法,也是对人们的主观判断做客观描述的一种手段。通过引入模糊一致矩阵,可以方便快捷地实现决策由定性向定量的转换,无需进行一致性检验即可确定影响因素的权重。可以解决很多情况下我们不能很好地给出指标权重,或者各指标难于量化,或者一致性约束很难达到的问题。
(三)BP神经网络
BP网络是由Rumelhart、Hinton和Williams提出来的,是一个高度复杂的非线性动力学系统,是一种多层前馈型神经网络,由于其权值的调整采用反向传播(BackPropagation)学习算法,故称BP神经网络。经过训练的BP神经网络能对在输入范围内的输入信息自行处理,然后输出经过非线性转换的误差最小的信息。因此是一种人工智能的数据处理方法,可以根据已有数据的训练,实现预测的功能。
(四)主成分分析法
主成分分析法是通过少数几个主成分(即原始数据的线性组合)来解释多变量的协方差,并有效地消除各个指标间的相关性,即使各指标代表的信息不重叠。通过主成分分析可以减少变量数目,为后续数据的进一步处理提供便利。
(五)聚类分析法
根据同类事物应具有相近特性,而不同事物在这些特性上差异较大的假定,将所研究的事物进行分类,这种研究方法称为聚类Cluster。有两种方法进行聚类分析,一种是并不指定最终的类数,所有样本不断相聚,最终聚为一类,结论将在聚类过程中寻求,这种聚类称为分层聚类。另一种是在指定了用于聚类分析的变量和类数后进行的聚类,称为快速样本聚类。分层聚类方法因其产生的结果不在聚类的开始,也不在聚类的最终,而是在其过程中,研究者可根据实际需要在聚类过程适当截取聚类结论,适用于科研绩效的评估。
四、研究生科研绩效评估方法比较研究的框架
(一)研究生科研绩效考核指标体系的构建
分析构成研究生科研绩效的要素,建立起三级评价指标体系,着重考虑学术成果、学术基础、培养条件和导师团队等几个方面,学术成果着重考虑科研论文、专利和著作等产出、参与课题情况、参与学术交流情况等方面,学术基础主要考察研究生入学前的学习情况和研究经历以及入学后的学习情况等,培养条件主要评价培养单位能够提供的研究生培养环境和可供研究生课题开展的硬件条件等,导师团队主要考虑导师的研究水平对研究生科研能力。
(二)研究生科研绩效考核指标体系的算法实现
针对构建起的指标体系进行算法研究,对各项数据进行标准化处理,便于后续的进一步分析应用,对于难以量化的数据采用定性表述,实行定量与定性评价的结合。
(三)研究生科研绩效评价方法的比较分析
针对上述选取的评价对构建的指标体系和算法进行模拟运算,并比较不同方法的组合对结果的影响,找到最能反映实际情况的评价方法,并可以在此过程中适度调整上述指标体系,以客观公正为最终目标。
(四)构建研究生科研绩效评价的软件实现,开发应用系统
在上述研究基础上,开发研究生科研绩效评价的应用系统,可以考虑利用VC开发,也可以考虑开发基于C/S的系统,能够实现上述的不同评价方法和指标体系,给出每个研究生的科研绩效评价意见。
(五)应用研究生科研绩效评价系统,并进行实证研究
将上述应用系统应用于研究生的科研绩效评价,考察其是否能反映实际情况,并适度调整上述指标体系和评价方法,如果可行,可将该系统与研究生的学年鉴定结合,提供一种参考依据。
参考文献:
1、辛艳伟.美国科研评估体系对我国科研管理的借鉴[J].农业科技管理,2009(4).
2、李继怀,金永龙.机制创新:高校科研绩效评价体系的构建[J].现代教育管理,2009(6).
3、田在兰.优化中国高校教师的科研绩效评估体系研究[J].经济研究导刊,2009(18).
4、李锋,葛世伦,尹洁.高校科研绩效评价模型研究[J].科技管理研究,2009(7).
5、杨竹,伍群,袁军等.高校院系的科研绩效评估模型和计量体系研究[J].西南农业大学学报(社会科学版),2007(6).
6、叶国荣.基于BP神经网络的高校院系科研绩效评价模型[J].浙江工商大学学报,2009(2).
*本文受华中农业大学研究生教育创新工程资助(编号:2009048)。
(作者单位:华中农业大学工学院)
转载注明来源:https://www.xzbu.com/2/view-433933.htm
