基于大数据背景的基础研究项目绩效评价研究

来源:用户上传      作者:

　　【摘要】  近年来，国家对科研项目的投入日益增加，但我国的科研项目绩效评价尚处于起步阶段，绩效评价体系还不完善，存在很多问题。文章对国内基础研究项目绩效评价现状进行了分析，提出了建立基于大数据背景的基础研究项目绩效评价体系，并从基础研究绩效评价的数据库平台构建、绩效评价原则、绩效评价流程和绩效评价指标的设定等方面进行了详细阐述，以期为主管部门对基础研究项目进行绩效评价提供参考。
　　【关键词】   大数据;基础研究;績效评价
　　【中图分类号】  F234  【文献标识码】  A  【文章编号】  1002-5812（2019）24-0033-03
　　一、引言
　　科研项目绩效管理可以提高财政科研项目资金的有效配置。近年来，随着国家对科研项目投入的不断增加，科研项目绩效管理也日益受到重视。《国家中长期科学和技术发展规划纲要（2006—2020年）指出，要建立财政科研项目的绩效评价体系，健全相应的评估和监督管理机制。科技部于2012年制订的《关于加快科技改变发展 增强自主创新能力 充分发挥科技支撑引领作用的意见》要求，要重视绩效管理，加强监督评估和资金使用监管。财政部于2011年出台了《财政支出绩效评价管理暂行办法》，对财政项目的绩效评价发布了指导性意见。
　　科研项目绩效评价研究近年来也成为专家学者研究的热点问题，科研项目绩效评价对象可以按项目负责人、项目承担单位、项目研究方向、项目经费来源等来划分，评价办法也因被评价对象不同而不同。科研项目按研究方向可分为基础研究项目和应用研究项目，目前国内对于应用项目绩效评价的研究较多，基础研究项目方面涉及较少，本文以基础研究项目为评价对象进行绩效评价研究。
　　二、基础研究项目绩效评价现状
　　（一）评价主体不独立
　　目前科研项目绩效评价模式一般有三种：一是由承担单位按照上级主管部门设定的指标模板进行自评价;二是由上级主管部门采用会议或现场检查方式组织评价;三是由主管部门针对承担单位的自评价进行复核并抽查。目前很少由外部中介机构参与项目的绩效评价。上述绩效评价方式使得项目绩效评价流于形式，只是满足于填表交差，会议或现场检查也只是走过场，而评价主体的不独立使评价结果缺乏公正性，项目绩效评价应走向社会化。
　　（二）评价指标不科学
　　科研项目绩效评价指标一般由社会效益、经济效益、顾客满意度组成，同时包括资金落实及执行情况。这些评价指标在对应用研究项目进行绩效评价时应用广泛，符合应用研究的特点，能满足应用研究项目的绩效评价，国内对于科研项目绩效评价进行的实证研究也多数是针对应用研究。与应用研究项目不同，基础研究项目从立项到项目结题，短的1—2年，长的3—5年，基础研究项目的成果和效益是一个长期积累的过程，有时候需要十几二十几年的深入研究，短期内很难评估。所以对于基础研究项目，目前这些通用的评价指标并不科学，不符合基础研究的特性。
　　（三）评价标准不统一
　　由于各方面原因，不同主管部门部署的项目设定的绩效评价指标有不同的评价标准。比如基础研究项目结题时，其中有一个绩效评价指标是发表SCI论文数，因不同研究学科或领域发表论文的难易程度不一，所以很难用发表的论文数或作者排名顺序来准确评价。同时，该论文是只能作为一个项目的成果，还是可以作为几个科研项目的成果，不同主管部门的评价标准并没有统一，而且同一个主管部门安排的项目评价标准也不明确。这些标准由于制定得过于随意，往往不符合基础研究实际状况，以至于评价结果不科学。
　　（四）评价基础数据不共享
　　目前各部委或业务主管部门都开始推进科研项目的绩效评价，对各自部署安排的科研项目类型、科研项目负责人、团队、成果、论文等内容都建立了自己的基础数据库，但是这些基础数据在不同部委或主管部门之间没有实现数据共享。这种情况会造成对研究所或科研团队基础数据的重复采集，加大基层工作量，也不符合国家对科研项目“放管服”政策的精神，各自独立的、封闭的、分散的基础数据更不利于对科研项目的整体绩效评价。
　　三、基于大数据背景的基础研究项目绩效评价体系
　　随着互联网、云计算、物联网等信息技术的高速发展，现代社会已经进入了大数据时代，数据的快速增长也给我们带来了机会和挑战。我们要学会从海量的大数据中利用一定的分析方法，挖掘出我们需要的信息，建立基于大数据背景的基础研究项目绩效评价体系。
　　（一）基于大数据背景的基础研究项目绩效评价原则
　　基础研究项目绩效评价原则包括以下几个方面：（1）真实性与可靠性原则。指所有提供的基础数据来源可靠、信息真实。（2）公平和公正原则。指评价标准统一，评价结果公平公正。（3）科学合理性与全面性原则。指绩效评价指标设计科学，评价体系合理规范，评价过程切实可行;绩效评价指标数据全面、完整。（4）现实性与前瞻性结合原则。指既要参考基础研究项目的现实意义，又要考虑基础项目研究的前瞻性。（5）定量分析与定性分析相结合原则。设计的绩效评价指标如果有数量，要进行定量分析，不能用数量计量的，要进行定性分析，定量分析和定性分析相结合。（6）激励性与导向性原则。指绩效评价指标应体现激励与导向的原则，评价指标的设定要满足导向性目标，绩效评价要以绩效目标为风向标，通过评价结果的反馈，激发科研团队的创新积极性，促进科研创新能力的提升。
　　（二）基于大数据背景的基础研究项目绩效评价流程
　　如图1所示，基于大数据背景的项目绩效评价应贯穿于整个项目的全过程，做到事前、事中、事后的全过程控制。（1）项目立项申报时，主管部门应在申报书上明确设定绩效目标的指标，项目申请单位应按设定的指标填写，项目立项评审时应对绩效目标的可行性、合理性、必要性等进行评审。（2）项目执行过程中分年度或中期进行绩效目标监控，周期长的项目可以分年度进行监控，绩效目标监控有利于及时发现项目执行中出现的问题，及时督促整改，对于无法整改或完成的项目可以及时进行调整，避免资源浪费。（3）项目结束时要组织绩效评价，对照立项时设定的绩效目标，逐项比较分析差异，并找出原因，以利于项目主管部门提高认识、项目承担单位的研究人员进一步明确未来研究的方向。（4）项目主管部门应组织对预期有后续影响的基础研究项目进行后续追踪评价，可以设定项目结束后3年、5年或10年的长期跟踪，对于后期评价好、社会影响大的项目团队、项目负责人或项目承担单位在今后项目申请时给予优先考虑。 　　（三）基于大数据背景的基础研究绩效评价指标体系
　　与应用类项目不同，基础研究项目关注的是原始性创新和科研人员的创新潜力。基础研究是科研人员长期潜心钻研的高级思维活动，科研人员经过长期的理论或实验研究，有所发现或有所创新，基础研究的直接学术产出形式主要是科学论文。在基础研究绩效评价中学术论文应该是主要的产出指标，尤其要注重学术成果的原创性和国际领先性，同时基础研究应该与国际同行交流学习，获得国际同行的认可，所以基础研究成果绩效的评价应具有国际可比性。
　　1.建立基于大数据背景的基础研究绩效评价数据库平台（见图2）。基于大数据背景的基础研究绩效评价数据库平台是一个综合的、动态的、实时的、全球的数据库平台。具体包括：（1）建立大数据背景的主管部门和项目专家结合的项目库。各主管部门把所有立项的项目在此平台进行公布，所有项目可以按主管部门分类检索，也可以按项目所属研究范畴进行分类，还可以按项目负责人或团组成员进行查询检索。项目库中应同时包含已完成项目的情况和目前在研项目的执行情况，项目完成和执行情况包含项目资金使用等财务信息。（2）建立可以查询全球论文的统一的数据库。可以按照论文作者、论文标题、论文主题、研究内容、发表时间等类别进行分类检索。（3）建立培养人才库。包含团队人员数量和质量状况、培养研究生人员数量和质量状况，可以按照项目负责人进行检索，并对团队人员状况和研究生人员状况进行跟踪检索，甚至能追踪检索到团队人员和研究人员现状，包括职业、研究成果等。（4）建立同行评议的专家库。应建立全球范围的专家库，可以按不同国别分类管理，也可以按照不同学科领域、不同研究方向进行分类管理。
　　2.基于大数据背景的基础研究项目绩效评价指标（见下页表1）。根据基础研究的特点，基础研究项目绩效评价一级指标可以分为产出指标、效益指标、财务指标三个指标。（1）产出指标的二级指标可以分为发表论文情况和培养人才情况。发表论文情况可以从论文发表的刊物级别、论文数量、作者排序、论文引用等四个方面进行定量评价;培养人才情况可以从培养团队人数和研究生人数、质量分别进行定量和定性评价。论文和人才产出指标数可以检索上述建立的基础研究绩效评价数据库平台中论文库和人才库来获得。（2）效益指标的二级指标可以分为项目原创性、创新性、可持续影响三个方面进行定性评价。效益指标可以利用上述基础研究绩效评价数据库平台中的专家库来完成。（3）财务指标可以从资金到位、资金执行、資金使用三个方面分别进行定量和定性评价。每个项目的财务指标数可以通过检索上述基础研究绩效评价数据库平台中的项目库来获得。
　　3.绩效评价指标评价方法。国内外有关绩效评价指标的评价方法很多，主观方法有层次分析法、功效系数法、综合指数法等;客观方法有因子分析法、聚类分析法等。借鉴国内外先进的研究方法和我国应用成功的案例，设计绩效评价模型程序如图3所示。
　　（1）功效系数法。定量指标可以采用功效系数法确定其标准值。对每一项指标确定一个满意值和不允许值，以满意值为上限，以不允许值为下限。计算各指标实现满意值的程度，并以此确定各指标的分数，再经过加权平均进行综合，从而评价研究对象的综合状况。功效系数法的计分公式为：
　　指标得分=基础分+[（实际值-本档标准值）×（上档基础分-本档基础分）]/（上档标准值-本档标准值）
　　功效系数=[（指标实际值-本档标准值）×I]/（上档标准值-本档标准值）+（100-I）
　　定性指标可以通过德尔菲法进行打分，如表2所示。
　　如果是多位专家打分，采用加权平均法，加总每位专家打分，除以专家总人数，得到单项指标的最终分数，其计算公式为：
　　单项指标得分=∑每位专家打分/参加打分专家总人数
　　（2）综合评价。评价指标的权重设置可以通过德尔菲法和层次分析法结合来进行打分，在指标体系确定的情况下，权重的变化直接影响到评价结果的正确性。为表示各指标重要程度不同，要将所有指标再进行权重赋值处理，权数越大表示该指标的影响力或作用越大，反之则越小。综合评价计算公式为：
　　其中：公式中Pj、Pij表示各层次相应的指标权重分值;Aij为各层次的指标，S为综合指标得分。
　　四、结论和期望
　　本文针对基础研究项目的特点，提出了要建立基于大数据背景的绩效评价数据库平台，同时，对基础研究项目绩效评价指标进行了科学设计。目前我国科研项目绩效评价信息库的建设几乎是空白，只有一些各主管部门自己建立的不全面的项目库，对基础研究项目的绩效评价目前也在起步和摸索阶段，因此最为迫切的是利用互联网、云计算、信息化技术建立绩效评价信息数据库平台。只有建立在科学合理的评价指标、全面统一的评价标准之上的绩效评价才是客观公正的，其绩效评价结果的反馈才能起到真正导向和激励作用，从而使评价工作更趋公正与合理，才能真正促进我国基础研究的发展。今后人们对基础研究及其绩效评价的理解与认识也将随着实践的不断深入而逐渐加深。
　　【主要参考文献】
　　[1] 文新三.财政专项资金绩效评价研究[M].北京：经济科学出版社，2014.
　　[2] 田时中，田淑英，钱海燕.财政科技支出项目绩效评价指标体系及方法[J].科研管理，2015，（1）.
　　[3] 刘华海.科研项目绩效评价模型和指标体系的构建[J].科研管理，2016，（4）.
　　[4] 李保婵.财政资金绩效评估中的效果性评估研究[J].商业会计，2012，（6）.
转载注明来源:https://www.xzbu.com/2/view-15107667.htm