科技查新机构评价指标体系研究

来源:用户上传      作者:

　　[摘要]从查新报告评价和查新机构评价两个方面对我国科技查新评价研究的现状进行了综述。从查新委托人、查新机构和科技管理机构的角度论述了科技查新机构评价的意义。从现实需求出发，通过问卷调查和专家调研，构建了由文献资源、人力资源、查新设备、内部管理、科研和奖励、查新业务等六大类指标构成的科技查新机构评价指标体系。
　　[关键词]科技查新机构　评价　指标体系
　　[分类号]G251
　　
　　1　前言
　　
　　科技查新是指查新机构根据查新委托人提供的需要查证其新颖性的科学技术内容，按照《科技查新规范》操作，并做出结论。其中，新颖性的判定是科技查新工作的核心任务，它是指在查新委托日以前查新项目的科学技术内容部分或者全部没有在国内外出版物上公开发表过。科技查新是在我国科技管理体制改革的过程中诞生、成长并发展起来的信息咨询活动，它在科技立项和验收、科技成果的鉴定和评价、科技奖励评定、技术引进等科技活动中扮演着“把关人”的角色，为促进我国科技资源的合理配置起到了重要的作用。20多年来，我国的科技查新工作不断发展，科技查新机构不断增加。仅教育部系统的科技查新站已经达到67家(包括2009年认定的第四批科技查新站10家)，2007年已完成查新项目17 536项。应该说，科技查新工作为我国的科技管理事业做出了巨大贡献。但是，还应当看到，我国的科技查新机构分属于不同的管理系统，不同系统对科技查新机构的认定标准、考核要素和管理办法等都各不相同，这从客观上导致了各查新机构的质量参差不齐，不利于整个科技查新行业的发展。本文将本着促进科技查新事业发展的出发点，对科技查新机构的评价指标体系进行研究。
　　
　　2　科技查新机构评价研究的现状和意义
　　
　　科技查新机构是科技查新业务的承担者，它凭借自己所拥有的专业人力资源、信息资源、设备资源等实施科技查新活动，科技查新机构水平的高低直接决定了科技查新质量的好坏，也间接影响着科研活动和科技管理活动的效果和效率。因此，规范并引导科技查新机构的发展是促进科技查新活动发挥最大效益的重要前提。设计合理的指标体系并对科技查新机构进行评价，能够为科技查新机构的发展树立一个标杆，辅助它们有针对性地发现并改进自身存在的问题，进而促进科技查新咨询行业的发展。
　　
　　2.1 我国科技查新机构评价研究现状
　　科技查新的最终结果体现为查新报告，科技查新的质量也主要通过查新报告体现出来。因此，对科技查新报告的评价成为了相关评价研究的重点。比如，姚宝卿提出了由检索技术水平、检索文献的选用水平、文献分析水平和报告撰写水平组成的科技成果查新报告质量评价体系；杨传瑞构建了由文献检索质量和报告质量构成的查新咨询质量体系，其中，报告质量由对比分析质量、结论质量和表述质量构成；张凌等人则研究了利用查新工作过程中各参数、指标之间的相关性来评估查新报告总体质量的方法。应当注意的是，查新报告的结构能够在一定程度上规范查新工作的实施，但是查新报告的内容仅是某一次查新结果的反映，很难从根本上反映一个单位的查新水平，对查新报告的评价也就很难推动整个查新质量的提升。因此，只有从查新机构的角度人手进行评价，才能从根本上推动查新的发展。
　　对于科技查新机构的评价，目前的研究集中在两个方面。一方面是对科技查新质量影响因素的研究，这类研究从查新工作本身的质量入手，探讨了查新质量的决定因素，比如杨锦春研究了文献支持条件、检索手段、查新人员的素质、查新用户配合、文献检索、报告撰写、报告审核等影响查新质量的因素及存在的问题。同类研究已经超出了对查新报告和检索结果的评价，逐渐扩散到了相关的支持条件。另一方面是对查新机构评价指标体系的研究。但是，从科技查新机构本身的软、硬件条件，以及工作成效人手建立的成型的评价指标体系还不多，只有卫生部系统的刘俊立等人基于对医药卫生科技项目查新咨询单位的查新咨询工作现状进行评估，制订了由领导重视程度、人员素质、文献资源、管理、工作效益、科研和奖励七大类指标构成的评估标准，其研究成果的应用范围主要在医药卫生科研和管理领域。
　　
　　2.2　科技查新机构评价的意义
　　随着科技自主创新战略的实施，我国从中央到地方对科技创新的投入不断增加，如何保证科技资源取得预期的效果，提高资源的使用效率，是我国科研人员和科技管理者共同关注的主题。科技查新作为一种客观的评估方法，能够在科研立项、中期评估、课题验收、科技成果鉴定和转移等诸多环节为科技管理提供充分的文献支撑，辅助进行科技资源的配置决策。科技查新机构的水平是科技查新结果质量的根本决定因素，对科技查新机构进行评价，有利于引导查新机构不断提升自己的水平，同时，评价结果又能为查新委托人和科技管理机构提供决策依据。
　　2.2.1 为查新委托人选择查新服务机构提供标准科技查新的委托人一般是从事科技项目的科研机构或企业，对于科研立项、中期评估、课题验收等相关的查新项目，其主要需求是对项目的新颖性进行评判，防止将科技资源投入到重复的科研项目中，或者对项目的阶段性研究成果进行客观评价，以继续追加投资或者中止项目的执行。为了保证查新的质量，从而提升项目选择和执行的水平，查新委托人必须寻找文献资源丰富、查新队伍强大、查新设备先进的查新机构进行委托查新。对科技查新机构进行评价能够为委托人比较和选择高水平的查新机构提供标准。
　　2.2.2 为科技管理机构规范和引导查新机构的发展提供参考随着科技查新机构的增多、查新队伍的日渐庞大以及科技查新活动在科技管理活动中“把关人”角色的日益突出，规范和引导科技查新机构和整个科技查新行业的良性发展，是科技管理机构的一大重要任务。在这个规范和引导的过程中，科技管理机构需要发掘高水平的查新机构，对其优秀的经验加以推广；发现低水平的查新机构，辅助其有针对性地改进查新方法、手段和条件；筛选出不合格的查新机构，推动其整改，甚至将其清除出查新队伍。制定客观的评价标准，对各查新机构进行客观评价，能够从评价指标和整体评价结果两方面为科技管理机构提供参考。
　　2.2.3 为查新机构发现和改进自身存在的问题提供方向评价的核心目的不是为了纯粹的管理，而是辅助和推动查新机构和整个查新行业的发展。评价的总体结果能够帮助查新机构认识自己在整个查新行业中所处的位置，客观地认识自己的水平；评价的各项指标能够为查新机构树立发展的标杆，有针对性的发现和改进自身存在的问题。因此，评价对于科技查新机构自身的发展来说更具指导价值。
　　
　　3　科技查新机构评价指标体系的构建
　　
　　科技查新机构评价指标是基于对科技查新机构的职能、查新质量的影响因素等的客观分析而总结和提炼出来的，指标体系的先进性取决于研究方法和思路

的合理性。本研究结合理论分析、问卷调查和专家调研等方法对评价指标体系进行了系统调研，并使用层次分析法确立了合理的指标权重分配。
　　
　　3.1　研究方法
　　为设计出一套合理而又完善的评价指标体系，笔者采用了头脑风暴法、专家调查法等方法进行研究。预先给出一定的评价指标，经专家评议不断补充与完善，逐步形成综合评价指标体系，再采用定量的方法将评价指标进行量化处理，研究思路和方法如下：
　　・在理论研究的基础上，确定评价的目标及评价客体的特质，形成研究思路的同时对专家进行预调研。在预调研的基础上采用头脑风暴法分析科技查新机构评价体系的构成，初步确定科技查新机构的评估指标，设计科技查新机构评价指标体系的整体结构。
　　・根据预研结果，设置指标体系调查问卷，该问卷中设定了“资源”、“人员”以及“其他”等8个一级指标，“文献”、“数据库”、“期刊”等近30个二级指标以及“文化程度”等若干个三级指标。以此问卷为提纲，对我国科技查新研究专家、查新用户以及查新工作一线的查新人员、管理人员以及审核人员进行调查，广泛地征求意见。通过对调查结果的整理和归纳，确定科技查新机构的评价指标，在对评价要素进行分析的基础上，对各指标的相对重要性形成初步的认识。
　　・针对构建的评价指标体系，运用层次分析法，建立层次分析模型，对评价指标的相对重要性进行专家调研和数据分析处理，最后确定了各指标的权重。
　　
　　3.2　调查结果概况
　　本次调查共回收52份问卷，其中有效问卷46份。在调查结果中，被调查者给出了一些有价值的修改意见，包括：
　　・一级指标“管理情况”中的二级指标“是否具有法人资格”一项，普遍认为这是评价的基本条件，不具有评价意义，建议删除。
　　・一级指标“技术设备及经济情况”中的二级指标“局域网”范围过窄，建议改为“国内外网络访问”。
　　・一级指标中的“领导支持情况”下无二级指标，建议将其归入一级指标“管理情况”，成为其二级指标。
　　・二级指标“人员”中的“人员比例”一项，认为概念模糊，建议改为“人员结构”。
　　・二级指标“人员能力”一项中的能力判断，主观性太强，不具备操作性，建议删除。
　　・二级指标“管理机制”，概念模糊，建议删除。
　　・三级指标中的“文献”，多份问卷认为，专利、成果、标准、会议录等期刊论文以外的文献对查新工作非常重要，应该添加“其他类型的文献”项。
　　
　　3.3　研究结果暨科技查新机构评价指标体系
　　依据问卷调查、专家调研的结果，在汇总各项修改意见的基础上，笔者对原有指标的体系结构、指标构成和指标的表述方式等进行了修改完善，并最终形成了包含3个层次，由6个一级指标、17个二级指标和14个三级指标构成的科技查新机构评价指标体系，如表1所示：
　　
　　分大类对本指标体系概要描述如下：
　　・文献资源建设情况。科技查新是以文献检索和分析为主要手段的信息咨询服务活动，因此，查新机构文献资源的学科相关性、文献覆盖时间和类型的完备性、检索工具和手段的先进性等都是影响查新质量的首要因素。从科技文献的载体形式和传播途径来看，期刊、工具书、网络数据库、联机检索系统等都是查新机构文献资源建设的必备内容。随着互联网的普及，各类纸质文献已经被电子化，联机检索系统更多地转换成网络数据库提供服务，这些文献类型在科技查新资源建设中已经不是重点，可以通过指标的权重予以区分。
　　・人力资源建设情况。在文献资源建设的基础上，查新专业人员又是查新工作的另一大要素。首先，文献的检全率、检准率、文献对比分析的深度、对查新项目内容的理解程度等都是影响查新质量的重要因素，这就要求查新人员在查新检索经验和技能、学科专业知识、外语水平等方面有充足的储备，以应对查新环境的变化；其次，查新工作的项目分析、文献检索、综合分析、报告撰写等环节都是相对固定的，每个查新项目所需要的时间也相对固定。查新机构必须根据自己的查新业务量，配备充足的查新工作人员，以保证每个查新员都有充足的时间来完成每一份报告，从而保证查新报告的质量。
　　・查新设备保障情况。信息技术的发展导致计算机和网络已经成为了人们的日常办公工具和信息获取渠道，科技信息资源也逐渐以网络为主要传播途径。因此，信息基础设施的建设也是查新机构的工作内容之一。从满足查新工作需求的角度来看，计算机的配置和对国内外网络的访问是查新机构必须提供的查新设备保障。
　　・内部管理环境建设情况。在充足的文献资源、人力资源和查新设备保障的基础上，查新机构必须有完善的内部管理规章制度将这些要素有效整合起来，以最高的效率对外提供服务。同时，为了保障各项工作的顺利实施，来自领导的大力支持也是提高查新机构的查新水平的重要条件。
　　・科研和奖励情况。随着信息技术和网络技术的发展，科技信息资源的载体、形态、传播途径和方式等都在发生剧烈的变化，为了保证查新的质量并促进查新工作的可持续发展，查新人员必须不断地加强学习和研究工作，适应变化着的查新环境。可以从相关学术论文的撰写和科研项目的研究来衡量查新机构整体的学习和适应能力。
　　・查新业务情况。如果说前述5类指标是查新机构水平的内在决定因素，那么查新业务情况则是其外在表现因素。可以从机构查新流程的规范化程度、查新业务量、查新报告撰写的质量等方面对查新业务情况进行衡量。
　　本研究构建的指标体系是专家对科技查新机构进行评价的一个客观依据，为了明确指标的考核标准，我们对每一项指标都做了进一步细化的描述。以规章制度为例，它是指查新机构的规章制度是否健全，包含的内容有委托制度、用户须知、工作流程、岗位职责、人员培训制度、质量保证和监督制度、保密制度、档案管理制度、反馈制度、收费制度、收入分配办法、奖惩办法等。结合查新机构的汇报和实地调研，专家在对这些细节内容有了了解之后，就可以对该指标进行评分。工作人员根据各级指标的权重分配，进行加权求和，就可以得出查新机构的整体评价得分。
　　
　　4　总结
　　
　　本研究从各种专业性和综合性的、中央和地方认定的科技查新机构的共性出发，制定了具有普适意义的评价指标体系，为科技查新机构的评价提供了一个客观的框架。针对不同的专业和服务对象定位的查新机构，在考核时可以对指标的内容做出一些具体的要求。目前，该指标体系已经在教育部等各个部门的科技查新机构认定、考核和评价中得到了广泛的应用，产生了良好的经济效益和社会效益。

转载注明来源:https://www.xzbu.com/1/view-153899.htm