搜索引擎评价指标体系比较研究

来源:用户上传      作者:

　　[摘要]针对目前搜索引擎评价指标体系研究现状，在对国内外几个核心学者和国内若干篇较新文章的搜索引擎评价指标体系进行介绍，并对研究内容及其侧重点进行对比的基础上，总结当前我国评价指标体系研究的特点，提出对指标评价体系的发展展望。
　　[关键词]搜索引擎　评价指标体系　特点　发展
　　[分类号]G354.4
　　1　引言
　　
　　据CNNIC第21次中国互联网调查报告数据显示，中国目前2.1亿网民中，经常使用搜索引擎的人数高达72.4％，他们日常生活信息有70％以上是通过网络获得的。
　　在信息爆炸的今天，互联网海量信息需要经过筛选进入人们的视野，从传播学角度讲，需要一个信息把关人的角色，将海量信息分类、汇总、准确地传输到需求者面前；从网络功能讲，没有任何互联网工具比搜索引擎更适合这个角色了。
　　有需求，自然就会产生市场。网络巨头纷纷把利润中心转向搜索引擎市场，除了google、baidu、yahoo!等专业搜索机构，甚至连sina、sohu等门户也开始介入搜索引擎领域，一时间，搜索引擎成为网络经营公司的重要产品。搜索引擎评价指标体系，为我们提供了一个了解、分辨、选择搜索引擎的学术标准，充分了解分析这个指标体系，是我们研究搜索引擎的首要条件。
　　
　　2　评价指标体系分析
　　
　　　本部分主要对国内外几个核心学者的评价体系进行对比分析，并且结合若干篇较新的论文中的评价指标，讨论它们之间的区别和继承性，并总结当前搜索引擎评价指标体系研究的重点与不足。
　　
　　2.1　Lancaster评价指标体系
　　1973年，美国学者Lancaster和Fayen曾列出6项衡量信息检索系统的评价指标：覆盖范围、查全率、查准率、响应时间、用户负担和检索结果输出格式。这是传统书目联机检索的评价指标，显然，他们当时无法考察目前复杂网络检索甚至搜索引擎的检索情况，但已经从技术以及用户需求方面给后来者们建立了一个基本框架，奠定了从技术和用户角度出发的搜索引擎评价指标体系发展方向，随后的许多评价体系都是按照这个脉络建立的。这个评价指标体系从检索源、检索效果、检索输出以及用户使用角度考虑了信息检索系统可能的评价点，并强调了检索输出格式的重要性，这与书目联机检索特点是分不开的。这套体系并未预料到若干年后网络条件下的检索源复杂度、检索技术多样性和用户要求，所提出的评价指标可以作为目前搜索引擎评价指标体系的基础评价指标。
　　
　　2.2　Heting Chu、Marilyn Rosenthal评价指标体系
　　Heting Chu、Marilyn Rosenthal在对Alta Vista、Excite和LyCOS三个搜索引擎进行比较研究之后提出应该从标引、检索能力、检索效果、输出和用户负担方面评价搜索引擎。Alta Vista、Excite的特点使得研究者注意到了搜索引擎检索中标引水平和检索能力的重要作用。可以看出，搜索引擎评价指标体系的发展，是同搜索引擎技术的发展分不开的，随着搜索引擎检索能力的提高，其评价指标体系也开始逐步丰富扩展，直接针对核心新技术产生了相应的评价指标体系。
　　
　　
　　2.3　Bar-Ila评价指标体系
　　Bar-Ila提出应从数据库覆盖范围、查询响应时间、用户所需努力和检索效果来评估搜索引擎的性能。国外搜索引擎评价研究最主要的一个特点是强调“人性化”。因此，他们在确定评价指标的过程中，在充分强调检索效率重要性的同时，常常把用户负担放在第一位。与Lancaster评价指标、体系相比，这个指标体系没有本质的增加，但是将查全率以及查准率作为检索效果进行描述，是搜索引擎评价指标系统化思想的一个体现。
　　
　　2.4　曾民族综合评价指标体系
　　1997年，国内学者曾民族在综合国内外搜索引擎评价研究成果的基础上，提出了以下6类评价指标：数据库规模和内容、索引方法、检索功能、检索结果、用户界面、查准率和响应时间。
　　这套评价指标，是在考察当时网络信息资源特点、网络查询工具、www查询引擎、网络自动检索技术和Internet搜索引擎实例，并总结已有国外搜索引擎评价研究成果的基础上提出的，是对当时研究领域与搜索相关的各项技术指标的整合，具有较高的理论覆盖度和理论价值。但是，因为目前没有搜索引擎可以做到集成最新索引、检索技术、用户服务，所以这套评价指标体系只能作为一个综合备选库，而实际对某些搜索引擎进行评价时，可以从这个指标库当中抽取需要的指标进行组合。
　　需要注意的是，曾民族对传统检索效果部分没有统一指明，而是在第六点的其他部分点出查准率和响应时间，是由其对目前网络条件下信息资源特点的分析所得出的。曾教授认为：“信息源分散、无序、更迭、消亡无法预测。信息源的无政府状态迫使人们更改相关性判断的概念和标准。用户无法判断网上有多少信息同自己需求有关，查全率等检索评价标准需要重新定义。”建立在目前网络信息源巨量化、分散、无序、不可预知的基础上，资源总量已经无法确定，所以查全率也就不得而知。笔者认为，面对全网络的搜索引擎检索，查全率之说固然不现实，但许多专业领域搜索引擎评价中，查全率也是一个非常重要且实际的指标，鉴于曾教授对整个网络资源进行评价指标体系设计，不考虑查全率也无可厚非，但对于具体的搜索引擎实例，查全率理应成为评价指标体系的一部分。
　　
　　2.5　宛玲等提出的10种评价指标体系
　　宛玲等在《试析中文搜索引擎的评价标准》一文中，提出了10种中文搜索引擎的评价指标，分别是：收录信息范围、反馈的信息量及内容的准确性、反馈的查询结果错误率、报道与内容更新速度、检索性能、响应时间、检索界面友好性、精品推荐、与其他搜索引擎的友情链接、系统性能、点击率、附加功能等。
　　这套指标除包含数据库规模、检索性能、检索效果、用户界面等类型指标之外，还强调了精品推荐、与其他搜索引擎的友情链接、系统性能等与用户使用相关的方面，这是国内搜索引擎评价指标研究的一个提高，在领悟国外强调“人性化”的基础上，将用户使用体验列为搜索引擎评价的重要内容。
　　随着web使用技术的提高，web用户服务意识不断增强，其对搜索引擎的使用已经不简单局限在技术要求上，“人性化”要求也越来越多，精品推荐、友情链接等服务内容也开始出现，将其作为搜索引擎评价指标来研究具有很大的创新意义。就这篇论文的评价指标体系来说，似乎有过于强调用户体验的嫌疑，前几种评价指标没有进行很好的体系构建，过于松散和用户化。
　　
　　2.6　韩圣龙关于查准率的改进
　　韩圣龙在《网络信息检索工具评价指标》一文讨论了网络信息环境下传统的信息检索评价指标体系遇到的困难，并在介绍“相关性范畴”和“命中记录查准率”概念后对查准率公式作了改进。查准率仍旧是搜索引擎评价指标体系

的核心，查准率的提高直接反映出搜索引擎的性能，仍旧是当今学者研究的热点。
　　文章结尾部分补充了对输出格式的灵活性、数据更新频率、链接的可靠性和用户界面友好程度4个方面的展望，也充分说明了当前学者对用户体验指标重视程度的提高。
　　
　　2.7　刘伟成关于元搜索引擎评价的研究
　　刘伟成在《元搜索引擎性能评价体系研究》一文中提出关于元搜索引擎一些主要性能的评价指标。由于元搜索引擎不同于单个搜索引擎的特点，关注搜索范围和结果显示是元搜索引擎评价的一个重要方面。元搜索引擎缓解了web数据的增长对单个搜索引擎索引网络数据收集速度的影响，在覆盖率方面有着明显的优势，评价元搜索引擎的搜索指标，覆盖范围必不可少。从使用角度讲，元搜索引擎的搜索功能和效果特点不是非常突出，检索控制与提问功能则是需要注意的。此外，检索结果的输出及用户界面是元搜索引擎评价的另外一个重点，对比单个搜索引擎来说，由于元搜索引擎没有非常强的核心技术，其用户体验评价变得重要起来。
　　
　　3　评价指标体系研究特点及发展
　　
　　从以上7种评价指标体系的介绍不难看出，搜索引擎评价指标体系的发展是一个指标内容逐渐丰富、指标性质逐渐商业化的过程，见表1。
　　在众评价指标体系中，检索能力(查全率、查准率)、用户负担、检索结果都是作为核心指标出现的，是对搜索引擎基本功能的描述，代表了搜索引擎评价的最低要求。用户体验评价是近年来搜索引擎评价指标发展的一个特点，在搜索引擎功能发展到一定阶段的同时，能否使用户获得优良的使用体验，成为目前搜索引擎商业化成功与否的重要评价指标。
　　总体来说，我国搜索引擎评价指标体系的发展，建立在综合国外研究成果的基础之上，并结合了我国搜索引擎的现状是综合并呈一定体系的发展过程。一方面，沿用了国外评价指标发展重技术、重用户的特征，在体系建设具有全面、丰富的特点，形成了全面建设加专攻一面的发展格局；另一方面，显示了搜索引擎商业化发展对相关研究的影响。精品推荐、点击率、附加功能、链接可靠性等评价指标的出现，要求研究者们更需要注重用户体验层次上的商业效益。
　　就目前发展状况来看，评价指标体系已经较为成熟，但还存在以下问题：
　　
　　3.1　技术主导
　　目前国内学者的研究，多数是从检索性能和效果方面重点建立指标评价体系。对搜索引擎检索功能的评价文章颇多，对检索效果方面也有更为深入的研究，而且日渐成熟。查全率、查准率是技术评价的核心，如何能使搜索引擎全面、准确地反馈网络信息资源，将是长盛不衰的主题。
　　检索功能的特点越来越突出，内容越来越丰富。从布尔检索、关键词判断到概念检索、上下文关键词的评价，反映了搜索引擎技术日臻成熟，其评价指标也越来越全面。但随着技术的发展，搜索引擎的未来不得而知，所以检索功能评价指标也有着很大的发展空间。
　　
　　3.2　系统化研究
　　评价指标系统化、体系化是促进研究全面、健康发展的重要手段。搜索引擎的评价指标之间是存在联系的，是一个和谐、功能互补的整体，关注他们之间的联系要比关注评价点本身更有意义。
　　搜索引擎评价指标体系的建立，主要遵循了从覆盖范围到技术核心，由检索结果到用户体验的信息传递流程。在某个小范围的指标族当中，也有着很强的体系关系，研究这些体系关系，对于原有指标的修改、新指标的提出乃至整个指标体系的发展都有着重要的意义。
　　
　　3.3　重视用户体验
　　国外搜索引擎评价研究最主要的一个特点是强调“人性化”。在确定评价指标的过程中，充分强调检索效率重要性的同时，常常把用户负担放在第一位。
　　随着用户服务意识的提高，关注用户负担已经远远不能满足用户使用搜索引擎的需求，还需要增加用户体验。
　　
　　3.4　品牌评价有待提高
　　笔者认为，在建立现阶段搜索引擎评价指标体系的同时，不妨引入“品牌”概念。在经济高速发展的今天，搜索引擎已经不单单是一项技术研究，更是一款有着广大用户知名度的产品，“品牌忠诚度”、“品牌美誉度”完全可以成为搜索引擎评价指标体系的借鉴，毕竟，衡量搜索引擎产品的好坏，用户的评价才最关键。
　　品牌对于一个网络产品的作用是不言而喻的。首先，品牌能够帮助搜索引擎吸引用户和保留用户，用户的使用和回馈又成为搜索引擎品牌积累的成本；其次，品牌效应能够使搜索引擎的地位得到提升，这已经不是搜索功能能够做到的了，一个好的搜索引擎的成长，不仅需要具备良好的搜索功能，更需要强势的业界地位，良性的压力才能促进其发展；再次，品牌是搜索引擎产品覆盖率的象征，随着社会经济化、产业化的发展，品牌的效用会越来越突出，一个成功的、强势的品牌也将成为搜索引擎评价的一项重要指标。
　　
　　4　小结
　　
　　技术、用户是计算机技术产品市场化始终需要面对的两个问题。搜索引擎的发展，是从用户需要开始的，经历了长时间的技术研究，并最终实现搜索引擎产品，得到市场推广，接着，由推广效果得到改进意见，进而优化产品，再推广。在这个过程中，搜索业界的学者开始对搜索引擎评价研究，目的是给搜索引擎的发展提供一套系统化、科学化的参考意见。
　　搜索引擎评价从搜索对象出发，历经搜索功能、搜索效果、搜索结果评价最终到达用户层面，这个过程，就是搜索引擎评价指标体系的基本框架。可以说，现阶段搜索引擎评价体系已经颇为成熟，至少在短时间内，整个体系的提高多数只是小范围的修修补补和某个具体指标新技术出现所带来的评价指标的变化，搜索引擎评价指标体系的发展已经变得全面而趋稳。
　　搜索引擎，归根到底是为用户提供服务的，其评价指标体系的各个方面，都是试图给用户提供更好更优秀的检索结果。如何能让用户更简单、更迅速、更准确的获取所需要的信息，才是搜索引擎评价的重点。搜索引擎用户评价指标的发展，不仅仅要从系统功能和用户需求角度出发，还需要考虑社会化需求的各个方面，在结合搜索结果、用户需求和社会文化影响等层面的要求下做出合理的、系统化的用户评价指标。

转载注明来源:https://www.xzbu.com/1/view-154439.htm