可视化应用的评估方法研究综述

来源:用户上传      作者:刘合翔

　　摘 要：[目的/意义]可视化是新形势下信息服务的一种普遍技术需求和应用趋势，而如何更好地运用这一技术就涉及对技术本身及其用户效用的考察与评估。[方法/过程]本文通过回顾相关研究及实践中对其可视化应用的评估方法，分别从理论运用、方法路径、评估任务、评估维度及指标等几个方面进行了梳理与分析。[结果/结论]研究发现，目前可视化应用评估中采用的方法已比较多元，但多数评估仍主要以实验方法为主，评估的效用多以认知为主，可视化的情感效用与社会效用少有探讨及测度，缺少评估的通用框架和用于评估的标准（任务、数据）测试集。而这些方面也相应地为可视化应用的评估提供了进一步创新实践的机会。
　　关键词：可视化;应用;评估方法;评估任务;评估维度;评估指标;综述
　　DOI：10.3969/j.issn.1008-0821.2020.04.017
　　〔中图分类号〕G252 〔文献标识码〕A 〔文章编号〕1008-0821（2020）04-0148-11
　　Research Review on Evaluation Methods of Visualization Application
　　Liu Hexiang
　　（School of Media and Design，Hangzhou Dianzi University，Hangzhou 310018，China）
　　Abstract：[Purpose/Significance]Visualization is a general technical requirement and a trend of information services in the new situation，and better utilizing of this technology depends on investigation and evaluation of its utility.[Method/Process]From aspects of theory employing，assessing ways，task，dimension and index of evaluation by reviewing relevant researches and practices.[Result/Conclusion]The methods used in the assessment of visualized applications were quite diverse，but most of the evaluations were mainly based on experimental methods.The utility of the assessment was mostly about cognition.Emotional and social utility were rarely discussed and measured.There was a lack of an assessment generic framework and standard test set（of task，data）for evaluation.Corresponding to this，there were many opportunities for innovative practices in the evaluation of information visualization applications.
　　Key words：visualization;application;evaluation method;evaluation task;evaluation dimension;evaluation indicator;review
　　在當前信息服务的主体越来越多元化，信息服务开始高度竞争化的形势下，信息用户对信息服务提出了有别于和高于传统信息服务的要求。而其中的一点就是在信息简单传递和信息的定题研究之间，延伸出一类新的服务方式：尊重用户自身的信息研判能力，通过提供有效的信息解读辅助，提升用户自身解读信息的效能。而对于信息的辅助解读最有效的莫过于利用人类高效的视觉认知通道和视觉处理能力来进行信息的可视化。而要确保这一技术手段能得到有效的运用，就需要通过对可视化工具能力的评估和可视化应用后的用户效用评价来为可视化应用的持续改进提供依据。
　　本文首先通过检索主题相关的研究，选择研究的样本集，在相关研究变量中选择理论运用、方法路径、评估任务、评估维度及指标4个方面来考察、梳理与比较，最后形成一个以这4个变量为主体的信息可视化应用评估方法的参考框架。
　　1 可视化评估相关研究概述
　　国内相关研究中，通过对“可视化AND（评估 OR 评测 OR 评价）”等关键词组合的文献检视，结果文献中大多数是研究如何将可视化作为评估的手段应用在特定领域，而将可视化工具本身及其用户效用作为评估对象的研究则较少。国内针对这方面的典型研究有：陈为[1]对可视化测评的相关研究中评测流程、方法和影响因素的梳理总结;杨峰等对评价信息可视化技术的指标研究[2]和信息可视化显示效果优化的研究[3];吴莎莎等[4]对信息可视化技术可用性分析的框架设计与案例检验;冯小琴[5]对信息检索可视化的评价标准研究;张会平[6]对可视化的知识转化效用假设的实证研究;王辉等[7]对图书馆可视化系统效用的测试研究;邱玲玲[8]对可视化教学效果的实证研究等。
　　而通过“Visualization AND（Evaluate OR Assess OR Measure）”检索的外文文献相比较而言，针对可视化本身及其效用进行评估的研究则较为普遍。评估类研究也被归结为可视化研究中几大类别中的一类[9]。由于可视化连接的是以机器为中心的过程（如算法和技术）和以人为本的过程（如人类认知、交互、情感和沟通），因此可视化的评估通常围绕这两个方面来展开。此前的研究中以可视化技术和算法的评估居多，而近期针对用户的表现与反馈，评估可视化对其工作实践和分析推理能力改进的研究已有稳步的增长[10]。 　　尽管已经有各种各样日渐成熟的可视化技术，但针对不同的应用情境还需要对其进行特定的评估，以确定所选技术在特定场景下是否有用、可用与实用。相比评估结论的差异性与多样性，其评估的方法更值得归纳与总结。不同的评估方法也反映了不同研究者的偏好和对不同情境下方法适用度的判断。
　　2 可视化应用评估中的理论运用
　　理论与模型的借鉴是开展各领域研究的一种常用方法，站在成熟的理论与模型的基础上，可以让相关研究能够快速构建思考框架，同时对原有的理论模型做适应性检验和进一步地提炼与延展。
　　在涉及可视化应用评估的研究中，部分研究运用了一些理论模型来思考研究主题并构建研究框架，涉及的相关研究及其要点按其发表年份列举如下：
　　由以上提及的理论可以看出，可视化应用评估的相关研究中运用的理论来自于HCI、认知科学、设计学等多个领域。然而，相比涉及可视化应用评估研究的数量，运用相关理论来开展评估的仍然属于少数。事实上，在目前相关研究中，理论的运用并未成为一种自觉，运用理论的范围与深度也很有限，很多有价值的可参考理论，如信息空间理论、信息服务理论等未能被应用到可视化应用的评估上来，而这也为未来相关研究提供了进一步开展理论探索的空间。
　　3 可视化应用评估中的方法路径
　　关于可视化应用评估的方法，有一些研究总结了其不同的方向类别。例如Munzner T[9]总结的可视化应用评估股方法主要有两类：1）在实验室环境中进行用户研究，使用明确或抽象的任务，在时间和准确性方面进行定量测量，运用统计学方法进行分析，发现显著影响因素和因素之间的相互作用;2）开展现场研究，将可视化应用在目标用户的现实环境中，时间跨度通常为数周或数月，开展定性与定量测量。Plaisant C[20]则是将可视化应用的评估方法分为4类：控制实验比较设计元素，工具的可用性评估，比较两个或更多工具的控制实验，以及在现实环境中对工具进行案例研究。而Carpendale S[21]将可视化应用的评估方法从精准性、通用性和现实性的3个维度进一步扩展为：实地研究、实地实验、实验室实验、实验性模拟、判别研究、抽样调查、理论研究、计算机模拟8个类别。
　　基于对相关研究中方法选型的梳理以及参考前述的这些研究中的分类，本文认为可视化应用评估的方法总体可划分为3个大类：客观评估、主观评估与综合评估。
　　在客观评估的有关方法上，最常用的就是对照实验及观察法。Saraiya P等[22]认为可视化应用的评估就主要是在对照实验研究中评估用户对预定任务中的表现。而对于实验的方法，其基本的逻辑是：控制独立变量如工具、任务、数据和参与者等，依赖变量主要是准确性和效率。其中准确性包括精确度、错误率、正确和不正确响应的数量，而效率包括完成预定义基准测试任务的时间。而在实验和传统的观察方法之外，目前已有研究延伸了可视化应用评估的技术手段和方法形式，例如Chen X等[23]设计和实践了一个量化可视化所形成心理负载，并对用户偏好持续考察的在线评估。评估运用基于脑电波、眼動跟踪及日志等手段记录的数据进行了融合性的分析。
　　在主观评估的有关方法上，有很多研究者采用了有别于客观评估的形式与方法，以弥补可视化应用评估中客观评估方法的不足。例如Tory M等[24]就反思总结实验评估方法的弊端和不足，例如实验评估的成本、深度以及所适用的阶段等，通过与实验评估的比较，论证了专家评估方法的有效性。Zuk T等[25]认为启发式评估（基于既有经验规则的探索式评估）在可视化应用评估上使用得还不够，并总结整理了有关研究中可供参考的经验规则。Kennedy H等[26]则是在其可视化应用评估中尝试运用了多焦点小组访谈的形式，将小组分为对视觉表达有兴趣组、对数据有兴趣组、外地域组、特定族裔组、主题兴趣组、主题涉及组、无兴趣组、各组代表构成组等多类小组。
　　随着前述一些主流的评估方法的运用，不少研究者对传统评估方法的有效性提出了疑问与批判，认为可视化应用的评估应当结合客观与主观评估的方法，参考借鉴有关的理论，综合更多的一些现实因素进行考量。
　　偏综合性评估的相关研究中，Shneiderman B等[27]在回顾可视化应用的评估方法后提出评估可视化需要引入“多维深度长期案例研究”。其中多维是指使用观察、访谈、调查以及自动记录来评估用户绩效和界面效能;深入是指将专家用户转变成合作伙伴，深入、互动地开展研究;长期是指纵向研究，从特定工具的使用培训开始，观察用户的策略变化;案例研究是指在正常的环境中对用户向工作人员详细报告的有关问题进行分析。而Reda K等[18]发现大多数的可视化实证评估都是针对结果，而极少评估其中的用户过程，并针对这一问题以探索性可视分析为例构建了一套强调过程评估的评估方法。Isenberg P等[28]还认为可视化应用的评估在可视化产品开发生命周期的前期就应该进行，进而提出一种质性评估方法，判断可视化是否符合预期的使用情境，并通过评估来促进可视化设计的优化迭代。
　　而针对当前的可视化应用评估方法中存在的一些普遍问题，有关研究提出了方法批判，例如Andrews K[29]认为：评估的新的可视化界面不够成熟，在与成熟可视化界面比较时存在成熟度上的劣势;选择的测试用户不具有代表性;测试用户对可视化界面学习周期影响的考虑不够;测试任务设置简单，缺少对洞察和探索性任务的测试评估等。
　　更多涉及到以上划分的评估方法，及其应用到的有关研究可参见表2。
　　4 可视化应用评估中的评估任务设计
　　尽管可视化应用评估中采用的方法已较多元化，但目前主流的评估方法仍是以实验方法为主。而由于可视化应用评估的实验针对的具体目标往往不同，评估的对象各异，场景也不一，因此实验设计中的样本规划与流程安排必然是高度情境依赖的，相比较而言，评估实验中的任务设计则借鉴意义更大，因而本节重点考察的是相关评估实验中的任务设置。 　　表3是对涉及相关任务的研究梳理，可以看到在Keller P等[39]列举了可视化应用评估的一些常见任务后，后续许多研究在其基础上提出了扩展的评估任务，进一步细化和丰富了可视化应用评估可选的任务集。而这里列举的各研究涉及的具体任务主要是其有别于其他研究创新或特色的任务。而在陆续提出众多的评估任务后，相关研究也对可视化评估中的任务设计做出了类别与方向的划分，如予知（Inform）任务和使能（Enable）任务[37]，基于理性的任务和基于世界观的任务[38]，目标性任务和支持性任务[12]等，同时也为结构化地任务设计提供了思路。
　　而在多元的实验设计与实验任务背后，这类实验性的评估存在一个显著的问题，即实验与实验之间难于做参照和比较，而这一问题又源于：待评估应用面向场景与问题的差异、实验设计与设置的差异、受试者的差异等。这就导致了我们难于回答：目前的实证研究在多大程度上一致，是否能形成共识，对于特定的任务是否存在最优的可视化形式等。
　　在Chen C等[46]对35项信息可视化的比较研究发现，虽然多数的实验任务是基于检索的情境设置，评估也主要是针对可视化环境下任务的完成度和完成效率，相关影响因素的相关性及其显著性也通常会考察，但在实验的可对照性和实验结果的可比较性上仍然存在很大的障碍。为克服这一类问题，作者提出了相关的实验设计建议，建议相关的研究尽量使用标准的测试数据（如TREC的NIST会议数据集）和标准的任务分类，重点考察常见的任务—形式的组合，尽量使用标准的认知能力测试（如认知因子参考测试工具箱），并且细化统计结果报告等。而上述的问题和建议无疑为相关的可视化应用的实验性评估提供了借鉴和参考。所幸越来越多的个人与机构意识到这一问题而做出了评估标准化的努力，例如IEEE InfoVis自2003年起就创建了可视化评估的基准数据集和任务[42]。
　　5 可视化应用评估中的评估维度及指标
　　可视化应用的评估最终是通过对评估项及其对应评估指标的跟踪、记录与量化来实现的，因而明确评估项及其评估指标是这类研究的一项核心工作，其科学性与完整性很大程度上决定了可视化应用评估结论的效度。
　　在可视化应用的过程中存在许多变量，例如源数据集、目标任务、显示与交互设备、人类观察者的知识和经验、交互行为、应用环境等。其中一些变量的测量是容易的，例如数据规模、精度以及时间。而其他的一些变量如信息、知识、认知则相对复杂。尽管如此，越来越多的研究者开始尝试来测量与评估特定可视化形式下，人类在洞察、理解、知识学习、创造、认知负荷、信心等方面的表现。
　　从大的评估类别来看，可视化应用的评估可分为其用户效用的评估与其工具能力的评估两大方面。在一些具体的评估中，有的侧重于前者，例如用户的任务完成时间与成功率;有的侧重后者，如工具的易用性、易学性和满意度，有的则两者兼顾，如Mackinlay J D[47]认为良好的可视化应符合“表达性”和“有效性”的标准，前者关注（工具）如何真实地呈现，而后者则关注（用户）如何准确地看。Halim Z等[48]提出评估可视化应分别考察：（针对用户的）有效性、（工具的）表现力、可读性与交互性等方面，并且認为有必要分别给出权重进行组合评估。
　　由于相关研究中引用的评估指标众多，更多的评估指标我们放在表4中总结和归类。需要注意的是一些新型评估指标的出现，例如在Jansen Y等[49]对数据物理性可视化——数据雕刻的效用评估中，引入了“是否触摸”的评估维度。而这类指标对于越来越多基于触摸屏展示的可视化的评估是一个重要的提示。
　　1）我们从用户表现、用户评价及反馈与专家评价几个评估维度来梳理相关的评估指标。其中评估用户表现的主要是些客观的量化指标，而用户评价及反馈、专家评价则主要基于的是偏主观的量化指标，具体的指标归集如表4所示。
　　2）考虑到不同的评估场景，例如不同的用户特性、信息特性、工具特性、设计特性与情境，都会直接影响到评估测试的效果及相关结论的判定，因此还需要针对上述的场景维度做评估指标的梳理。
　　相关研究中，Bertini E等[63]将影响可视化视觉质量的因子分为3类：规模因子、视觉效果因子、特征保存度因子，其中规模因子对应的是可视化应用中的“信息特性”，而后两者则对应的是其“设计特性”。Freitas C M D S等[62]从可用性的角度对信息可视化技术进行评价，将可视化的可用性分为3个主要的类别：视觉表现可用性，界面交互可用性以及数据可用性，分别对应可视化应用的“设计特性”、“工具特性”和“信息特性”。而Kennedy H等[26]的评估涉及了“用户特性”的用户信念与观点、情绪、自信与技能，以及涉及“情境”的应用领域和任务时间等。
　　更多基于不同特性及情境的评估指标归集详见表5。
　　事实上，场景的评估要素很难在某一项研究中完全穷尽考虑，需要结合实际的应用场景和评估条件来选择较佳的因子组合进行考察。
　　举例来说，如按场景类别划分，在认知加工类场景中，可视化应用评估侧重的指标主要是可识别性、可交互性、洞察力等。知识获取类的场景中则相对偏重对保真度、可理解性、目标达成度等指标的评价，而交流协作类场景则侧重视觉吸引力、可交互性、沟通力等指标。如果是具体到某个特定场景，比如在虚拟现实环境下的可视化，其效用需要考察诸如可穿戴性、抗眩晕等针对性的指标。而对于图书馆馆藏资源可视化检索与浏览的场景，其效用评价的重点之一就在于可视化条件下用户对资源适用性的判别效率。
　　通过对上述几类特性的识别与相关场景评估指标的梳理，可以帮助具体的评估中相关评估要素的选择，同时也能为可视化应用的设计与应用提供参考。
　　6 归纳与总结
　　综合现有的可视化应用评估的各种实践及探索，对其中涉及方法进行总结归纳，通过对方法要素的摘选、合并与归类，本文整理了一个可视化应用评估方法的参考框架，如图1所示，包含可视化评估可参考利用的理论、评估方法类别、评估任务、评估项、主客观的评估指标、评估的影响因素等，为相关可视化应用的评估提供了一个较为完整的方法视图和要素设计的参考索引。 　　基于该参考框架，在具体设计可视化应用的评估方案时，可依次从理论工具集中选取可参考的理论模型，选择合适的评估方法路径，参考和选用框架中涉及的评估任务类别及细项，基于框架中列及的影响因素选择需要重点控制的有关变量，选择框架中涉及的评估项目类别与评估指标来做评估的具体执行。
　　目前可视化应用评估中采用的方法已比较多元，但多数评估仍主要以实验方法为主。各评估的侧重有所不同，有的偏重评估工具能力，有的更重视评测用户效用。当前可视化应用评估存在的一些典型问题有：评估中运用理论较少;评估的效用多以认知为主，可视化的情感效用与社会效用少有探讨及测度;缺少一个评估的通用框架和用于评估的标准（任务、数据）测试集。而与此同时，可视化应用评估的研究与实践也存在着很多的创新机会，例如，对视觉、认知等领域众多有价值理论的引入;针对新兴媒介（VR、AR等）可视化效果的评估;构建基于用户交互行为数据的可视化效用测算模型，通过二维码等方式實现线下线上互动的户外可视化应用的公共效用研究等。
　　随着可视化应用的日益广泛和投入的加大，针对可视化应用的评估势必会为相关的工作实务所重视，进而对评估方法提出更高的要求。而本文通过对相关研究中可视化应用评估方法相关要素的总结梳理，为相关的研究及评估实务提供了一定的方法论参考。
　　参考文献
　　[1]陈为.数据可视化[M].北京：电子工业出版社，2013.
　　[2]杨峰，李蔚.评价信息可视化技术的指标研究[J].图书情报知识，2007，（4）：80-84.
　　[3]杨峰，李蔚.信息可视化显示效果的优化方法研究[J].现代情报，2012，32（5）：34-36.
　　[4]吴莎莎，刘正捷，张海昕.信息可视化技术的可用性[C]//建立和谐人机环境联合学术会议，2005.
　　[5]冯小琴.信息检索可视化的评价标准[J].知识经济，2009，（3）：126-127.
　　[6]张会平.可视化技术对知识转化效果影响的实证研究[J].情报探索，2014，（1）：1-5.
　　[7]王辉，吴鸣，肖永红，等.图书馆系统的用户测试组织案例研究[J].图书情报工作，2012，56（3）：71-74.
　　[8]邱玲玲.可视化与非可视化教学方法对不同文章背景知识的教学效果的实证性研究[D].贵阳：贵州大学，2008.
　　[9]Munzner T.Process and Pitfalls in Writing Information Visualization Research Papers[J].Information Visualization：Human-centered Issues and Perspectives，2008：134-153.
　　[10]Isenberg T，Isenberg P，Chen J，et al.A Systematic Review on the Practice of Evaluating Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2013，19（12）：2818-2827.
　　[11]Juarez O，Hendrickson C，Garrett J H.Evaluating Visualizations Based on the Performed Task[C]//Information Visualization，2000.Proceedings.IEEE International Conference on.IEEE，2000：135-142.
　　[12]Valiati E R A，Pimenta M S，Freitas C M D S.A Taxonomy of Tasks for Guiding the Evaluation of Multidimensional Visualizations[C]//Proceedings of the 2006 AVI Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-6.
　　[13]Cawthon N，Moere A V.A Conceptual Model for Evaluating Aesthetic Effect Within the User Experience of Information Visualization[C]//Information Visualization，2006.IV 2006.Tenth International Conference on.IEEE，2006：374-382.
　　[14]Hffler T N，Leutner D.Instructional Animation Versus Static Pictures：A Meta-analysis[J].Learning and Instruction，2007，17（6）：722-738.
　　[15]Moere A V，Tomitsch M，Wimmer C，et al.Evaluating the Effect of Style in Information Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2012，18（12）：2739-2748.
　　[16]Demiralp C，Scheidegger C E，Kindlmann G L，et al.Visual Embedding：A Model for Visualization[J].IEEE Computer Graphics and Applications，2014，34（1）：10-15. 　　[17]Bresciani S，Eppler M J.Extending Tam to Information Visualization：A Framework for Evaluation[J].Electronic Journal of Information System Evaluation，2015，18（1）：46-58.
　　[18]Reda K，Johnson A E，Papka M E，et al.Modeling and Evaluating User Behavior in Exploratory Visual Analysis[J].Information Visualization，2016，15（4）：325-339.
　　[19]Dimara E，Bezerianos A，Dragicevic P.The Attraction Effect in Information Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2017，23（1）：471-480.
　　[20]Plaisant C.The Challenge of Information Visualization Evaluation[C]//Proceedings of the Working Conference on Advanced Visual Interfaces.ACM，2004：109-116.
　　[21]Carpendale S.Evaluating Information Visualizations[J].Information Visualization，2008：19-45.
　　[22]Saraiya P，North C，Duca K.An Insight-based Methodology for Evaluating Bioinformatics Visualizations[J].IEEE Transactions on Visualization and Computer Graphics，2005，11（4）：443-456.
　　[23]Chen X，Ran J.Statistical Modeling for Visualization Evaluation Through Data Fusion[J].Applied Ergonomics，2017.
　　[24]Tory M，Moller T.Evaluating Visualizations：Do Expert Reviews Work？[J].IEEE Computer Graphics and Applications，2005，25（5）：8-11.
　　[25]Zuk T，Schlesier L，Neumann P，et al.Heuristics for Information Visualization Evaluation[C]//Proceedings of the 2006 Avi Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-6.
　　[26]Kennedy H，Hill R L，Allen W，et al.Engaging with（Big）Data Visualizations：Factors that Affect Engagement and Resulting New Definitions of Effectiveness[J].First Monday，2016，21（11）.
　　[27]Shneiderman B，Plaisant C.Strategies for Evaluating Information Visualization Tools：Multi-dimensional In-depth Long-term Case Studies[C]//Proceedings of the 2006 Avi Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-7.
　　[28]Isenberg P，Zuk T，Collins C，et al.Grounded Evaluation of Information Visualizations[C]//Proceedings of the 2008 Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2008：6.
　　[29]Andrews K.Evaluating Information Visualisations[C]//Proceedings of the 2006 Avi Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-5.
　　[30]Latorre Postigo J M，Hernández-Viadel J V，Trives J J R.Efficacy of a Group Memory Training Method for Older Adults Based on Visualization and Association Techniques：A Randomized，Controlled Trial With a Placebo Group[J].Applied Cognitive Psychology，2010，24（7）：956-968. 　　[31]Kim S，Joo K H，Han S，et al.The Effectiveness of Visualization System for Virtual Reality Learning[J].International Journal of u-and e-Service，Science and Technology，2015，8（12）：151-160.
　　[32]Ramasubramanian T.Evaluating the Effectiveness of Widely Available 3-D Visualization Tools in Support of Public Participation[J].Journal of Public Administration Special Issue，2009.
　　[33]Erfan Mirzabeiki，Lili A.Nurliyana.Effectiveness of Text Visualization as a Learning Facility（A Review）[J].International Journal of Interactive Digital Media，1（3）：41-48.
　　[34]Anderson E W，Potter K C，Matzen L E，et al.A User Study of Visualization Effectiveness Using EEG and Cognitive Load[C]//Computer Graphics Forum.Blackwell Publishing Ltd，2011，30（3）：791-800.
　　[35]Brus J，Popelka S，Svobodova J.Exploring Effectiveness of Uncertainty Visualization Methods by Eye-Tracking[C]//Proceeding of the 10th International Symposium on Spatial Accurancy Assessment In Natural Resources and Enviromental Sciences，Brazil.2012.
　　[36]Schimke D，Stoeger H，Ziegler A.Evaluating the Effectiveness of Social Visualization Within Virtual Communities[J].Virtual Community Practices and Social Interactive Media：Technology Lifecycle and Workflow Analysis：Technology Lifecycle and Workflow Analysis，2009.
　　[37]Zhou M，Feiner S K.Visual Task Characterization for Automated Visual Discourse Synthesis[C]//Proc.CHI98 Conference，ACM Press，1998：392-399.
　　[38]Amar R，Stasko J.Knowledge Task-Based Framework for Design and Evaluation of Information Visualizations[C]//Proc.IEEE Symposium on Information Visualization，2004：143-149.
　　[39]Keller P，Keller M.Visual clues：Practical Data Visualization[M].Los Alamitos，CA，IEEE Computer Scociety Press，1992.
　　[40]Morse E，Lewis M，Olsen K A.Evaluating Visualizations：Using a Taxonomic Guide[J].International Journal of Human-Computer Studies，2000，53（5）：637-662.
　　[41]North C，Shneiderman B E N.Snap-together Visualization：Can Users Construct and Operate Coordinated Visualizations？[J].International Journal of Human-Computer Studies，2000，53（5）：715-739.
　　[42]J.-D.Fekete，Plaisant C.Infovis 2003 Contest[EB].http：//www.cs.umd.edu/hcil/iv03contest/，2003.
　　[43]Koua E L，Maceachren A，Kraak M J.Evaluating the Usability of Visualization Methods in an Exploratory Geovisualization Environment[J].International Journal of Geographical Information Science，2006，20（4）：425-448.
　　[44]I.-C.Wu，Vakkari P.Supporting Navigation in Wikipedia By Information Visualization：Extended Evaluation Measures[J].Journal of Documentation，2014，70（3）：392-424. 　　[45]Ghorbel F，Ellouze N，Métais E，et al.MEMO GRAPH：An Ontology Visualization Tool for Everyone[J].Procedia Computer Science，2016，96：265-274.
　　[46]Chen C，Yu Y U E.Empirical Studies of Information Visualization：A Meta-analysis[J].International Journal of Human-Computer Studies，2000，53（5）：851-866.
　　[47]Mackinlay J D.Automating the Design of Graphical Presentations of Relational Information[J].ACM Trans.Graphics，1986，5（2）：110-141.
　　[48]Halim Z，Muhammad T.Quantifying and Optimizing Visualization：An Evolutionary Computing-based Approach[J].Information Sciences，2017，385-386：284-313.
　　[49]Jansen Y，Dragicevic P，Fekete J D.Evaluating the Efficiency of Physical Visualizations[C]//Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.ACM，2013：2593-2602.
　　[50]Yammine K，Violato C.A Meta-analysis of the Educational Effectiveness of Three-dimensional Visualization Technologies in Teaching Anatomy[J].Anatomical Sciences Education，2015，8（6）：525-538.
　　[51]章明.視觉认知心理学[M].上海：华东师范大学出版社，1991.
　　[52]North C.Toward Measuring Visualization Insight[J].IEEE Comput Graph Appl，2006，26（3）：6-9.
　　[53]Tang C，Carpendale S.An Observational Study on Information Flow During Nurses Shift Change[C]//In Proceedings of the ACM Conference on Human Factors in Computing Systems（CHI），Pages 219-228，New York，USA，2007.ACM.
　　[54]宋晓蕾.视觉表象的产生与训练：一个整合的视角[M].北京：科学出版社，2015.
　　[55]Brünken R，Plass J L，Leutner D.Direct Measurement of Cognitive Load in Multimedia Learning[J].Educational Psychologist，2003，38（1）：53-61.
　　[56]Brath，Richard.Concept Demonstration：Metrics For Effective Information Visualization[C]//In Proceedings For IEEE Symposium On Information Visualization，pages 108-111.IEEE Service Center，Phoenix，AZ，Oct 20-21，1997.
　　[57]Lam H，Bertini E，Isenberg P，et al.Empirical Studies in Information Visualization：Seven Scenarios[J].Ieee Transactions on Visualization and Computer Graphics，2012，18（9）：1520-1536.
　　[58]McIntire J P，Liggett K K.The（Possible）Utility of Stereoscopic 3D Displays for Information Visualization：The Good，the Bad，and the Ugly[C]//3DVis（3DVis），2014 IEEE VIS International Workshop on.IEEE，2014：1-9.
　　[59]Kamal A，Cui F，Shankar G，et al.Teaching Data Structures：Effectiveness of Visualization and Textbook methods[EB/OL].http：//people.cs.vt.edu/～north/infoviz/dseval.doc，2017-08-02.
　　[60]Grinstein G，Kobsa A，Plaisant C，et al.Which Comes First，Usability or Utility？[C]//14th IEEE Visualization（VIZ03）.Seattle，WA.IEEE Computer Society，2003. 　　[61]Bernard J，Daberkow D，Fellner D，et al.VisInfo：A Digital Library System for Time Series Research Data Based on Exploratory Search—A User-centered Design Approach[J].International Journal on Digital Libraries，2015，16（1）：37-59.
　　[62]Freitas C M D S，Luzzardi P R，Cava R A，et al.Evaluating Usability of Information Visualization Techniques[J].2002.
　　[63]Bertini E，Santucci G.Visual Quality Metrics[C]//Proceedings of the 2006 AVI Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-5.
　　[64]Shneiderman B.The Eyes Have It：A Task By Data Type Taxonomy for Information Visualizations[C]//Visual Languages，1996.Proceedings.，IEEE Symposium on.IEEE，1996：336-343.
　　[65]Parsons P，Sedig K.Adjustable Properties of Visual Representations：Improving the Quality of Human-information Interaction[J].Journal of the Association for Information Science and Technology，2014，65（3）：455-482.
　　[66]Andrienko G，Andrienko N，Demsar U，et al.Space，Time and Visual Analytics[J].International Journal of Geographical Information Science，2010，24（10）：1577-1600.
　　[67]Edsall R M，Kraak M J，MacEachren A M，et al.Assessing the Effectiveness of Temporal Legends in Environmental Visualization[C]//GIS/LIS.1997，97：28-30.
　　[68]Bartram L.Can Motion Increase User Interface Bandwidth？[C]//Proceedings of 1997 IEEE Conference on Systems，Man and Cybernetics，1997.
　　[69]Birkhoff G.Aesthetic Measure[M].Cambridge，Massachusetts，Harvard University Press，1933.
　　[70]Dasgupta A，Chen M，Kosara R.Measuring Privacy and Utility in Privacy-Preserving Visualization[C]//Computer Graphics Forum，2013，32（8）：35-47.
　　[71]權国龙.CSK可视化知识表征设计、应用及效用分析[D].上海：华东师范大学，2017.
　　[72]蔡慧英.语义图示工具支持的协作问题解决学习的研究[D].上海：华东师范大学，2016.
　　（责任编辑：陈 媛）
转载注明来源:https://www.xzbu.com/4/view-15142460.htm