多点触摸手势设计的发展

来源:用户上传      作者: 尹乾毅

　　【摘要】 多点触摸系统旨在于克服传统单点触摸设备的劣势，使输入过程更加多样化、人性化，更加符合人手自然的操作习惯以及降低对复杂操作进行快捷键记忆的难度。要达到这一目的，除了需要多点触摸硬件支持以外，还要有相应特性的手势库支持。随着多点触摸设备的不断发展，触摸手势的设计也应不断改进，与之相适应。重点分析了基于用户定义的手势设计方法，并就如何设计和定义多点触摸手势能够更好地符合用户对于多点触摸交互方式的需求展开了探讨。
　　【关键词】 多点触摸；手势；用户定义
　　
　　一、多点触摸手势设计的意义
　　过去几十年计算机的性能得到了飞速的发展，这种发展主要体现在计算能力、储存能力等方面，输入设备与输出设备却没有太大的变化。如今在以用户为中心的理念指导下，这两者充分引起了设计者们的重视，产生了许多令人欣喜的革命性的创新与应用。其中具有代表性的就是将两者结合到一起的触摸式显示屏。它使人的操作直接体现在显示输出上，无形之中拉近了人与计算机之间的距离。同时也具有与鼠标同样的缺点，这种由于技术限制不得不强行制造的输入通道如同一条狭小的通巷。人的手作为最灵活和最具有执行力的器官之一，在这种输入通道面前几乎没有什么“用武之地”。
　　多点触摸技术的出现和发展正是为了解决这种困境和矛盾，并且由于Apple公司推出的iPhone产品是多点触摸技术引起了全世界的注意，成为当今输入设备的一个重要发展趋势。Microsoft公司开发的Surface多点触摸式计算机，则是这种技术应用的集大成之作，采用了高速摄像机结合图像处理模式识别技术的支持，Surface可以捕捉理论上无限多个手指触摸点，甚至可以捕捉手以外特定形状的物体，如水杯，玻璃块等，这为未来的计算机应用软件开发提供了一个无限的可能。目前尽管硬件设备已经接近完善，然而要使这种技术真正等同为自然地、舒适的人机交互方式，还有很长的路要走。多点操作所带来的无限可能性需要通过手势这个桥梁来让使计算机理解，因此手势设计和定义对于多点触摸技术优势的体现具有重要意义。
　　二、多点触摸技术与手势的发展历程
　　早在20世纪60年代，人们就开始研究可以直接用用手触摸式进行触摸的人机交互方式。多点触摸概念早在70年代就有了一些理论上的雏形，并在美国IBM公司、Illinois大学和加拿大Ottawa大学的实验室中都进行了相应的研究，并制作出一些实验室模型。1982年，多伦多大学第一次提出多点触摸的概念同时给出了一个感应食指指压的多点触控屏幕设计方案。同年贝尔实验室发表了首份探讨多点触摸技术的学术文献，并在1984年制作出了世界上第一个多点触摸屏。从80年代开始到90年代，各种不同实现方案的多点触摸设备逐渐被各个实验室开发出来。较为主流的大部分多点触摸的实现方案（主要是电子和光学解决方案），其原理都在当时已经被提出并进行研究。由于计算机本身的发展尤其是早期个人计算机生产商还是倾向于使用成本较低廉的键盘（以及后来的鼠标）作为输入设备。触摸式的输入设备更多应用在高端以及专业化领域。
　　进入90年代后，单点触摸设备日趋成熟，电阻式解决方案的产品已经广泛出现在了市场上。事实上这个时候的多点触摸技术也开始随着电子领域的深入成熟而出现了一个里程碑式的研究和相应的产品。这就是Wyane Westman的Finger Works。在Westman于1999 年详细阐述了这个较为完备的单输入式多点触摸设备的实现原理，主要包括硬件对于手指点的识别原理（其中最重要的是判断手指是哪个手指的硬件限制方案与算法）。基于这些理论开发的Finger Works 多点触摸输入设备能够接受十个手指，并且判断到每个触摸于其上手指具体是哪个指。这样的技术突破使得用手势而不是少量的触点组合来进行操作成为可能。Westman团队在此基础上定义了一套基于Finger Works的基本手势库。该手势库包含了前所未有的非常丰富的手势组合。后来Finger Works被苹果公司所收购，Westman团队也致力于为苹果公司开发触摸设备，可以看到今天从iPod到iPhone和MacBook的触摸设备和手势定义方式都有Finger Works的痕迹。直到今天所有的纯输入式多点触摸设备的实现以及手势库的定义都不同程度借鉴了Finger Works。
　　如果说Finger Works是纯输入式的触摸设备的一个里程碑，另一种形式的触摸设备――触摸屏的发展就具有完全不同的特点。触摸屏本身承担了显示器的输出功能，同时又具有接收触摸信号的输入功能。这里值得一提的是图像分析和处理技术在多点触摸上的应用，由于计算机和摄像机的日渐增强和摄像机精度与帧率的提高，基于机器视觉进行手势捕捉的技术也在21世纪初得到迅速的发展和应用。其主要方法有模板匹配法，神经网络法，动态时间规整模型及隐马尔可夫模型法等。这些方法的共同原理是先提取出图形图像中的手势特征点，然后利用各自不同的方法模型进行训练，从而在实际检测中取到相应的手势。这种计算负担对于一般个人计算机来讲还是比较难以承受。所以后续很多研究转换了思路，并不用传统手势识别的方式提取整个手势，而是借鉴电子解决方案，通过增益接触点的信号来分离未接触部分，从而降低图像提取所需的计算量。
　　2004年Jeff Han提出了一个创新的低成本的解决方案，即受抑全内反射，简称FTIR。这个解决方案主要是利用不同反射率材质的夹层一个将从侧面发射出的红外光线抑制在屏幕的薄面内，从而大幅度提高接触点与非接触点的对比度，这样通过简单过滤即可将手指点检测出来。这样甚至价格低廉的摄像机和低端的个人计算机配置也可以很好的完成这个任务。另外一个目前比较主流的方案则是DI，也就是Microsoft Surface 所采用的解决方案，该方案不需要像FTIR一样需要工艺苛刻的屏幕才能达到较好的效果，表面也不易损坏。只是需要一个封闭的箱体并且对外界光线较为敏感。
　　随着这些输入输出一体式的多点触摸技术方案越来越成熟稳定，就需要手势库相对于Finger Works这样的纯输入式多点触摸方案来说，对手势库的设计有着不同的要求。这正是提出新的手势设计方法的前提和目的。2009年Microsoft Research 对于基于用户定义的手势进行了一系列研究，一定程度弥补了这个领域的空白，对于今后的手势设计和定义有着重要的意义。
　　三、基于用户定义的手势设计过程与探讨
　　（一）基于用户定义的手势设计方法
　　为了能够使用户平滑过渡，使得传统计算机用户能够体验到多点触摸的技术优势，基于用户定义的手势设计方法将设计对象定位在把操作系统的常用操作手势化上。研究者提出了一个设计方法，首先向非技术用户的描述一个功能（姿态），先描述这个功能所带来的影响，然后要求用户通过使用触摸式设备自己去实现它。20名参加者一共使用了1080个手势（或单手或双手），这些手势被设计好的程序记录下来，并与原先设定的功能（姿势）进行比对，从中筛选出比较有潜力的用户喜爱的手势映射组合。并且设立一些指标和分类依据，通过统计结果来推测用户的对于手势的语义偏好以及以往使用传统输入设备的操作习惯产生的影响。该实验首先确定了27个常用的功能操作。这些操作是该实验的目标，每一个操作在研究的最后都应该得出一个归纳手势与之相对应。三位研究者对这些操作的复杂程度做出一个主观的分级，然后求平均值与方差。随后请20名被试者在Surface设备前坐下，根据计算机从27个操作中按随机顺序选出的操作指令，用他们自己喜欢的手势来完成这个操作。得到20×27×2=1080个手势样本。研究者又将所得的手势样本按照用户模型行为进行分类。这个分类方式是首创的，结合了人类行为方式与平面式图形界面的特点，根据动作的特征进行分级归类。其中又对较为复杂的一类―自然手势与先前研究者的复杂度主观分级进行回归分析，结果相关性显著。验证了受试者对目标操作的复杂认知与研究着先前的估计基本相符。在这个基础上，根据不同的复杂度，研究者在结合用户偏好的基础上，确定哪些操作应该使用简单手势，哪些操作应该使用复杂手势，并最终挑选出最有潜力的手势映射。

　　（二）基于用户定义的手势设计方法讨论
　　这个实验方法不同于一般的方法之处在于，虽用户的自由度很大，但实际上统计和回归的时候却可以比较忠实客观地记录下来（通过对于用户使用时触摸点的跟踪）。这样既可以达到观察法的效果（主观判断），又能够得到非常客观的数据支持。更重要的是，它避免了设计者预先设计的手势对使用者产生的心理暗示。这种更为明确的以用户为中心的设计导向，将使设计者可以从不止是从数据分析结果，更可以从用户行为两者进行比较和判断，为进一步的实验打下良好的基础。然而用这种实验方法得出结论也有其不足之处。即使刻意避免，实验所用的图形设计还是会对用户产生干扰：做同样的动作，同一个用户对屏幕上显示不同形状、不同颜色的物件可能会产生不同的反应；另外，用户在实验环境做出的反应与其在自然地环境下的实际需求可能存在相当大的差异，单个实验得出的结论并不一定有很大的参考价值。
　　（三）手势库的再设计与改进探讨
　　基于用户定义的手势库主要只是起到参考作用。因为在其中对于手势的分类主要是基于人类学。事实上由于目前的硬件实现方案与形式多种多样，在不同的手势实现类型具有差别很大的识别精度和准确率。如果在用户自定义测试得出喜好模型中一个识别精度较低的手势较为受欢迎，在实际使用中糟糕的可用性将可能使结果完全颠倒。由于输入与输出一体的设备特点，在诸如拖曳和缩放的动作，位置精度的影响就很明显；又如打钩这样的多时间步手势，则算法和位置精度以及帧率都会干扰检测成功率。此外即便是同类的任务，在不同的应用环境，例如在2D与3D界面中的手势定义，有着完全不同的特点。因此，现阶段有必要将这些软硬件因素以及应用层面的差异设计分别的试验，以探索这个用户定义的手势聚类结果具有多大程度的参考价值。
　　四、指导意义
　　基于用户定义的手势库设计在输入输出一体的多点触摸屏幕设备的基础上较为系统和创新地提出了一种切实可行的手势库设计和初步评判的方法，并且针对不同用户群的手势库研究有很大的延续和扩展潜力，是今后对触摸手势库进一步合理化的设计与研究的一个重要基础。
　　
　　参考文献
　　[1]W．Westerman．“Hand tracking， finger identification and chordic manipulation on a multi-touch surface，”PhD thesis，University of Delaware．1999
　　[2]J．Wobbrock， et al．“User-defined gestures for surface computing，”2009
　　[3]J．Han “Low-cost multi-touch sensing through frustrated total internal reflection，” 2005
　　[4]任海兵．et al．“基于视觉手势识别的研究―综述”．电子学报．2000

转载注明来源:https://www.xzbu.com/2/view-610063.htm