如何让机器认出一只手
作者 : 未知

  2013年刚从清华大学物理系毕业的李诚,如今在清华大学东门外创办了一家公司,从事计算机视觉领域的研究。出于对人工智能的兴趣,学物理的李诚很早就开始研究机器学习(人工智能中改善计算机算法的学科)的相关内容,还参加过学校机器人足球队的研究团队。不过要说起计算机视觉研究领域的研究,还要从他大三的时候说起。
  第一人称手部识别
  大三的暑假,李诚参加了学校的对外交流学习项目,前往卡内基梅隆大学(CMU)进行交流学习。在导师的介绍下,李诚认识了一位美籍日裔博士后Kris,当时Kris正在研究第一人称的物体识别。
  第一人称物体识别也是“可穿戴设备”的一个重要的技术支持。一般情况下,“可穿戴设备”都会配备一个第一人称摄像头,也就是让用户在头部佩戴一个与其视线一致的摄像头,它不仅有摄像摄影的功能,还能承担动作指令的作用。
  “第一人称手部识别!”听说这个课题,李诚马上就来劲儿了,“我在大一参加Robocup(机器人世界杯足球锦标赛)的时候就是负责视觉的,比如让机器人认知对方机器人、球门等物体,再完成踢球的动作。”李诚兴奋地向Kris讲述着自己的研究经历。由于第一人称手部识别是Kris研究中相对比较初级的内容,Kris本就有意找一位本科生来接手,他立刻相中了李诚。
  兴致勃勃地研究起第一人称手部识别的李诚,很快就发现了问题。“传统的手部识别主要依靠颜色信息,只能在光线较好或者环境与手部颜色区别较大的情况下比较准确。”如果光线太亮或太暗,手部反射的光颜色就不一样,摄像头就会无法识别;而当背景颜色与手部颜色非常接近时,摄像头就会将画面中的相同颜色都识别在内,同样不能准确地进行识别。因此,如何解决在多变的外部环境下,使摄像头准确且高效地进行手部识别,就成了最大的技术难点。要在如今的基础上实现突破,就必须要改变原来的计算机运算方法,可是什么样的算法才最合适呢?
  一天,资料中的一句话让李诚眼前一亮:“可穿戴设备的立足点,应该是大数据与云计算的普及,设备本身只是个呈现终端。”“大数据和云计算!”李诚来了灵感。他想到之前在星火班和同学讨论过的“模型推荐”的概念。“在手部识别的范畴内,就是指建立一个拥有各种环境下手部图片的模型库,让系统根据当前使用环境选出对应的模型,来识别出这是手。”这样,机器的手部识别准确度就能大大提升。
  “僵尸”数据库
  选定了方向,接下来的任务,就是建立一个庞大的“模型数据库”。李诚决定从建立不同光线和环境下的各种模型做起。李诚的数据采集方式让人觉得特别“神经病”。“那个时候我就把摄像头戴在头上,然后把两手放在身前,绕着实验室里里外外地走来走去,目的就是为了收集不同的光照和环境下的手部模型信息。”虽然这样的举动在同样研究计算机视觉的同学们看来已经司空见惯,但李诚的一位印度的同学Kumur还是觉得不可思议,“他说我走起来很像僵尸。”李诚觉得这个听起来有点吓人的形容很有意思,决定干脆将这个数据集叫做“僵尸”。就这样,李诚用第一视觉摄像头拍下了自己手部的视频,然后再将视频导出,对每段视频每隔几帧就用Grabcut(图像分割算法)将图片上的手部范围内的像素标志出来,作为模型数据库的数据。最终,李诚对将近2,000张图片进行了标志,全部像素相加有200,000,000多个,覆盖了几乎所有室内室外的光照环境下的手部识别数据。
  与其他手部识别模型不同的是,李诚放弃使用传统的用白布做背景来拍摄手部视频,而是选用了木板、纸箱等与肤色颜色相近的物品作为背景。“虽然用白布作为背景,手部的颜色比较突出,容易被机器识别,但第一视觉手部识别应用的范围绝不仅仅在白色背景下。虽然在标识的时候会比较麻烦,但是在机器学习的时候会更加全面、准确,应用范围也会更广。”
  建立模型数据库的最终目的是让机器准确地辨认,所以对机器进行“培训”也必不可少。拍摄视频收集数据的时间只有几天,但是“培训”的时间却花了很长。李诚开始马不停蹄地将这些收集到的数据编写成代码,在计算机上进行调试,从而让机器进行学会认手。“机器通过训练后的效果就是让摄像头在拍摄到一个画面之后,能够自动从数据库里找出最匹配最合适的模型,认出在各种环境下的手。”
  庞大的工作量需要耗费大量的时间和精力,大三暑假的两个半月是远远不够的。于是李诚在大四的寒假又一次来到了卡内基梅隆大学(CMU)继续他的数据库建立工作,前后总共历时6个月,终于完成了他“僵尸”数据库的筹建工作。
  滤波算法精益求精
  “第一人称摄像机是戴在头上的,所以在使用过程中,必然会存在移动过快的情况,摄像机进行识别时就会有困难。”早在李诚在拍摄自己的手部视频时,就发现了这个问题。由于行走过程中手部会发生移动,这时拍摄到的画面就会出现闪烁或模糊。
  在提高手部识别的准确度的过程中,李诚并没有忽视这个细节。“手在图像上是个大块的连通的物体,于是我想到了用时空马尔科夫场的滤波算法,将不太连续的输出结果过滤成比较平滑的输出结果。”利用这个算法,李诚将图片中的像素之间的关系进行了设定,推算出了相邻的像素之间的关系。“将一张图片想象成一幅巨大的拼图,每个像素都是一个小方块,手部范围内的小方块占据了拼图很大的比例,那么当一个小方块是属于手部范围的时候,与它相邻的另一个小方块属于手部范围的可能性就很大!”李诚用一个形象的方法,解释了马尔科夫场在他的研究中的原理。
  李诚的研究中不乏对行业既有研究的借鉴和引用,时空马尔科夫场的概念,就是专业研究中常用的一种计算机算法。“我只不过是站在了巨人的肩膀上,但最重要的是要找到巨人在哪儿。”这就需要平时的不断积累和对研究内容的兴趣和热忱。
  虽然这个简单的优化并不是整个项目中最大的亮点,但时空马尔科夫场滤波算法在实际应用中的效果却不容小觑。画面闪烁程度降低了,也变得更加平滑清晰,这更保证了第一人称手部识别的准确度。最终,李诚开发的第一人称手部检测准确度比传统方法提高了10%~15%。“领先于乔治亚理工、加州大学欧文分校在内的美国其他大学提出的几种主流模型!”
  李诚的成果很快得到了同行专家的认可。很快,李诚以第一作者的身份分别在两个计算机视觉领域的顶尖学术会议CVPR2013(IEEE Conference on Computer Vision and Pattern Recognition即IEEE计算机视觉与模式识别会议)和ICCV2013(IEEE International Conference on Computer Vision即IEEE计算机视觉国际会议)上发表论文2篇,同时还捧回了2013年全国挑战杯的特等奖奖杯。目前,这项目的相关代码、数据集已加到谷歌公司的手部检测项目,并且即将加入目前应用最广泛的机器视觉开源库中。
  从爱好者到专家,李诚不仅在研究中获得了突破,更用自己的实际行动推动了机器视觉研究的进程。

文秘写作 期刊发表