(肢势触摸IC)设想的根本概念以及肢势辨认的发展进程
发表时间：2015年08月30日
文章来源：深圳市英菲智科技有限公司
浏览次数：120
(肢势触摸IC)设想的根本概念以及肢势辨认的发展进程
像点击(clicks)是GUI平台的中心，轻点(taps)是触碰平台的中心那样子，用手做姿势(gestures)是Kinect应用手续的中心。和图形用户界面中的数码交互不一样，用手做姿势是事实生存中存在的动作。假如没有电脑我们就不必鼠标，不过没了Kinect，用手做姿势依旧存在。从另一方面讲，用手做姿势是起居中间人与人之间互相交流的一小批。用手做姿势能够加强演说的使心服力，能够用来着重提出和传交情意。像举手挥动(waving)还是点拨(pointing)这些个用手做姿势都是某种无声的演说。
Kinect应用手续的预设和研发者的担任的工作就是将这些个事实生存中存在的用手做姿势照射到计算机交互中去以奉达人的想法。试验从鼠标或触碰式的GUI预设移植基于用手做姿势的天然交互界面要做众多办公。吸收以往30积年来对于这一并念的研讨，以及从一点Kinect for Xbox的体感游戏中取得一点预设理念，计算机工程师和交互预设师一块儿为Kinect开创了一系列新的用手做姿势库。
本文将会绍介用户体验认识的一点知识，并商议怎么样将用手做姿势应用到Kinect应用手续中。我们将展览Kinect怎么样作为天然交互界面(Natural User INTERFACE)的人机交互板型的一小批。我们将商议一点具体的运用Kinect来施行用手做姿势辨别及交互的例子。更关紧的是，将会议览一点已经作为Kinect用手做姿势辨别库中的用手做姿势。
1. 啥子是用手做姿势
在很多不一样的学科中，用手做姿势(gesture)有着其独有特别的涵义，有可能这些个涵义之间有某些异同。在艺术领域，用手做姿势被用来奉达跳舞中最富表达力的局部，尤其是在亚洲跳舞艺术中，用手做姿势被作为某些宗教符号还是象征。在交互预设领域，在基于触碰的天然交互界面中用手做姿势和操控有非常大差别。
以上这些个解释明白用手做姿势在不一样的学科领域都有自个儿独有特别的涵义。在学术领域都打算对用手做姿势定义一个抽象的概念。在用户体验认识预设领域运用最广泛的关于用手做姿势的定义真的Eric Hulteen 和Gord Kurtenbach 1990年刊发的一篇名为人机交互中的用手做姿势(Gestures in Human-Computer Communication),定义如下所述：”用手做姿势是身板子的运动，他里面含有一点信息。举手挥动分别是一种用手做姿势。敲打键盘不是用手做姿势，由于用手指头的运动去敲打按钮没有被仔细查看，也不关紧，他只表现的键盘被按下这动不动作。(A gesture is a motion of the body that contains information. Waving goodbye is a gesture. Pressing a key on a KEYBOARD is not a gesture because the motion of a finger on its way to hitting a key is neither observed nor significant. All that matters is which key was pressed)”
这个定义既诠释了啥子是用手做姿势也诠释了啥子不是用手做姿势。像这么的下一个正式的定义一般有两个方面的艰难，既要防止太具体也要防止太抽象。假如一个定义太具体-如，定义某项技术-有可能会随着UI技术的变动会变得茫茫。作为一种学术定义而不是以常见的用处为基础的定义，它也务必足够普通，况且合乎还是说广大的研讨机构先前已刊发在HCI的研讨成果及艺术中符号学。另一方面，定义过于宽泛，也会有有无要紧急重要的风险：假如一切都是一种姿势，那末就啥子都不是了。
Eric Hulteen 和Gord Kurtenbach关于用手做姿势的定义的核心在于用手做姿势能够用来交流，用手做姿势的意义在于讲评而不是执行。
有趣儿的是将语讲和行径引入到人机交互接口中来，这是一种彻底的变法。我们与计算机交互语音变为无声的语言(mute)：我们经过点拨和用手做姿势而不是语言与计算设施施行沟通。当和计算机施行交互时，我们点击键盘按钮或触碰荧幕。我们仿佛好象更喜欢这种方式的静音通信纵然现时的技术能够支持更简单的语音指令。我们不拥有操作(manipulation)的力气，和虚拟的对象而不是真实的物体施行交互，故而没有长久性。运动变成完全的用手做姿势。
基于Eric Hulteen 和Gord Kurtenbach的定义，我们都清楚啥子是 UI 操作 ——短时间之内不是一种用手做姿势 ——了解啥子是用手做姿势以及用手做姿势表达"重大"行径还是符号还是有非常大的艰难。移动交互的涵义是啥子？用手做姿势施行沟通和语言施行沟通的最表面化不一样是啥子？我们做用手做姿势的象征意义往往很抽象简单。
在人机交互领域，用手做姿势一般被作为奉达一点简单的指令而不是交流某些事情的真实情况、描写问题还是陈说想法。运用用手做姿势操作电脑一般是指示式的，这一般不是许多人运用用手做姿势的目标。例如，举手挥动(wave)这动不动作，在事实世界中一般是打招呼的一种形式，不过这种打招呼的形式在人机交互中却不太常用。一般首次写手续通例会显露“hello”,但我们对和电脑打招呼并不有兴致。
不过，在一个不得空的饭馆，举手挥动这一用手做姿势有可能就有不一样的涵义了。当向跑堂儿的招收时，有可能是要引开始跑堂儿的注意，需求它们供给服务。在计算机中，要引动计算机注意有时也有其特别意义，譬如，计算机休眠时，普通都会敲打键盘还是移动鼠标来唤醒，以提示计算机“注意”。当运用Kinect时，可以运用更加直观的形式，就行少量派报告陈述阿汤哥那样子，抬起双手，还是简单的朝计算机挥举手挥动，计算机便会从休眠状况唤醒。
在人机交互领域，用手做姿势一般有一点涵义，表达有意让某些事物发生。用手做姿势是一种指令。当经过鼠标还是触控板去点击UI界面上的按键时，我们期望按键会被触动引发其身后的事情。一般，按键上会有一个标签来指使按键的功能如：着手、消除、敞开、关闭。我们的用手做姿势操作就是想要成功实现这些个事情。
上头的定义中的第1点儿可以得出，用手做姿势的另一个独特的地方是比较随心(arbitrary)。用手做姿势有框定的领域，那末在该领域以外没有不论什么意义。令人惊奇的是除开指向(pointing)和耸肩膀(shurg)，人类科学家没有发觉不论什么物品我们可以称之为一种通用的用手做姿势。不过，在计算机的UI中，指向(pointing)一般被觉得是直接操作由于它涉及跟踪，同时耸肩膀的涵义太微妙而非常不好辨认。因为这个，我们想要运用的不论什么Kinect用手做姿势务必基于应用手续的用户 和应用手续的预设和研发者之间就某种用手做姿势代表的涵义得到完全一样。
由于用手做姿势是恣意的(arbitrary)所以它们也是基于约定的(conventional)。应用手续的预设者务必奉告用户正在运用的用手做姿势的意义，还是是这些个用手做姿势是约定俗称大家都晓得的。这个之外，这些个约定不是基于语言文化，而是对已确认的技术规则。我们晓得怎么样运用鼠标 （行径学习） 并不是由于这是我们已经从我们的文化导入的物品，而是由于这是基于特别指定的图形用户界面的跨文化约定。一样地，我们晓得怎么样点击或滑动智强手机，不是由于这些个都是文化的约定，而是由于这些个都是跨文化天然用户界面项约定。有趣儿的是，我们在一定程度上晓得怎么样点击平板电脑，由于我们曾经学习了怎么样运用鼠标裸机。技术约定之间可以互相转化，这是由于语讲和用手做姿势可以经过不一样的语讲和文化之间来改换。
不过，用手做姿势的这种恣意性和基于约定的特别的性质也带来了曲解性（misunderstanding），这是在预设不论什么用户界面，特别是像Kinect这么的没有不论什么预先设定好的操作约定的用户界面时需求关心注视的风险。就像在有点国度，颔首表达否决摇头表达有可能。用手做姿势，还是不论什么身板子的运动，都可能萌生曲解。
总之，在人机交互领域，用手做姿势是：
表现一种简单的指示
天然生成有随心性
基于某种协定
有可能被曲解
注意：实际的直接操作（manipulation）不是用手做姿势。
2. 天然交互界面(NUI)
商议用手做姿势而不商议天然用户界面显然残缺。天然用户界面是一系列技术的合计，他涵盖：语音辨别，多点触控以及大致相似Kinect的动感交互界面，他和Windows和Macs操作系统中鼠标和键盘交互这种很常见图形交互界面不一样。就像图像交互界面和之前的起名称行交互界面不一样那样子。
天然交互界面天然在哪里呢？早期天然交互界面的发起者觉得交互界面的预设应当对用户十分直观，运用用户先天便会的行径来施行交互操作。他的目的是不必操作由图标和点菜单构成的基于GUI 的应用手续界面，由于这种界面一般具备陡峻的学习曲线。相反，理想化的状况是，用户应当能够走到应用手续面前，就能够启用它。在以往的几年里随着触碰功能的智强手机和平板电脑的流行，渐渐代替了键盘鼠标，当我们看见孩子们起步到不论什么触碰屏设施前面，用手去触碰它，期望它的响应，在这一点儿上看这一理念已经成功实现。
固然天然用户界面的天然性仿佛好象是直接操作的最佳写照，当运用手指头来施行触碰交互时，先天天然和后天学习行径之间的对立被突破。一点用手做姿势，如轻触荧幕，在某种意义上就是先天便会的动作。其它的动作譬如说双击，取得点击而后拖拉等，没有先天便会。并且随着不一样的设施制作商着手支持不一样触碰用手做姿势，为了要得相同的用手做姿势在不一样的触碰平台上有相同的意义和行径，为某些用手做姿势定义一点约定显得更加关紧。
天然用户界面（NUI）的天然性更多的是一种相对天然的概念。对于NUI的更现代的了解受Bill Buxton所影响。他觉得NUI界面的预设充分利用了用户预先便会的技能，用户和UI施行交互觉得很天然，要得它们甚至于忘了是从哪儿学到这些个和UI施行交互所需的技能的。换言之，首次操作时，我们没想到的起来我们以前学过这些个知识。例如，轻点(tap)这个用手做姿势早平板电脑和手机中运用的很次数多，这个技能是从我们之前在传统的人机交互界面上运用鼠标来指向并点击某一个界面上的元素学来的。点击（click）和轻点（tap）的最主要差别在于，点击需求鼠标，对于触碰屏，不必另外的设施，只消用手指头轻轻触碰一下子荧幕就可以了。
这引出了天然用户界面的另一个独特的地方。用户和计算机之间的交互看起来不必不论什么中介，这种互动的中介是不可以见的。例如，在语音辨别界面中，人机交互是经过具备复杂电子过淋去噪的迈克风成功实现的，其内里有解析发音语义单元的各种算法，将这些个语义传交给其他软件来施行将特别指定的短语诠释为指示，并将该指示照射到某种软件功能操作。不过，内里的这一切，对用户是不可以见的。当用户对计算机散发这么的指示，"嘿，注意我"，她会觉得计算机缘像大致相似大部分数人的本能那样子的响应这个指示。
天然用户界面的 倚赖于先验知识和不必中介的交互这两个特点标志是每一种NUI界面的并肩特点标志，其它方面如触碰，语音和动态交互界面则因设施的不一样而各异。到现在为止，大部分数关于NUI的预设都是基于多点触控体验认识的。这就是为何面前对于用手做姿势的标准定义是那样子定义的。它是将多点触碰的场景施行改正并将用手做姿势和操作区别开来。
关于用手做姿势（gesture）和操作（manipulation）的争辩也存在于语音交互界面中，指示等同于用手做姿势，语音等同于直接操作，在动态交互界面中，将手还是身板子追踪展览在可视化界面上手和身板子的运动等同于直接操作。自由方式的运动像举手挥动这动不动作就归属用手做姿势。
不过Kinect还有第三种交互界面，他和触碰和语音交互不一样。那就上一篇文章中所讲的姿态（pose），姿态是身板子的某一小批和其它局部之间的一种静态关系，他不是运动的。Kinect中的姿态和起居中的姿态是同样的，例如，左臂伸出45度表达将现时的窗户变为活动的交互窗体，右臂伸出45度还是135度表达铅直滚兴工具栏。
额外，交互形式可以从一品类型的交互界面改换到额外一种交互界面。以按键为例，按键实际上就是一个符号，这是一个先验的图形用户界面。从最基本的功能来讲，按键就是一个经过鼠标点击在一个可视化元素的书契还是图像上被触动引发一点指示的工具。在以往15年，按键被作为人机交互界面的一个集成局部，被改换到多点触碰界面，以及Kinect用户界面中来。
天然用户界面预设师所寻求的似的是天然，按键正好供给了这一点儿。不过按键在每一种用户界面中的改换都面对着一点挑战。
图形用户界面中按键的一个一般的特点标志是他供给了一个悬浮状况来指使用户光标已经悬停在的按键上方的准确位置。这种悬浮状况将点（click）这个动作失散开来。悬浮状况可以为按键供给一点另外的信息。当将按键移植到触碰屏交互界面时，按键不可以供给悬浮状况。触碰屏界面只能响应触碰。因为这个，和电脑上的图像用户界表情形，按键只能供给“击”（click）操作，而没有“点”（point）的有经验。
当将按键移植到基于Kinect的用户界面上时，按键的行径就变得更加特别了。基于Kinect的图形界面中，按键的行径和触碰界面中的刚好相反，他只供给了悬浮（hover）的“点”（point）的有经验，没有“击”（click）的有经验。按键这种更令用户体验认识预设者觉得懊丧的弱项，在以往的几年里，强迫做预设者不断的对Kinect界面上的按键施行改进，以供给更多灵巧高明的形式来点击视物感觉元素。这些个改进涵盖：悬停在按键上时期、将巴掌向外推(拙笨地临摹点击一个按键的行径）等。
固然触碰界面也有用手做姿势，但Kinect 界面有点相互作用不是用手做姿势，然而软件的研发和预设者倾向于以 Kinect 用手做姿势操作作为交互界面。这仿佛好象是由于运用用手做姿势作为物理操作是 Kinect 应用手续的最大的独特的地方。与此相反的是，触碰界面的冒尖独特的地方是直接操作。固然有可能不正确，许多人一般将天然交互界面区分清楚为三类：语音交互界面，触碰交互界面和用手做姿势交互界面。
不过，在关于Kinect的有关绍介文档中，你会发觉有时姿态(pose)和操作(manipulation)都被描写为用手做姿势。这些个都没有错。要记取的是，当我们商议Kinect中的一点专门用语，如举手挥动(wave),滑动(swipe),我们会作为完全的用手做姿势，而姿态和操控只有在暗喻意义上才称之为用手做姿势。
以上的商议都很关紧，由于我们会进一步预设Kinect相互作用的语意，我们将最后移除从其它图形界面上吸收过来的关于按键的语意，而后试验树立基于Kinect的先验的语意。举手挥动(wave)这是Kinect中完全的用手做姿势，是最早的这种试验。乔治亚技术研讨所的研讨担任职务的人正在利用 Kinect 来诠释美国手势语言。相反，其它研讨担任职务的人，正在利用 Kinect 诠释身板子语言——另一种预先形成的用手做姿势和姿态的沟通。诸这么类的研讨可以视为对于NUI的第二层研讨。这些个渐渐靠近了起初NUI人机交互的原始的幻想，不仅是看不见，并且NUI能够自适合以了解我们的行径，而不是强迫做我们理解我们和电脑的人机交互。
3. 用手做姿势从哪儿来
在用手做姿势交互界面中，完全的用手做姿势，姿态和追踪以及它们之间的组合构成了交互的基本专门用语。对于Kinect来说，到现在为止可以运用的有8个通用的用手做姿势：举手挥动(wave)，悬浮按键(hover BUTTON),磁吸按键(magnet button),推按键(push button)，磁吸幻灯片(magnetic slide)，通用暂停(universal pause)，铅直骨碌条(vertical scrolling)和滑动(swipping)。那里面的一点专门用语是微软自个儿引入的，有一点是游戏摄理商预设的，还有一点是Kinect for PC研发担任职务的人为了研发应用而引入的。
很少事情状况下会为人际交互界面专门用语施行定制。一般要将这8种用手做姿势区别开来，并在一点应用中通用也不常见。相仿的事情状况在web专门用语和手机用手做姿势中预设新的界面时也会碰到，那里面只有局部的预设能够成为标准。在网页预设领域，走防水煤油灯和光标动画流行一时，并在一片不耐烦声中迅疾消逝。在握机预设领域因为水果企业在触碰屏领域的早期地位这种专门用语获得了美好的规范。水果引入了一点触碰用手做姿势专门用语，如轻点（tap）,点住不放(tap and hold)，滑动swipe及pinch。
交互专门用语形成规范有几个绊脚石。第1个就是为了取得好处而防止标准化。在90时代后期的浏览器大战中，尽管各大厂商在口头上说标准化协议很关紧，不过在浏览器研发上依然不已的研发自个儿的HTML版本，以吸引研发者运用它们的技术。设施制作商可以利用市场霸占率的优势来锁定消费者，经过在它们的手机上成功实现自个儿定义语意的触屏，来推行自个儿的用手做姿势操作。这些个都是不天然的行径，由于不一样厂商对于同一用手做姿势的语意都不一样，况且它们看起来不天然，运用不一样厂商的产品需求再学习。
另一种形成规范化的绊脚石是上下文用手做姿势的专利。例如，水果企业不可以对“滑动”(swipe)操作提出请求专利，不过它可以对“滑动解锁手机”这个用手做姿势提出请求专利，这要得其它企业需求运用这一技术还是预设理念时要不给水果企业付出专利费，要不将水果告上法庭以防止专利费，或则索性不运用这一上下文用手做姿势。假如不运用这一上下文用手做姿势，那末产品就毁伤了之前我们学习到运用很天然的形式滑动解锁手机，音乐播放器，平板电脑等这一约定了。
最终一个绊脚石是，预设一个用手做姿势很艰难。用手做姿势专门用语会晤对一点App Store中手机应用手续和YouTube中视频文件应用所碰到的一点问题：许多人要不会要不不会。用手做姿势需求深刻思考怎么样定义的简单要得许多人能够去用，这就是长尾理论遗留的问题。
那末啥子样的用手做姿势专门用语才是好的呢。假如一个用手做姿势便于运用，那末他就被觉得是预设令人满意的。在交互预设中，易用性有两个方面：可用(affordance)和反馈(feedback)。反馈就是说用户晓得现时正在施行的操作。在网页中,点击按键会看见按键有一点儿偏移,这就表达交互成功。鼠标按钮按下时的声响在某种意义上也是一种反馈,他表达鼠标在办公。对于Winodw Phone Metro风格的界面上的磁贴，研发这觉得这些个按键应当足够大，以容下大平面或物体表面的大小的触碰地区范围，不过它们也觉得过大的触碰地区范围会要得用户触碰到地区范围外面也会被触动引发注册的事情。额外，状况信息还是明确承认会话框会在应用手续饮弹出以提醒用户发生了一点事物。在 Xbox 的仪表板中，运用Kinect传感器萌生的光标悬停在的热点上着手动画播放。
假如说反馈发生在操作施行中还是在这以后，那末可用性(affordance)就发生在操作之前了。可用性就是一种提醒还是指导，奉告用户某一个可视化元素是可以交互的，指使用户该元素的用法。在GUI交互界面中，按键是能够最好的完成这些个理念的元素。按键经过书契还是图标提醒来执行一点函数操作。GUI界面上的按键经过悬浮状况可以提醒用户其用场。最好的可用性-有可能有些绕圈-就是约定俗成。用户晓得某一个可视化元素的用场，由于之前在其它应用中运用过大致相似的可视化控件，还是是在其它设施中执行过大致相似的操作。不过，这一点儿对于基于Kinect的用手做姿势交互界面来说有些艰难，由于一切都是新的。
一般的作法就是运用假座其它类型交互界面中的约定。在触碰交互界面中，一个轻点(tap)用手做姿势和一般的鼠标点击是等同的。响应轻点事情的两个可视化元素，图标和按键，也被预设的和传统的GUI界面上的图标和按键同样，来达到提醒用户该元素的效用这一目标。Kinect也运用按键和图标来要得用户能够更加容易运用。由于Kinect基本上是基于”点”（pointing）而原生不支持“击”(clicking)。在此之前，软件界面预设者和研发者的消耗的钱了众多精神力来对用手做姿势交互界面施行定制以成功实现“击”这动不动作。
和触碰交互界面不同，用手做姿势交互界面可以从社会形态中间人的普通用手做姿势中假座一点用手做姿势操作。这就要得举手挥动(wave)变成Kinect应用手续的经典用手做姿势。由于这一姿态和事实生存中的姿态有象征性结合要得不费吹灰之力了解和运用。轨迹追踪，固然在技术上不是用手做姿势，不过他是另一个在事实生存中和点拨有结合的专门用语。当在电视机还是显露器前挥舞手时，好的Kinect应用手续应当能够追踪拿到手的运动，并显露一个光标随开始一开始运出动。当我们在事实生存三拇指点物体时，Kinect中的手部追踪显露的手形图标的反馈要得手续更加易用。
到现在为止，事实生存中的易用性用手做姿势在Kinect交互界面中用的比较少，大多的易用性都是从传统的GUI界面上的可用性移植过来的。随着时间的变更，这一点儿会获得改善。在触碰屏设施上新的用手做姿势经过在传统的已经树立的约定中添加手指头来形成。两指轻点和一指轻点有点不一样，运用两个手指头还是多个手指头施行滑动有其独有特别的涵义。最后，触碰用手做姿势所有由手指头完成。另一方面，真正的用手做姿势用户界面，有一个接近于无限的语意库，要得我们可以基于事实生存中有关联的用手做姿势施行改进。
本文接下来从理论到成功实现，商议怎么样成功实现用手做姿势辨别，并展览了Kinect中八中基本用手做姿势中的举手挥动(wave)用手做姿势的辨别。
4. 成功实现用手做姿势辨别
Microsoft Kinect SDK并没有里面含有用手做姿势辨别引擎。因为这个需求研发者来定义和用手做姿势辨别。从SDK的Beta版放出以来，一点第三方研发者开创的用手做姿势引擎已初见端倪。不过，微软没有将它们作为标准的引擎。看来这有可能还要等微软将用手做姿势辨别引擎添加到SDK中来，还是指明可代替的解决方案。本节对用手做姿势辨别技术施行了简单绍介，期望能够帮忙研发者在标准的用手做姿势辨别引擎出来之前，可以自个儿动手研发用手做姿势辨别引擎。
用手做姿势辨别相对来说可以简单也可以很复杂，这决定于与要辨别的用手做姿势。有三种基本的办法可以用来辨别用手做姿势：基于算法，基于神经器官网络和基于用手做姿势样本库。每一种办法都有其优欠缺。研发者具体认为合适而使用那种办法决定于与待辨别的用手做姿势、项目需要，研发时间以及研发水准。基于算法的用手做姿势辨别相对简单容易成功实现，基于神经器官网络和用手做姿势样本库则有点复杂。
4.1 基于算法的用手做姿势辨别
算法是解决软件研发中几乎全部问题的最基本办法。运用算法的基本流程就是定义处置规则和条件，这些个处置规则和条件务必合乎处置最后结果的要求。在用手做姿势辨别中，这种算法的最后结果要求是一个二值型对象，某一用手做姿势要不合乎预先规定的用手做姿势要不不合。运用算法来辨别用手做姿势是最基本的办法，由于对于有一点儿编程有经验的研发这来说，用手做姿势辨别的代码便于了解，编著，保护和调整。
不过，最简单直接的办法也有其欠缺。算法的简单性限止了其能辨别到的用手做姿势的门类。对于举手挥动(wave)辨别较好的算法不可以够辨别扔(throw)和摆(swing)动作。前者动作相对简单和归置，后者则更加微小且多变。有可能能够写一个辨别来回摇动(swing)的算法，不过代码有可能比较不好懂和薄弱。
算法还有一个外在的扩展性问题。固然一点代码可以重用，不过每一种用手做姿势务必运用定制的算法来施行辨别。随着新的用手做姿势辨别算法参加类库，类库的体积会迅疾增加。这就对手续的性能萌生影响，由于需求运用众多算法来对某一个用手做姿势施行辨别以判断该用手做姿势的类型。
最终，每一个用手做姿势辨别算法需求不一样的参变量，例如时间间隔和阈值。特别是在根据流程辨别特别指定的用手做姿势的时刻这一点儿显得特别表面化。研发者需求不断测试和实验以为每一种算法确认合宜的参变量值。这本身是一个有挑战也很没情趣的办公。不过每一种用手做姿势的辨别有着自个儿特别的问题。
4.2 基于神经器官网络的用手做姿势辨别
当用户在做用手做姿势时，用手做姿势的方式并不老是足够清楚到能够判断用户的意向。例如跳跃用手做姿势，跳跃用手做姿势就是用户短暂的跳起来，脚离去地面。这个定义不可以够供给足够的信息来辨别这动不动作。
咋一看，这个动作仿佛好象足够简单，要得可以运用算法来施行辨别。首先，思索问题到有众多种不一样方式的跳跃：基本跳跃（basic jumping）、 跨栏(hurdling)、 跳远(long jumping)、 跳跃(hopping)，等等。不过这处有一个大的问题就是，因为遭受Kinect视场地区范围的限止，没可能老是能够探量观测到地板的位置，这要得脚部何时离去地板很难确认。假想一下子，用户在膝盖到下蹲点处弯下，而后跳起来。用手做姿势辨别引擎应当觉得这是一个用手做姿势仍然多个用手做姿势：下蹲或 下蹲跳起还是是跳起？假如用户在蹲下的时间和跳跃的时间相形过长，那末这一用手做姿势有可能应被辨别为下蹲而不是跳跃。
看见这些个，最着手对跳跃的定义便会变得依稀。这一姿态很难定义明白，要得不可以够经过定义一点算法来施行辨别，同时这些个算法因为需求定义过多的规则和条件而变得难于管理和不定。运用对或错的二值策略来辨别用户用手做姿势的算法太简单和不够壮健，不可以够美好的辨别出大致相似跳跃，下蹲等动作。
神经器官网络的团体和判断是基于计数和几率的，因为这个要得像辨别用手做姿势这些个过程变得容易扼制。基于啥子网络的用手做姿势辨别引擎对于下蹲而后跳跃动作，80百分之百的几率判断为跳跃，10百分之百会分辨断定为下蹲。
除开能够辨别复杂和精密细致的用手做姿势，神经器官网络办法还能解决基于算法用手做姿势辨别存在的扩展性问题。神经器官网络里面含有众多神经器官元，每一个神经器官元是一个好的算法，能够用来判断用手做姿势的微小局部的运动。在神经器官网络中，很多用手做姿势可以共享神经器官元。不过每一中用手做姿势辨别有着独有特别的神经器官元的组合。并且，神经器官元具备高效的数值结构来处置信息。这要得在辨别用手做姿势时具备颀长的速率。
运用基于神经器官网络施行用手做姿势辨别的欠缺是办法本身复杂。固然神经器官网络以及在计算机科学中对其的应用已经有了好几十年，树立一个好的神经器官网络对于大部分数程序开发人员来说仍然有一点艰难的。大部分数研发者有可能对数值结构中的图和树比较知道得清楚，而对神经器官网络中尺度和依稀思维规律的成功实现有可能一点儿都不成解。这种匮缺树立神经器官网络的经验是一个很大的艰难，纵然能够成功的构建一个神经器官网络，手续的调整相当艰难。
和基于算法的办法相形，神经器官网络倚赖数量多的参变量来能获得非常准确的最后结果。参变量的个数随着神经器官元的个数提高。每一个神经器官元可以用来辨别多个用手做姿势，每一个神经器官远的参变量的变动都会影响其它节点的辨别最后结果。配备布置和调试这些个参变量是一项艺术，需求经验，并没有特别指定的规则可循。不过，当神经器官网络配合成双机器学习过程中手动调试参变量，随着时间的推移，系统的辨别精密度会随之增长。
4.3 基于样本的辨别
基于样本还是基于模版的用手做姿势辨别系统能够将人的用手做姿势和已知的用手做姿势相般配。用户的用手做姿势在模型板库中已经规范化了，要得能够用来计算用手做姿势的般配精密度。有两种样本辨别办法，一种是储存一系列的点，另一种办法是运用大致相似的Kinect SDK中的骨骼追踪系统。在后面的那一个办法中，系统中里面含有一系列骨骼数值和景深帧数值，能够运用计数办法对萌生的影像帧数值施行般配以辨别出已知的帧数值来。
这种用手做姿势辨别办法高度倚赖于机器学习。辨别引擎会记录，处置，和重用现时帧数值，所以随着时间的推移，用手做姿势辨别精密度会逐层增长。系统能够更好的辨别出你想要表现的具体用手做姿势。这种办法能够比较容易的辨别出新的用手做姿势，并且较其它两种办法能够更好的处置比较复杂的用手做姿势。不过树立这么一个系统也不由得易。首先，系统倚赖于数量多的样本数值。数值越多，辨别精密度越高。所以系统需求数量多的储存资源和CPU时间的来施行查寻和般配。其次系统需求不一样高度，不一样胖瘦，不一样衣着打扮（衣着打扮会影响景深数值提出取得身板子大概轮廓）的样压根儿施行某一个用手做姿势。
5.辨别常见的用手做姿势
挑选用手做姿势辨别的办法一般是倚赖于项目标需求。假如项目只消辨别几个简单的用手做姿势，那末运用基于算法还是基于神经器官网络的用手做姿势辨别就足够了。对于其它类型的项目，假如有兴致的话可以投合乎时尚间来树立可复用的用手做姿势辨别引擎，还是运用一点人烟已经写好的辨别算法，接下来本文绍介几种常用的用手做姿势，并演习怎么样运用算法的办法来辨别它们，用手做姿势辨别的额外两种办法因为其复杂性本文不做绍介。
无论挑选哪种用手做姿势辨别的办法，都务必思索问题用手做姿势的变动范围。系统务必具备灵活性，并准许某一个用手做姿势有某个范围内的变化。很少有人能够每每都做一模同样的用手做姿势。例如，思索问题周伯通现时左右首画圆圈儿这个用手做姿势，重复这一用手做姿势10次，圆形的核心每每都在一个点吗，圆形的起点和重点每每都在相同的地方吗？每每画圆的时长都同样吗？而后运用右首做这个动作，最终比较最后结果。还是拉几个朋友还是家人来做，而后仔细查看。也可以站在镜子面前看自个儿做，还是运用录像设施录下来再看。技法就是对于某一用手做姿势，让尽有可能多的人来做，而后打算标准化这一用手做姿势。用手做姿势辨别一个比较好的形式就是关心注视用手做姿势最中心的局部而不是哪一些内在的细枝末节。
5.1 挥舞(wave)用手做姿势
只要玩过Xbox上的体感游戏，有可能都运用过举手挥动这个用手做姿势。举手挥动这一用手做姿势无论岁数体积都能够做的一个简单动作。这是一个友善的，欢乐的用手做姿势，许多人一般举手挥动还是挥手来打招呼还是分别。在应用研发的上下文中，举手挥动用手做姿势一般奉告应用手续已经准备好了，可以着手体验认识应用了。
举手挥动是最简单最基本的用手做姿势。运用算法办法能够很容易辨别这一用手做姿势，不过之前讲到的不论什么办法也能够运用。固然举手挥动是一个很简单的用手做姿势，不过怎么样运用代码来辨别这一用手做姿势呢？读者可以在镜子前做向自个儿举手挥动，而后仔细仔细查看手的运动，特别注意仔细查看手和臂膀之间的关系。接着仔细查看手和臂膀之间的关系，而后仔细查看在做这个用手做姿势事身板子的整个儿姿态。有点人维持身板子和臂膀的不动，运用手腕子左右移动来举手挥动。有点人维持身板子和臂膀不动运用手腕子前后移动来举手挥动。可以经过仔细查看这些个姿态来理解其它各种不一样举手挥动的形式。
XBOX中的举手挥动动作定义为：从臂膀着手到肘部屈曲。用户以臂膀肘为焦点往返移动小臂，移动最简单的面和肩部在一个最简单的面上，况且臂膀和地面维持平行,在用手做姿势的中部（下图1），小臂铅直于后臂和地面。下图展览了这一姿态。
从图中可以仔细查看得出一点规律，第1个规律就是，手和手腕子都是在肘部和肩部之上的，这也是大部分是举手挥动动作的特点标志。这也是我们辨别举手挥动这一用手做姿势的第1个标准。
第1幅图展览了举手挥动这一姿态的半中腰位置，小臂和后臂铅直。假如用户手臂变更了这种关系，小臂在铅直线左面还是右面，我们则觉得这是该用手做姿势的一个断片。对于举手挥动这一姿态，每一个姿态断片务必往返重复多次，否则就不是一个完整的用手做姿势。这一运动规律就是我们的第二个准则：当某一用手做姿势是举手挥动时，手还是手腕子，务必在半中腰姿态的左右往返重复特别指定的回数。运用这两点经过仔细查看获得的规律，我们可以经过算法树立算法准则，来辨别挥舞用手做姿势了。
算法经过计算手离去半中腰姿态地区范围的回数。半中腰地区范围是一个以臂膀肘为原点并给与一定阈值的地区范围。算法也需求用户在一定的时间段内完成这个用手做姿势，否则辨别便会败绩。这处定义的挥舞用手做姿势辨别算法只是一个单独的算法，不里面含有在一个多层的用手做姿势辨别系统内。算法保护自身的状况，并在辨别完成时以事情方式告知用户辨别最后结果。挥舞辨别检查查看多个用户以及两双手的挥舞用手做姿势。辨别算法计算新萌生的每一帧骨骼数值，因为这个务必记录这些个辨别的状况。
下边的代码展览了记录用手做姿势辨别状况的两个枚举和一个结构。第1个名为WavePosition的枚举用来定义手在举手挥动这动不动作中的不一样位置。用手做姿势辨别类运用WaveGestureState枚举来追踪每一个用户的手的状况。WaveGestureTracker结构用来保留用手做姿势辨别中所需求的数值。他有一个Reset办法，当用户的手达不到举手挥动这一用手做姿势的基本动作条件时，譬如当手在臂膀肘以下时，可调配使用Reset办法来重置用手做姿势辨别中所用到的数值。
private enum WavePosition{
None = 0,
Left = 1,
Right = 2,
Neutral = 3
}private enum WaveGestureState{
None = 0,
Success = 1,
Failure = 2,
InProgress = 3
}private struct WaveGestureTracker{ public int IterationCount; public WaveGestureState State; public long Timestamp; public WavePosition StartPosition; public WavePosition CurrentPosition; public void Reset()
{
IterationCount = 0;
State = WaveGestureState.None;
Timestamp = 0;
StartPosition = WavePosition.None;
CurrentPosition = WavePosition.None;
}
}下边代码显露了用手做姿势辨别类的最基本结构：它定义了五个恒量：半中腰地区范围阈值，用手做姿势动作连续不断时间，用手做姿势离去半中腰地区范围左右移动回数，以及左手和右首标识恒量。这些个恒量应当作为配备布置文件的配备布置项储存，在这处为了简单方便，所以以恒量声明。WaveGestureTracker数组保留每一个有可能的游戏者的双手的用手做姿势的辨别最后结果。当举手挥动这一用手做姿势探量观测到达在这以后，被触动引发GestureDetected事情。
当主手续收缴到一个新的数值帧时，就调配使用WaveGesture的Update办法。该办法循环遍历每一个用户的骨骼数值帧，而后调配使用TrackWave办法对左右首施行举手挥动姿态辨别。当骨骼数值不在追踪状况时，重置用手做姿势辨别状况。
public class WaveGesture{ private const float WAVE_THRESHOLD = 0.1f; private const int WAVE_MOVEMENT_TIMEOUT = 5000; private const int LEFT_HAND = 0; private const int RIGHT_HAND = 1; private const int REQUIRED_ITERATIONS = 4; private WaveGestureTracker[,] _PlayerWaveTracker = new WaveGestureTracker[6, 2]; public event EventHandler GestureDetected; public void Update(Skeleton[] skeletons, long frameTimestamp)
{ if (skeletons != 门里出身)
{ Skeleton skeleton; for (int i = 0; i < skeletons.Length; i++)
{
skeleton = skeletons[i]; if (skeleton.TrackingState != SkeletonTrackingState.NotTracked)
{
TrackWave(skeleton, true, ref this._PlayerWaveTracker[i, LEFT_HAND], frameTimestamp);
TrackWave(skeleton, false, ref this._PlayerWaveTracker[i, RIGHT_HAND], frameTimestamp);
} else { this._PlayerWaveTracker[i, LEFT_HAND].Reset(); this._PlayerWaveTracker[i, RIGHT_HAND].Reset();
}
}
}
}
}
下边的代码是举手挥动姿态辨别的主要思维规律办法TrackWave的主体局部。它证验我们先前定义的构成举手挥动姿态的条件，并更新用手做姿势辨别的状况。办法辨别左手还是右首的用手做姿势，第1个条件是证验，手和肘关节点是否处于追踪状况。假如这两个关节点信息不可以用，则重置追踪状况，否则施行下一步的证验。
假如姿态连续不断时间超过阈值且还没有进入了到下一步骤，在姿态追踪超时，重置追踪数值。下一个证验手部关节点是否在肘关节点之上。假如不是，则依据现时的追踪状况，举手挥动姿态辨别败绩还是重置辨别条件。假如手部关节点在Y轴上且高于肘部关节点，办法接着判断手在Y轴相片比本人好看对于肘关节的位置。调配使用UpdatePosition办法并传入合宜的手关节点所处的位置。更生手关节点位置在这以后，最终判下定论义的重复回数是否满意，假如满意这些个条件，举手挥动这一用手做姿势辨别成功，被触动引发GetstureDetected事情。
private void TrackWave(Skeleton skeleton, bool isLeft, ref WaveGestureTracker tracker, long timestamp)
{
JointType handJointId = (isLeft) ? JointType.HandLeft : JointType.HandRight;
JointType elbowJointId = (isLeft) ? JointType.ElbowLeft : JointType.ElbowRight;
Joint hand = skeleton.Joints[handJointId];
Joint elbow = skeleton.Joints[elbowJointId]; if (hand.TrackingState != JointTrackingState.NotTracked && elbow.TrackingState != JointTrackingState.NotTracked)
{ if (tracker.State == WaveGestureState.InProgress && tracker.Timestamp + WAVE_MOVEMENT_TIMEOUT < timestamp)
{
tracker.UpdateState(WaveGestureState.Failure, timestamp);
System.Diagnostics.Debug.WriteLine("Fail!");
} else if (hand.Position.Y > elbow.Position.Y)
{ //运用 (0, 0) 作为荧幕的核心. 从用户的视角看, X轴左负右正. if (hand.Position.X <= elbow.Position.X - WAVE_THRESHOLD)
{
tracker.UpdatePosition(WavePosition.Left, timestamp);
} else if (hand.Position.X >= elbow.Position.X + WAVE_THRESHOLD)
{
tracker.UpdatePosition(WavePosition.Right, timestamp);
} else {
tracker.UpdatePosition(WavePosition.Neutral, timestamp);
} if (tracker.State != WaveGestureState.Success && tracker.IterationCount == REQUIRED_ITERATIONS)
{
tracker.UpdateState(WaveGestureState.Success, timestamp);
System.Diagnostics.Debug.WriteLine("Success!"); if (GestureDetected != 门里出身)
{
GestureDetected(this, new EventArgs());
}
}
} else { if (tracker.State == WaveGestureState.InProgress)
{
tracker.UpdateState(WaveGestureState.Failure, timestamp);
System.Diagnostics.Debug.WriteLine("Fail!");
} else {
tracker.Reset();
}
}
} else {
tracker.Reset();
}
}
下边的代码添加到WaveGestureTracker结构中：这些个帮忙办法保护结构中的字段，要得TrackWave办法易读。惟一需求注意的是UpdatePosition办法。TrackWave调配使用该办法判断手的位置已经移动。他的最主重要的条目的是更新CurrentPosition和Timestamp属性，该办法也负责更新InterationCount字段合InPorgress状况。
public void UpdateState(WaveGestureState state, long timestamp)
{
State = state;
Timestamp = timestamp;
}public void Reset()
{
IterationCount = 0;
State = WaveGestureState.None;
Timestamp = 0;
StartPosition = WavePosition.None;
CurrentPosition = WavePosition.None;
}public void UpdatePosition(WavePosition position, long timestamp)
{ if (CurrentPosition != position)
{ if (position == WavePosition.Left position == WavePosition.Right)
{ if (State != WaveGestureState.InProgress)
{
State = WaveGestureState.InProgress;
IterationCount = 0;
StartPosition = position;
}
IterationCount++;
}
CurrentPosition = position;
Timestamp = timestamp;
}
}上面所说的代码断片就可以成功实现挥舞(wave)用手做姿势辨别的思维规律了。
6. 结束语
本文主要绍介了用手做姿势辨别中预设的基本概念以及用手做姿势辨别的进展过程，在此基础上绍介了用手做姿势辨别的三种基本办法:基于算法的用手做姿势辨别、基于神经器官网络的用手做姿势辨别和基于样本库的用手做姿势辨别。
