可辅助Quest手势识别模拟键盘，低成本骨传导VR手环TapID来袭

近期，苏黎世联邦理工学院计算机科学院公布了一项基于骨传导技术的手势识别手环方案：TapID，据悉该方案的特点是可识别手指在平面上敲击的动作，甚至能识别每个敲击的手指，与VR头显的光学手势识别功能结合后，可在VR中准确模拟键盘、钢琴等交互。也就是说，在VR中你不仅可以通过触碰桌面来调出各种小工具，甚至敲击手臂也能触发菜单和各种工具，足够智能。

科研人员表示：现有的VR交互方式包括光学手柄追踪或是手势识别，不过这两种方式并不适用于高效的VR办公场景，因为输入文字等工作需要长时间持续的手势交互，现有手势识别技术和手柄达不到理想的效果。

在AR中，手势识别可以与键盘等实体输入方式结合，但在VR中你没办法直接看到实体键盘布局。对于高效的VR办公场景，需要流畅、快速的双手输入方式，以实现持续的交互。那么与EMG等支持隔空手势识别的方案相比，用实体设备控制AR/VR有哪些优势呢？一方面，可以带来体感反馈，在使用时可以通过体感来调整输入方式和速度，另一方面，在不需要输入时可以给手指提供休息和支持。

此外，现有的光学手势追踪方案受视角和遮挡等限制，即使是深度传感器也难以快速、准确识别手指与平面触碰的瞬间，因此灵敏度不如传统的触屏好。因此，VR头显的手势识别功能至少需要辅助一些传感器才能模拟足够灵敏的虚拟键盘，比如额外方向的深度相机等等。

关于TapID

为了解决上述问题，苏黎世联邦理工学院的科研人员研发了这种可以识别快速频繁敲击的VR手势方案，通过骨传导技术来识别五指动作，将任何平面模拟成大家已经熟悉使用的触控装置。也就是说，该方案可识别两种数据：1）手指接触平面的动作；2）触碰表面的特定手指。

而硬件方案则包括柔性手环、集成SoC平台（采样率1344Hz）、2个IMU运动传感器（分别位于手腕皮肤和腕骨）。据悉，TapID的传感器可识别手臂震动信号，不同手指、不同程度的敲击将产生略有差异的震动信号，机器学习算法通过这些信号来分辨和识别敲击的手指。

细节方面，TapID手环左右手各一只，配备两个IMU运动传感器，机器学习算法会将识别到的平面敲击数据进行分析，识别每根手指的动作，用于辅助VR头显的光学手势追踪方案。具体过程如下：1）将VR头显追踪并生成的3D手势模型（主要为定位手指）与TapID传感器识别到的敲击数据结合；2）当识别到手指触碰平面动作，便会触发VR交互；3）如果识别到使用者手指未触碰平面，便会被忽略为偶然事件。

为了验证TapID的效果，科研人员组织了一场18人参与的用户反馈调查，结果发现手势识别准确性达99.7%，每根手指的平均识别准确性在87%到93%之间。每分钟最多可识别600次敲击手势，误差范围仅为30毫米。

此外还发现，TapID识别大拇指和小拇指的敲击动作最稳定，而对于食指、中指和无名指的区分还有待提升。不过通过10次敲击调整，准确率可得到提升。当然，由于每个人手臂粗细不同，手势识别准确性也有所不同。

应用场景

据悉，TapID可模拟在平板电脑上的各种文字编辑交互，比如：打字、点击、双击选择、选择工具等等。科研人员在实验中测试了以下几种应用场景：

1）编辑文档：

利用TapID方案，你可以通过手指在平面上敲击，实现在VR中编辑Word或PowerPoint文档，也可以利用左手小拇指来控制光标，通过移动光标来实现复制粘贴。

2）整理照片：

VR会将虚拟照片固定在桌面上，你可以用手势敲击桌面上的虚拟控制键来调整照片的方向，也可以与桌面互动来移动和放大照片。

3）计算数字：

TapID方案可模拟计算器，你只需要在桌面上敲敲手指就能与VR中的计算器互动。

4）弹钢琴：

TapID可模拟VR虚拟钢琴键，从演示视频来看，TapID的灵敏度足够好，可以弹奏一首一般速度的曲子。

5）皮肤交互：

你可以将自己的身体作为敲击平面，将手臂等身体部位作为虚拟界面，通过点击或滑动来控制（旋转、放大、缩小）虚拟内容。

除了办公场景外，TapID还可以用于对速度要求高的VR节奏游戏中。

对比Facebook EMG腕带

除了TapID外，Facebook Reality Labs也在探索体感手环作为AR/VR控制器的研究。比如此前，Facebook曾解释如何利用基于AI算法和EMG感应的腕带来识别使用者的动作意图，更加智能的预测和执行AR/VR交互和任务。

Facebook EMG腕带

与EMG智能腕带相比，TapID更侧重于长时间的办公场景，它的特点是即使你需要长时间动手指输入文字，桌面等平面可以提供支持和休息的平台。另外在桌面上敲击也有一种人们更习惯的体感反馈，比在空中乱动手指的方案容易上手，舒适性也足够好。实际上，键盘敲击的体感反馈对于文字输入足够关键，给人一种确认感，让你更容易熟悉正确的键位。

当然，AI+EMG腕带的好处是在日常生活中你不用去寻找敲击平面，随便动动手指就能控制，足够方便、私密。对于大多数办公场景来说，其实也没有必要隐藏你在打字的动作，因此使用TapID也不用担心私密性的问题。就短期来讲，TapID可与Quest等具备手势追踪的头显搭配使用，是一种更加简单的低成本方案。而长期来讲，Facebook的腕带方案会更加智能，适用于更多样化的日常情景。

总结

在人们开始习惯隔空手势输入之前，可能还需要尝试从敲击输入向完全的手势输入过渡，而TapID刚好可以提供一个灵活、方便使用的交互方案，将模拟的触屏交互与VR应用结合。此外，TapID也可以与现有的运动手表结合，科研人员将Fitbit Charge手环或是智能手表的加速针用于TapID方案中，测试结果显示准确率同样高。

不过，考虑到高效的键盘输入需要双手，用两个智能手表来输入似乎并不实际，而且TapID采用的现成GPU目前也不适合集成在智能手表中。

不过，为了识别快速频繁的交互，TapID方案降低了缓冲时间，但可能会对一次大幅度的敲击二次识别。此外，目前还未对单手多点触控/敲击进行优化，而且未来还将针对各种不同材质的敲击平面进行优化。由于TapID与VR头显的手势识别功能结合，使用者需要看向手的方向，以避免手指超出可追踪区域。未来，科研人员还将就上述问题进行优化。参考：VRScout