日前，韩国实感交互人体感应解决方案研究中心(실감교류인체감응솔루션연구단)的研究人员日前为操纵虚拟对象提出了一种成本高效的三指外骨骼手部动捕设备，以及一种基于物理引擎的手部交互模块。

设备能通过独特的伞齿轮结构，以及六个3D磁传感器来提供12个自由度的手指运动数据。研究结果表明，两个指尖之间的相对距离误差小于2毫米，而且系统在实时处理复杂的关节数据时能够支持用户再现精确的手部运动。研究人员将手部动作与基于物理引擎的交互框架(包括一个抓握解释器和多模态反馈操作)进行同步，从而最小化手部穿过对象的情况。这款系统能够实现虚拟环境中的对象操作可行性。

1. 介绍

为了增强虚拟环境中的真实感，用户和虚拟内容之间的真实交互十分重要。到目前为止，许多研究人员都专注于使用RGB-d传感器，线性或旋转电位器，或IMU来测量手指运动。

诸如Leap Motion或微软HoloLens所采用的图像传感器或红外传感器属于非接触式传感器，因此具有易于使用的优点，但它们本身受限于手部的自我遮挡，所以需要特定的环境才能正常工作，包括能见度，光照条件。

基于线性或旋转电位器的动捕方法涉及某种类型的可穿戴机制，而这种方法缺乏准确性，因为它为每个手指分配1-2个自由度，并假设手指与测量值之间存在线性关系。有人则在外骨骼的关节处使用旋转电位器，但由于这种机械装置无法覆盖手指的工作空间和缺乏自由度，所以它们不可避免地存在缺点。

韩国实感交互人体感应解决方案研究中心的研究人员提出了一种新颖的手部动作捕捉可穿戴设备，利用3D磁性非接触式传感器来捕捉手指的全4自由度运动。

与早期尝试实现手部交互的解决方案相比，他们的设备存在几个优点：第一，它忽略了运动追踪期间自我遮挡的存在，因为系统是从磁传感器读取数据;第二，机械装置完全覆盖了手指的运动范围，从而能提供准确的手指运动数据;第三，研究人员的其中一个设计目标是，以低成本提供准确的手部交互方法。设备采用了简单的磁位置传感器，而每个元件的成本约为1美元，因此整个机械装置的制造成本预计低于200美元。

接下来，这支韩国团队研发了一个基于物理的虚拟交互模块，它能够校正因缺乏触觉反馈而导致的真实手与虚拟手不匹配。Kim等人于2016提出了一种采用物理粒子的对象向状态管理，但它主要是控制虚拟对象的姿态，没有考虑运动学上的手部运动，从而有可能导致操纵错误，例如手部穿透对象。研究团队提出了一种算法，其能够在考虑物理可行性的情况下重建虚拟手势，并提供多感官反馈以支持自然的感觉交互。

2. 系统描述

这种外骨骼是一款三指机械装置，总共能提供12个自由度。每个手指的装置能随手指实现外展和内收，基座处搭载了偏转关节，而一个中间关节则用于支撑手指的弯曲和伸展，如图2所示。

两个3D磁传感器位于第一和第四关节处。当手指移动时，完成初始校准步骤后的系统将能以100Hz的速度下确定机械装置的末端执行器(指尖)的姿势(位置和方向)。对象的真实长度与两指尖距离的误差平均不足2毫米。优化过程和逆运动学可以提供虚拟手指的配置以重新生成虚拟手部。设备搭载的Vive追踪器则能带来手部的全局定位与方向。

研究人员已经根据所述机械装置提供的数据，并利用渲染的手部运动来执行物理模拟。特别地，为了提供触摸感，振动致动器将附接到设备的每个指尖位置，并且每当关联对象检测到碰撞时就产生触觉反馈。研究人员使用Bullet Physics来进行碰撞检测，并在与对象接触的手部表面上构建一组粒子碰撞器以计算效率。他们通过求解一系列优化问题来减少由于运动学运动而引起的手与对象重叠，从而生成无穿透的手部姿势。时间一致性同时帮助提供了稳定的手部姿势。

3. 展望未来

如图3所示，研究人员设置了一个专注于需要对齐和平衡的对象的场景，而这需要精确的手部动作。在未来，这支团队计划整合新的触觉致动器和渲染引擎，从而实现更逼真的模拟。