编译/VR陀螺

近日，康奈尔大学 Ann S. Bowers 计算机与信息科学学院的研究人员开发了一款名为 EchoWrist 的智能手环设备，该设备能够通过人工智能驱动的无声声波连续检测手部位置，以及手与之交互的物体。这一技术的出现，为虚拟现实(VR)、通过手势控制智能设备以及理解用户活动等潜在应用领域带来了新的可能性。

EchoWrist 技术的小巧尺寸使其可以轻松安装在商用智能手表上，并且能够在标准智能手表电池的供电下持续运行一整天。该技术是未来交互式智能计算机界面(SciFi)实验室最新的低功耗、身体姿态追踪技术之一。实验室由信息科学助理教授郑成(Cheng Zhang)领导，他表示：“手部动作是非常重要的基本动作，几乎所有的活动都涉及手部，这款设备提供了一种低成本且非常精确的连续追踪手部姿态的解决方案。”

图源：论文截图

李奇俊(Chi-Jung Lee)和张瑞东(Ruidong Zhang)，两位信息科学领域的博士研究生，也是该研究的共同第一作者，将在 5 月 11 日至 16 日举行的计算机协会人机交互因素会议(CHI'24)上展示他们的研究，题为“EchoWrist: 使用低功耗主动声学感应技术在手环上实现连续手部姿态追踪和手-物体交互识别”。目前，该研究已在知名预印版论文平台 arXiv 上发表。

EchoWrist 还允许用户通过手势控制设备并进行演示。李奇俊表示：“我们可以通过单手交互来丰富与智能手表或其他设备之间的互动，可以远程控制我们的智能手机，单手控制 PPT。”张瑞东说：“这是实验室首次将技术扩展到身体之外，EchoWrist 不仅追踪手部本身，还追踪物体和周围环境。”

图源：论文截图

该设备使用两个微型扬声器，安装在手环的顶部和底部，向手和任何手持物体发射无声声波。两个附近的麦克风接收回声，由微控制器解释。一个比 25 美分硬币还小的电池为设备供电。研究团队开发了一种受大脑神经元启发的人工智能模型，称为神经网络，根据回声解释用户的手部姿态。

为了训练神经网络，他们比较了回声轮廓和用户做出各种手势的视频，并根据声信号重建了 20 个手部关节的位置。在 12 名志愿者的帮助下，研究人员测试了 EchoWrist 检测物体（如杯子、筷子、水瓶、锅、平底锅和水壶）以及动作（如喝水、搅拌、剥皮、拧动、切菜和倒水）的能力。总体而言，该设备的准确率达到了97.6%。

图源：论文截图

这项能力使用户能够跟随交互式食谱，追踪厨师的进度并读出下一步——这样厨师们就可以避免弄脏屏幕。与 SciFi 实验室之前使用摄像头的 FingerTrak 手部追踪技术不同，EchoWrist 要小得多，且能耗显著降低。共同作者、康奈尔大学 Bowers CIS 和多学院设计技术系教授弗朗索瓦·吉姆布里埃(François Guimbretière)表示：“声学追踪的一个重要附加好处是，它真正增强了用户的隐私，同时提供了与摄像头追踪相似的性能水平。”

该技术还可用于为虚拟现实应用重现手部动作。现有的 VR 和 AR 系统通常使用安装在头戴设备上的摄像头来完成这项任务，但这种方法消耗大量电力，一旦手部离开头戴设备的有限视野就无法追踪。郑成表示：“这项技术最令人兴奋的应用之一将使人工智能能够通过追踪和解释日常活动中的手部姿态来理解人类活动。”

研究人员指出，EchoWrist 在区分形状高度相似的物体（如叉子和勺子）时仍有困难。但团队相信，随着技术的进一步优化，物体识别能力将得到提升。他们相信，通过进一步的优化，EchoWrist 可以轻松集成到现有的市售智能手表中。

更多信息，请参考：Chi-Jung Lee 等人，《EchoWrist: 使用低功耗主动声学感应技术在手环上实现连续手部姿态追踪和手-物体交互识别》，arXiv (2024)。

来源：techxplore