康奈尔大学和威斯康星大学的研究人员已经发展Fingertrak，可以量化和记录整个人手的完整且复杂的定位，而无需直接直接看手指，可以量化和记录整个人手的完整且复杂的定位。
取而代之的是，通过使用人工智能帮助的四个微小的低分辨率热摄像机，从手腕推断出手的轮廓或轮廓。
Fingertrak。图像康奈尔大学
该系统将获得的图像从热摄像机传输到定制的深神经网络，以将图像拼接在一起，以估计3D空间中的20个关节位置。
“这是我们团队的一个重大发现 - 通过查看您的手腕轮廓，该技术可以以3D的精度重建，您的手指是您的手指，”康奈尔（Cornell。
尽管Scifi Lab本身涉及与与人类手相关的人机相互作用有关的多个项目，但Fingertrak是一个显着的里程碑。使该系统与众不同的是，这是手腕轮廓首次用于重建全手姿势。
一篇描述作品结果的论文，“FINGERTRAK：连续3D手姿势跟踪通过腕上的微型热摄像头捕获的深度学习手剪影，”发表在交互式，移动，可穿戴和无处不在的技术计算机协会论文集。
先前的手腕安装相机的实现
以前的手腕安装相机以跟踪手动运动的部署取决于使用摄像头直接捕获手指的位置。事实证明，这些事实太大了，无法实际使用，无论如何只能捕获有限的信息。相比之下，Fingertrak采用热成像和机器学习的二元组来重建手。
该设备的建造在四个豌豆大小的热摄像机左右，每个摄像头略大于三分之一英寸的三分之一，拍摄多个“剪影”图像以形成手的轮廓。然后将这些图像馈送到自定义的深神经网络，该网络重建整个手的虚拟3D渲染。通过FingerTrack，即使手拿着实际的物理对象，也可以捕获整个手姿势的3D图像。
研究结果
事实证明，Fingertrak能够连续重建由20个手指关节位置组成的整个手姿势，而无需对所有手指进行图像。相反，该系统能够使用低分辨率（32 x 24）热摄像头从手腕的有利位置观察手的轮廓来估计整个手姿势。
在相同的背景下测试时，Fingertrak的平均角误差为6.46°，而背景变化时，角度误差为8.06°。
视频用途康奈尔大学
上图取自解释FingerTrack功能的视频。左下方的图像是由热摄像机捕获的实际图像。带有红色关节的手是系统给出的估计手姿势，并叠加在实际人的手上。
最后，右下方的蓝色人造手插图由FingerTrack控制。视频的观众会注意到人造手实时复制人类动作的惊人精确方式。
FingerTrack技术的潜在用途
Fingertrak的潜在应用包括通信，医疗可穿戴设备和手势识别。
张教授认为手语翻译是这项工作的重要潜力。
此外，根据本文的一位作者Yin Li的说法，“我们如何移动手和手指通常会讲述我们的健康状况。”帕金森氏症和阿尔茨海默氏症疾病等疾病可以通过研究早期体征和症状在手动运动中的表现如何来确定。
而且，当然，指尖对游戏以及所有其他类型的替代和虚拟现实应用具有很大的影响。
