Amy.

  • 10

    获得赞
  • 5

    发布的文章
  • 0

    答辩的项目

开源实时“人手-物体”姿态估计算法HOPE-Net

人脸识别

最后更新 2020-05-15 14:40 阅读 220

最后更新 2020-05-15 14:40

阅读 220

人脸识别

向大家安利一篇CVPR 2020的论文 HOPE-Net: A Graph-based Model for Hand-Object Pose Estimation,基于自适应图卷积技术,作者提出了一种称之为HOPE-Net的“人手-物体”姿势估计模型,在这个问题上不仅计算结果精度更高、速度也更快,GPU上达到实时!而且代码已开源。

以下是作者信息:

11.png

作者来自美国印第安纳大学和华盛顿大学。


何为“人手-物体”姿势估计?

如下图所示:

1212.png

在手拿物体这个动作时,对人手和物体分别进行3D检测,输出物体的2D和3D顶点和手部的关节点。对于理解场景中的人-物交互可以带来很多信息。


提出算法

下图为作者提出算法的流程图:

13.png

作者的核心思想是使用轻量级CNN网络 + 两步图卷积级联网络。 如上所示,图片经过ResNet10网络进行特征编码,并预测初始2D坐标点(人手关节点和物体8个顶点),然后将得到的2D坐标点和图像特征进行图卷积,得到提精的2D坐标点,然后再将得到结果输入作者提出的自适应图U-Net网络(Adaptive Graph U-Net),得到最终的人手和物体的3D坐标。

自适应图U-Net架构如下:

14.png

损失函数分三部分:

15.png


实验结果

作者在First-Person Hand Action 和 HO-3D 数据集上进行了实验,并与之前的方法进行了比较。

下图分别代表与其他方法在2D 关键点和3D关键点上的结果比较:

16.png

可见,该文方法在精度上取得了一致的提高。

17.png

部分检测结果可视化:

18.png

19.png

20.png

该方法计算速度很快,在Nvidia titan Xp GPU上运行,整个推断过程仅需要0.005s。 

值得一提的是,该文使用的两步自适应图卷积的方法不仅适用于“人手-物体”姿态估计,在其他需要将2D坐标点3D化的场合都可以使用。

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可,转载请附上原文出处链接和本声明。
本文链接地址:https://www.flyai.com/article/481
讨论
500字
表情
每日优质讨论奖励 20FAI
发送
每日优质讨论奖励 20FAI
删除确认
是否删除该条评论?
取消 删除