CVPR‘15 Joint action recognition and pose estimation from video

任务:action recognition and pose estimation 

思路:对动作和姿态进行统一建模,将动作分成姿态,再将姿态分成part,学习三种level特征,通过动态规划有效的推断动作标签和姿态。

方法:统一建模,划分,推理,SVM

1.intro

1.1动机

动作识别和姿态估计都是基于视觉的人体运动理解重要任务。虽然两任务目标不同,但是这两个任务是高度耦合的,现有方法中分别训练两个模型,并一次组合推理:将姿态估计作为动作识别的输入。对于由身体部位的特定集合构型定义的某些动作,单张图像的姿态估计可能足以进行动作识别。

这类方法也有全店:动作识别的准确率高度依赖获得的姿态估计,由于姿态变化大且复杂,在动作数据集的背景中,具有鉴别性的部分(如手臂,手,腿,和腿)在姿态估计中经常被遗漏,从而恶化了后续的动作识别。然后这些人体部位再动作中有较大的运动,可以通过运动信息进行恢复。例如图1,用姿态估计方法错误检测到的手臂和腿被我们的方法成功检测到,除了手臂和腿部的运动信息外,动作识别还提供了对姿态序列的强先验。此外,如果动作限制再预定义的分类中,动作在空间和时间上对似然姿态提供了强约束。

1.2方法概述

首先建立一个时空和或图模型来联合表示动作和姿态,以及后续帧中的横向时间姿态关系。在顶层,通过粗层次特征捕获低分辨率动作信息,对动嘴进行分解胃每一帧的姿态。每一个姿态分解成五个独立的中层ST-part,所有细级别的部分都以他们的stpart父母为条件,每个st-part通过聚类被离散成几个组件。

2.贡献

(1)提出了时空AOG模型进行集成动作识别和姿态估计,两任务是互利的

(2)代表了三个尺度的的动作。粗,中和细的特征与pose特征联合训练。

3.表示以及建模

3.1. Spatial-Temporal And-Or Graph Model

时间帧上,动作表示成姿态

姿态表示为part ,以及part里面的特征表示

 ST-part中特征:classification feature 和 detection feature

classification feature for action classification

 detection feature for regularization其实就是姿态特征

 然后还有两种边的特征,

3.2 Score Functions

主要就是之前的集中特征,放进去算评分,一步一步算下去

4. Inference

通过推理得到动作标签内和part的位置,粗水平和中水平特征直接通过SVM得来,细水平特征对应M个独立想,每项对应一个st-part的医院粉丝和二元转换分数的总和,用动态规划来寻找最佳路径。

5. Learning

5.1st-part学习

ST-parts分为:head, left elbow, right elbow, left knee, right knee.

st-part的特征可以表示为,作为聚类距离

 5.2 ST-part Clustering

主要就是通过上面的聚类距离,来分类每个part

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>