摘要
本发明公开了一种基于关节点‑深度联合关注RGB模态数据的双人交互行为识别方法,包括如下步骤:步骤S1:构建关节点‑深度联合RGB关注特征图;步骤S2:采用卷积神经网络对关节点‑深度联合RGB关注特征图进行深层特征提取,并结合长短期记忆网络进行时序建模,得到最终识别结果。本发明提出了一种基于关节点‑深度联合关注RGB模态数据的双人交互行为识别方法,该方法中构建了一种新的多模态数据深度学习的融合框架,利用深度信息关节点信息对RGB数据模态进行关注,充分考虑双人交互运动中的交互关系,并结合CNN和LSTM进行时序建模,加强视频动作的时间依赖关系。