摘要
本发明公开了一种结合多模态特征分析与神经网络的羽毛球运动员犯规动作识别方法,包括:实时提取运动员的人物图像、运动姿态序列、光流数据;将人物图像送入双流网络的空间流网络中,获取运动员空间特征;将运动姿态序列作为有向图传入多层的图卷积神经网络中,获得运动员运动时的姿态时空特征;将每一帧光流数据先经过卷积神经网络提取特征后再送入时间关系网络,获取运动员的光流运动信息特征;分别将得到的三种特征两两配对,得到三种聚合特征并分别送入卷积神经网络中,得到三种融合特征并将其加权融合得到最终的整体人体多模态融合运动特征,将其送入全连接网络中得到最终的动作分类识别结果。本发明提高了运动员犯规动作识别准确度。