专利交易市场

本发明公开了一种基于Kinect深度信息的动态手势识别方法，通过Kinect传感器获得的深度图像序列先对用于确定动态手势开始和结束的两个静态手势进行识别，在检测到开始手势之后，开始根据深度阈值法找到深度图像中手的位置，然后根据手心的特点找到手心坐标进行跟踪，在识别到结束手势之后停止跟踪从而得到动态手势轨迹，对手势轨迹用8个基准方向向量进行编码，用加速的DTW方法与参考动态手势进行比较快速获得识别结果。本发明利用Kinect深度信息能够解决复杂背景、肤色及光照等外界环境的影响，加入确定开始和结束的静态手势以及对DTW方法的优化则可以提高动态手势的识别效率和准确率。

本发明涉及视频分析与模式识别领域，具体涉及一种动态手势识别方法。该方法首先通过卷积网络模型对视频序列进行高层视觉特征提取，并通过YOLO模型得到手势区域的位置信息，将位置信息转化为特征向量后，将手势位置特征和高层视觉特征分别输入到双流长短期记忆网络模型(LSTM)对手势轨迹进行时序模型跟踪，以手势位置特征作为主要跟踪环节，高层视觉特征对识别结果进行空间监督，并利用YOLO输出结果中的平均置信度作为自适应融合控制器参数，实现自适应融合权重调节，促进跟踪网络的回归，实现手势快速跟踪识别。

本发明公开了一种基于双帧速率分治行为识别网络的动态手势识别方法，采用一种双通道三维卷积神经网络模型来提取动态手势的时空特征，所使用的输入设备为普通的USB摄像头采集的视频帧序列，通过普通USB摄像头采集手势图像和视频进能够完成手势识别，相较于使用3D传感器大大节省了设备成本，旨在能够广泛的应用于多种领域。同时本发明根据目前手势人机交互常使用的手势种类定义诸如向左、向右、确定等手势，是一种通过深度学习实现的分类问题，本发明根据常见的人机交互指令创建的手势视频数据集，在采集过程中考虑到不同场景和角度的应用情况，在虚拟现实和智能办公领域保持良好的识别准确率。

本发明请求保护一种基于轻量3D残差网络和TCN的多模态动态手势识别方法。首先，对数据集中的原始视频进行采样，按照时间顺序排序保存；然后，使用大型的公开手势识别数据集对轻量3D残差网络进行预训练，并保存模型的权重文件；接着，使用RGB‑D图像序列作为输入，轻量3D残差网络和时间卷积网络作为基础模型进行长短期的时空特征的提取，并使用注意力机制加权融合多模态的信息。其中RGB和深度(Depth)序列分别输入相同的网络结构；最后，使用全连接层进行分类，采用交叉熵损失函数计算损失值，并使用准确率和F1Score作为网络模型的评估指标。本发明既可以达到较高的分类准确率，又具有参数量低的优点。