专利交易市场

本发明公开一种基于时序检测单元预筛选的视频行为检测方法。该方法是从长视频中构建时序检测单元，对其中关键帧进行目标识别后生成候选片段，解决了长视频分析中检测费时的问题，同时设计了边界回归模块以提高检测精度。本发明由于将性能提升着眼于数据预处理环节，方法简单易于实现，对使用传统方法的工程无需重新构造，详细兼容，能够节省大量人力。并且可以与其它提高检测速度与精度的方法相结合，进一步提高时序行为检测性能。

本发明涉及计算机技术领域，提出一种视频行为识别方法、装置、存储介质和服务器。首先获取待识别视频，从所述待识别视频中提取出多帧视频图像；然后将所述多帧视频图像输入预先训练完成的神经网络模型，以获得该神经网络模型输出的行为识别结果。本发明在该神经网络模型的结构中添加了以下数据处理逻辑：获取所述多帧视频图像的图像处理数据，该图像处理数据为包含图像全局特征信息的四维矩阵，通过对该四维矩阵进行卷积处理，能够得到包含图像局部特征信息的四维矩阵，然后将该包含图像全局特征信息的四维矩阵和该包含图像局部特征信息的四维矩阵分别平铺后再相乘，从而将视频图像的局部特征与全局特征相结合，能够提高视频行为识别的准确率。

本发明提供一种基于改进MobileNet的视频行为识别方法，其包括如下步骤：首先，将待识别行为视频中的多个连续行为帧输入到所提出的识别网络中，来挖掘行为视频中前后帧之间的运动趋势特征。然后，在加权逐点卷积过程中，在时间轴上添加了一个随机淡入因子，为每个相关帧提供不同的权重来更有效地利用不同时刻的行为帧之间的运动趋势关系。本发明提供的行为识别方法采用了基于多帧MobileNet的轻量级网络架构，通过引入多个连续的行为帧来描述相似行为的内部差异，实现了细粒度的行为识别、检测和评估，提高基于视频的行为识别正确率。

本发明提出一种基于弱监督学习的视频时序行为检测方法，采用对抗思想，通过加入精细化分层对片段级的行为边界进行切分，减少时序检测下行为实例的冗余信息；采用GCN显式建模片段的相似关系，提出了类别片段融合的内外对比损失来监督视频特征的中间表示，通过增大前景与背景间的特征距离，减小相同类别间的特征距离来解决上下文混淆问题，阈值融合得到“行为提案”，实现行为实例结构上完整性与内容上独立性定位的目的；采用互补思想，针对视频信息在特征学习、关系推理过程中的丢失问题，本发明提出将全局节点加入到互补学习层，将学习后的特征根据时间的连续性进行级联与全局节点进行相似度量，保证视频信息的完整性及行为识别的准确性。

本发明涉及一种复杂场景下实时视频多人行为识别方法及系统，属于机器视觉技术领域。该方法包括：采集视频数据；建立场景人脸标签库，用于人脸识别模型训练；构建轻量化SlowFast模型用于复杂场景多人行为识别；建立不同人员类别异常行为动作标签库，建立训练行为动作标签库；将训练数据集经过预处理之后，输入到构建的轻量化SlowFast网络中进行训练；利用人脸识别模型和轻量化SlowFast网络模型进行实际场景行为动作检测、识别。本发明通过人脸识别，确定人员类别身份，建立人脸检测框与人员位置定位框的关联关系，对场景中目标人员的行为动作进行检测和识别，以实现在复杂场景中不同类别人员异常行为的监测和预警。