专利交易市场

0本发明公开了一种基于视频音频识别的变电站鸟类识别方法及系统，所述的变电站鸟类识别方法包括：通过FAST算法对采集的变电站周围鸟类视频数据进行关键特征点检测，通过BRIEF算法对检测的关键特征点进行标记，得到标记有关键特征点的鸟类视频数据，对鸟类视频数据画面进行分区处理，识别出需重新确定的大变动区域，利用矩形框将这些大变动区域切割下来作为一副单独的图像；对矩形框切割的大变动区域鸟类图像数据进行Mosaic数据增强；通过TDAN算法从经数据增强的鸟类图像数据中筛选出符合鸟类特征的图像数据，生成更高分辨率的视频序列；从特征识别后的鸟类图像数据所对应的鸟类音频数据中，通过M‑GRNN模型筛选出符合鸟类特征的音频数据；采用AVSR方法将符合鸟类特征的视频数据和音频数据进行模态特征融合，然后输入Transformer解码器进行鸟类信息识别，其中在Transformer解码器上嵌入LM执行联合解码，得到鸟类识别结果。本发明能够显著提升鸟类识别的精确度。