本发明公开了一种基于音视频信息融合的母猪哺乳行为识别方法,包括:采集哺乳期母猪俯视视音频数据,对原始视音频数据进行音频和视频画面提取,音频去噪、分帧,获取音频波形图序列,根据原始视频画面提取对应的光流图序列;将光流序列和视频帧输入预设外观‑运动双流网络提取视觉特征,将音频波形图序列输入预设听觉特征提取网络,之后拼接融合视觉和听觉特征,并输入预设长短期记忆网络提取时序视听觉特征,最后送入全连接层和软最大进行行为分类,输出哺乳行为类别。本发明利用了哺乳行为中的视觉和听觉信息,识别猪场环境下的母猪哺乳行为,从而获取母猪哺乳信息,有利于及时发现哺乳行为异常情况并采取有效措施,提高猪场经济效益。
📄 2020113363615
📂 G06V40_10
👤 广东技术师范大学
📅 2020-11-25