专利交易市场

一种基于双向门控循环单元网络和新型网络初始化的情感识别方法，提取文本、视觉和音频三个模态的高维特征并按字级对齐，进行归一化处理，输入至双向门控循环单元网络进行训练，采用网络初始化方法对各个模态网络训练初期的双向门控循环单元网络和全连接网络的权重进行初始化，采用最大池化层和平均池化层对双向门控循环单元网络输出的状态信息进行特征提取，将两个池化后的特征向量进行拼接作为全连接网络的输入特征，将待识别的文本、视觉和音频输入训练后的各个模态的双向门控循环单元网络，得到各个模态的情感强度输出。本发明能克服长期依赖问题，提高双向门控循环单元网络在训练中的鲁棒性，提高基于情感时间上下文信息的情感识别准确率。

本发明公开了场景级上下文感知的情感识别深度网络方法，通过读取训练样本集Xin身体标注值与原始情感标注值，得到身体部位图像集XB；对Xin和XB归一化处理后分别送入上、下层卷积神经网络，提取情感特征TF和上下文情感特征TC，将TF和TC分别送入上、下层自适应层得到融合权重λF和λC，将TF、TC、λF和λC融合得到情感融合特征TA，TA经全连接层线性映射，得到arousal和valence初始预测值，衡量两个初始预测值与原始情感标注值之间的损失，逐步收敛，完成训练，得到网络模型；将测试样本集处理后送入网络模型，获得测试样本集Xtn预测标签值。本发明的方法融合特征时考虑到不同属性的特征对与人物情感的影响程度，在丰富基于图像的情感识别研究工作的基础上提高了模型的预测性能。

本发明公开了基于特征级上下文信息感知的面部情感识别方法，步骤如下：1、确定训练样本集和测试样本集；2、提取训练样本的人脸区域并统一尺寸；3、采集每个人脸图像的面部特征点，筛选情感相关部位特征点，确定面部情感区域；4、提取所有面部情感区域的MU-CLBP特征值；5、将MU-CLBP特征值送入SVR训练，获得SVR情感模型；6、获取测试样本集中所有测试样本MU-CLBP特征值，并将测试样本MU-CLBP特征值送入SVR情感模型，得到arousal和valence预测值。本发明通过对面部情感区域筛选克服对整张人脸图像分析时存在的特征冗余情况；且充分挖掘与利用像素点邻域上下文信息，识别结果准确度高。