专利交易市场

本申请涉及一种基于超图层级对比学习的多模态情感识别方法，对语音数据、文本数据、图像数据分别进行特征提取；基于时间序列，并基于提取出的语音模态特征、文本模态特征、图像模态特征构建节点，以两节点之间的相似度作为边的权重，构建模态互联图；将每个时间步的模态互联图分别聚合为不同的超点，以两超点之间的语义相似度确定超边的生成，构建第一超图；对第一超图分别进行成员掩码和节点掩码，分别得到第二超图、第三超图；基于第一超图、第二超图、第三超图进行多层级对比学习，并计算联合损失；增强三种模态特征的融合特征，得到增强特征，基于联合损失对增强特征进行联合优化，得到多模态情感表示，基于多模态情感表示预测情感识别结果。

本发明公开了一种基于跨模态特征互补和有向图学习的多模态对话情感识别方法，涉及对话情感识别技术领域，所述方法包括：获取视频对话数据，对所述视频对话数据进行特征提取，获得第一特征；对所述第一特征进行编码，获得第二特征；基于所述第二特征构建跨模态异构图，基于所述跨模态异构图获得注意力权重；基于所述注意力权重对所述跨模态异构图进行更新，获得最终跨模态异构图，提取所述最终跨模态异构图的互补特征信息，基于所述互补特征信息，对所述最终跨模态异构图的特征进行融合获得增强特征；基于所述增强特征构建多模态有向图；基于所述多模态有向图获得情感特征，将所述情感特征传输至预训练情感分类器进行预测，获得预测情感结果，可以解决现有ERC方法中多模态数据融合中的冲突和异构性、以及忽略各模态之间的相互作用，导致模态信息丢失、模态融合不充分的问题。

本发明涉及自然语言处理、深度学习、多模态情感分析领域，特别涉及一种基于注意力融合的在线短视频多模态情感识别方法，该方法包括：获取短视频中的各个单模特征；采用双向GRU分别对上述特征进行预处理，得到模态内部信息；结合模态内部信息和模态之间的交互作用，得到各个高级模态特征；根据注意力机制确定各模态的贡献程度，得到总特征向量，并输入到softmax函数中，得到基于注意力融合的双向GRU多模态情感识别模型；训练该模型，将待识别的短视频输入到训练好的模型中，得到情感识别结果；本发明很好的融合了各单模态特征，有效挖掘视频中所表达的情感信息，从而提升了多模态情感识别的准确率及效率。