专利交易市场

本发明公开了一种基于多模态融合网络的多模态情感分析方法，该方法获取待处理的情感信息模态，对待处理的情感信息模态进行数据提取，将数据提取后的情感信息模态输入至训练后的多模态情感分析模型，输出得到所述待处理的情感信息模态的情感预测结果；所述训练后的多模态情感分析模型通过多尺度特征提取模块捕捉模态数据的多样化特征，利用文本多模态特征融合模块将不同模态进行融合，引入无监督对比学习挖掘融合特征与多尺度特征间的信息，进一步优化了特征表示，该方法增强了模型对不同尺度特征的提取，并充分利用文本模态，提高了情感分析的准确性。

本发明属于自然语言处理领域。技术方案是：一种基于多任务学习与层叠跨模态融合的多模态情感分析方法，其具体执行步骤如下：步骤1：将原始视频拆剪为视频片段，提取可被模型识别的文本、音频与视觉特征；步骤2：将步骤1)提取的文本、音频和视觉特征首先输入至单模态特征提取模块，得到具有上下文语义信息的单模态隐藏层特征，再将这些单模态隐藏层特征输入至层叠跨模态特征融合模块，进行特征融合与提取，得到多模态高层特征；步骤3：将步骤2所得的多模态高层特征与单模态高层特征进行拼接，通过多层感知机，输出最终的情感分类结果。该方法能在保留模态异质性的前提下，连贯融合不同模态的特征，有效识别复杂场景下的多模态情感。