专利交易市场

本发明公开一种基于注意力引导双向胶囊网络的多模态情感分类方法。由于具有可训练的视点不变变换特性，胶囊网络目前在分析多模态学习的异质性问题上已经证明了它的有效性。在预处理阶段，本发明提供了多模态动态交互增强模块，在特征层面上显式地增强了跨模态同质性，这有利于模型在更加紧凑的局部公共空间内有效地执行多模态解耦过程。在此基础上，提出了基于注意力引导的双向胶囊网络(ABCN)，通过新的双向动态路由机制来探索全局多模态公共消息。然后，利用全局多模态上下文来指导多模态动态路由过程，同时研究每个模态的全局最优公共线索。这大大提高了学习效率，并提供了在所有模式之间架起桥梁的优越能力。

本申请涉及一种基于动态博弈策略的多模态情感分类方法，该方法包括：获取包含图像、文本、语音的待情感分类的多模态数据，并其进行特征提取，得到多模态特征；对多模态特征进行冗余剔除处理，得到初步特征子集；在动态博弈策略的每轮博弈中，通过基于张量分解的高阶协同效应补偿机制补偿初步特征子集中各特征的贡献，得到各特征的补偿贡献度；基于各特征的补偿贡献度对各特征进行权重更新，得到各特征更新后的特征权重；基于更新后的特征权重对初步特征子集进行筛选，得到优化特征子集；进行多轮博弈，直至达到收敛条件，得到最终特征子集；将最终特征子集输入至多模态情感分类模型，输出预测的情感类别。

本发明提供一种多模态情感分类方法、装置及设备，该方法包括：获取图像的特征向量表示和文本的词向量表示；将两种表示输入语义特征提取模型得到上下文的语义表示、目标词的语义表示、图像的第一特征表示和第二特征表示；将上述输出结果输入多通道交互模型得到目标词增强的上下文的语义表示和目标词增强的图像的第一特征表示；将上述输出结果再输入多模态融合模型得到多模态数据表示；拼接平均池化的上下文的语义表示、平均池化的多模态数据表示和图像的第二特征表示得到目标多模态数据表示；根据目标多模态数据表示和归一化分类模型得到目标词在各属性上的情感分类结果。相对于现有技术，本申请能够充分地捕捉情感分类线索，提高情感分类准确性。