专利交易市场

本发明公开了一种基于多目标关联深度推理的图像问答方法。本发明包括以下步骤：1、对图像和以其自然语言描述的文本进行数据预处理，2、基于候选框几何特征增强的适应性注意力模块模型，进行各目标的注意力机制重排序。3、基于AAM模型的神经网络结构。4、模型训练，利用反向传播算法训练神经网络参数。本发明提出一种针对图像问答的深度神经网络，特别是提出一种对图像-问题文本的数据进行统一建模，在图像中各目标特征上进行推理，对各目标的注意力机制重排序从而更精确地对问题进行回答的方法，并且在图像问答领域中的获得较好效果。

本申请提供了一种图像问答方法、装置、系统和存储介质。图像问答方法包括：提取表示问题的语义的问题特征、图像的全局特征、以及包围图像中的对象的检测框的检测框特征；基于问题特征、全局特征和检测框特征获取图像的至少一个区域中每个区域的第一权重以及图像的至少一个检测框中每个检测框的第二权重；利用第一权重对全局特征加权处理，得到图像的区域注意力特征；利用第二权重对检测框特征加权处理，得到图像的检测框注意力特征；以及基于问题特征、区域注意力特征和检测框注意力特征预测问题的答案。本申请提供的技术方案可综合考虑图像的全局特征和包含有对象检测框的检测框特征，从而提高图像问答的效率和精度。