专利交易市场

一种基于深度学习的图像描述方法，包括将图像数据集分为训练集和测试集；构建图像描述模型；在ImageNet数据集上训练完成残差网络预训练模型，加载残差网络预训练模型参数至图像描述模型中的可变形卷积残差网络中；将训练集中的图像送入空间变换网络中，空间变换网络的输出结果送到可变形卷积残差网络，可变形卷积残差网络输出图像的特征向量；生成图像对应的文本序列；完成语言模型的构建生成图像对应的语句；使用AdamW优化算法对图像描述模型进行训练；输出图像对应的描述语句；本发明提取的图像特征具有更好的空间表达能力，生成的句子准确度高，语言结构丰富，并且模型训练时间少，收敛速度快。

本发明涉及计算机视觉与自然语言处理领域，公开了一种基于多交互信息融合的图像描述方法，采用目标检测模型提取预处理后训练集的图像显著区域特征，然后使用多视觉语义信息交互模块进行编码显著区域特征得到多层增强图像融合特征，通过对多层增强图像融合特征进行平均池化生成全局图像融合特征；利用多模态交互信息网络挖掘全局图像融合特征与文本语义信息间的关系，从而得到该时间步上下文信息；再经语义解码的线性单元解码上下文信息生成输出单词序列的概率分布。与现有技术相比，本发明能够充分捕获图像视觉信息间的交互信息以及图像视觉信息与文本语义信息间交互信息的多种互补信息，实现对图像语义更加全面的理解。

本发明实施例公开了一种基于关键词的图像描述方法和装置、设备、介质、程序，其中，方法包括：对图像进行关键词提取，得到至少两个对应所述图像的关键词；利用编解码网络，基于所述图像和所述至少两个关键词获得对应所述图像的至少两条描述语句。本发明上述实施例相比于现有技术中直接生成图像描述的方法，本发明实施例可以生成更多样、更全面的描述语句，并且由于具有关键词的导向作用，生成的描述语句更符合人类认知习惯。

本申请实施例公开了一种图像描述模型的训练方法和装置、设备、介质，所述图像描述模型包括图像编码器和语言解码器，其中，所述训练方法包括：经所述图像编码器提取训练图像集中图像的图像特征；经所述语言解码器将所述图像特征解码为自然描述语言；根据所述图像特征检索所述训练图像集、并确定所述自然描述语言和检索结果之间的差异；基于所述差异调整所述图像编码器和/或所述语言解码器的参数。本申请上述实施例提高了训练获得的图像描述模型得到的自然描述语言的准确性。