摘要
本发明公开了一种基于互信息的图文对齐方法,首先构建包括特征提取模块和特征对齐模块的图文对齐网络模型,所述特征提取模块包括图像特征提取模块和文本特征提取模块,分别用于提取图像特征和文本特征,所述特征对齐模块用于计算对齐损失,所述对齐损失包括为模态内损失和模态间损失。然后对构建的图文对齐网络模型进行训练,将待对齐的图像和文本输入训练好的图文对齐网络模型,得到图像对应文本排序或文本对应的图像排序,实现图像与文本的对齐。本发明充分利用图文数据间的互信息,对齐难以区分的图像文本对,提高图文对齐性能。