一种面向生活记录的跨模态图像检索方法，包括训练网络构建、数据集处理、训练与检索和检索结果输出四个过程。本发明保证了其数据集的可靠、有效、实用，同时利用预训练网络的微调训练出检索模型，并通过检索模型寻找与问询最接近的生活记录图片。在数据集中含有大量图片之外其他模态数据的情况下，在训练模型的过程中，通过对训练集施加的范围限制，有效利用了心跳、步数等生物信息提高训练的性能:判别模型能够找出最符合问询类型的10张图片，并保证这10张图片彼此之间具有一定的差异性，即在确保准确率的前提下，同时尽力提高检索结果的多样性，使得检索结果的查准率和查全率均得到保障。
📄 2019109493079
📂 G06F16_535
👤 浙江工业大学
📅 2019-10-08
一种基于跨模态对齐的多粒度手语视频‑文本检索方法，首先通过自监督方法增强手语视频表征；再通过时间注意力同时考虑视频片段间和视频片段内信息的相关性优化视频片段特征，利用时间协方差池化将视频片段特征聚合为手语视频粗粒度特征，联合细粒度信息充分挖掘手语视频和文本间的跨模态多粒度对齐信息；接着利用共享注意力残差高斯分布网络将手语视频和文本参数化为特征分布，通过对齐特征分布缓解手语视频与文本的模态差距；最后通过计算文本到手语视频的细粒度相似度分数，来检索与查询文本相匹配的手语视频。本发明考虑了手语视频‑文本检索问题的多粒度跨模态信息，检索结果准确性高，效果好。
📄 2025100094933
📂 G06F16_732
👤 浙江工业大学
📅 2025-01-03
一种基于边界互信息的跨模态哈希检索方法，包括以下步骤：步骤1、搭建网络，构建特征学习网路和哈希学习网络，每个模态的特征学习网络和哈希学习网络均由多层全连接层组成的生成对抗网络构成；步骤2、构建哈希函数；步骤3、构建由交叉熵损失，排序余弦三元损失、边界互信息损失、带正交约束的离散损失构成的目标函数；步骤4、目标函数优化；步骤5、将数据集划分为查询集Q与待查集P，并取待查集P的一部分作为训练集T,将训练集数据和标签信息作为网络的输入，并初始化网络参数和哈希码，重复步骤4，迭代得到最优的网络参数和哈希码，根据步骤2获得最优的哈希函数；步骤6、跨模态检索与精度测试。本发明优化收敛，检索精度高。
📄 202311690560X
📂 G06F16_31
👤 浙江工业大学
📅 2023-12-11
本发明公开了一种基于文本生成和迭代匹配的图文检索方法，包括利用BI‑GRU网络模型和CNN网络模型依次提取出初始文本特征向量和初始图像特征向量。本基于文本生成和迭代匹配的图文检索方法通过分别训练BI‑GRU网络模型和CNN网络模型，利用训练好的BI‑GRU网络模型和CNN网络模型分别提取文本特征和图像特征，再分别与数据库中的图像特征和文本特征计算相似度，将数据库中相似度最大的前若干名的图像特征和文本特征作为检索的结果输出，实现图文检索；文本生成模块通过图文信息交互增强了图像和文本的整体语义相关性，有效解决跨模态图文检索中难以直接度量图像和文本的相似性的问题，提升图文检索精度。
📄 202310781908X
📂 G06F16_432
👤 浙江工业大学
📅 2023-06-29
本发明提出了一种基于判别性关联最大化哈希的跨模态检索方法，包括：对训练数据集进行多模态提取，得到训练多模态数据集；对于训练多模态数据集，构造该数据集上的基于判别性关联最大化哈希的目标函数；求解所述目标函数，得到图像、文本的投影到公用的海明空间的投影矩阵、图像文本对的联合哈希码；对于测试数据集，投影到所述公用的海明空间，并通过哈希函数量化为训练集样本的哈希码；基于哈希码进行跨模态检索。本发明提高了跨媒体检索的效率和准确度。
📄 2017105810831
📂 G06F17_30
👤 山东师范大学
📅 2017-07-17
本发明公开了一种基于协同矩阵分解的跨模态检索方法,同时考虑保持原始空间样本对的局部几何流形结构，使用图正则项加入了模态内与模态间的约束，采用普遍使用的mAP(平均准确率)作为性能评价指标。本发明不仅考虑了样本的模态内相似性，还考虑了样本对模态间的相似性，为以文检图和以图检文准确性提供了保障。本发明利用协同矩阵分解技术、哈希函数，同时加入了保持模态内与模态间相似性的图正则化项，提高了以文检图和以图检文的相互检索性能，广泛应用于移动设备、互联网以及电子商务中的图片文本互相检索服务。
📄 2018100624840
📂 G06F16_583
👤 南京邮电大学
📅 2018-01-23
本发明公开一种基于交叉注意力的大坝缺陷图像文本跨模态检索方法，包括：1)文本‑图像特征提取；2)文本‑图像交互特征提取，将图像特征图和文本特征向量输入到交叉注意力模块，提取每个图像特征图和整段文本的交互特征矩阵；3)文本‑图像特征图全局相似度计算，将交互特征矩阵使用余弦相似度计算得到相似矩阵，然后从文本检索和图像检索两个任务出发分别计算全局相似度，文本检索任务中，计算全局相似度时质量较高的图像特征图赋予更高的权重；4)最小化损失函数优化训练结果：采用改进的铰链三元排序函数作为损失函数，最小化排序函数来优化训练结果。本发明在大坝图像检索文本和大坝缺陷描述文本检索图像任务中取得了较好的检索效果。
📄 2021105355429
📂 G06F16_58
👤 河海大学,华能澜沧江水电股份有限公司,华能集团技术创新中心有限公司
📅 2021-05-17
本申请公开了一种跨模态检索方法、装置和可读存储介质，属于计算机技术领域。该方法包括：在被检索图像中提取包含目标对象的感兴趣区域的图像特征；在检索语句中提取短语特征；基于注意力模型，采用感兴趣区域的图像特征计算检索语句对应的图像特征值；基于相似度计算模型，采用短语特征和图像特征值，计算短语特征和感兴趣区域的图像特征的相似度，并根据相似度输出检索结果。本公开基于注意力机制计算检索语句对应的图像特征值，使得图像特征值中，感兴趣区域中与检索语句相关的区域的图像特征比感兴趣区域中与检索语句无关的区域的图像特征所占的比重大，进而使得相似度计算的结果更准确，提高了检索的准确度。
📄 2018108626295
📂 G06F16_583
👤 杭州海康威视数字技术股份有限公司
📅 2018-08-01
本发明属于跨模态检索、模式识别技术领域，公开了一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统，基于鲁棒监督的深度离散哈希跨模态检索方法采用模态内和模态间一致性保持策略，同时进行非冗余特征选择；并选择具有最小冗余度的鲁棒性和鉴别性特征生成二进制哈希码；再基于奇异值分解进行离散哈希学习。本发明的RSDDH方法可以优于几种最先进的浅层跨模态哈希方法，且随着哈希码长度的增加，本发明所提出的方法的性能就越好。根据实验结果，验证了特征选择策略、离散哈希方案，模态间和模态内一致性保持策略的有效性，提高了跨模态哈希检索的性能。
📄 2019102469914
📂 G06F16_432
👤 广东石油化工学院
📅 2019-03-29
本发明针对大规模数据的跨模态检索提出了一种基于继承映射的跨模态迁移哈希检索方法。首先，通过线性跨模态迁移学习来保持原始异构特征之间的关联关系；同时，继承映射与跨模态迁移相互协作，以确保从原始特征空间到哈希空间的相关性继承。进一步地，为了挖掘原始特征的结构近邻关系，本发明也采用了具有线性复杂度的锚图模型。而且，高层语义信息也通过线性回归的方法被加强。最终，一种高效的迭代优化策略被用来解决离散优化问题，这有效地避免了传统解法造成的松弛和量化误差。
📄 2019102852348
📂 G06F16_31
👤 山东师范大学
📅 2019-04-10
本发明提供了基于文本生成图像技术的文本视频检索优化方法，本发明利用Stable Diffusion文本生成图像模型，通过对数据集中的文本信息进行图像生成，将生成的图像信息作为视频帧加入训练集，从而有效扩充数据规模。本发明还将考虑将关键帧信息反向生成文本信息，进一步丰富文本数据集。基于扩充的数据集，本发明将设计新的损失函数，综合考虑视频的细粒度与粗粒度特征，优化文本视频检索模型的训练过程，提升检索效果。本发明通过Stable Diffusion驱动的数据增强及优化的损失函数设计，能够有效解决现有文本视频检索研究中的数据缺乏和模型训练不充分等问题，为多媒体内容分析和检索应用提供新的技术支撑。
📄 2024108021067
📂 G06F16_783
👤 南京信息工程大学
📅 2024-06-20
本发明涉及一种基于大批量训练的图文跨模态哈希检索方法，属于跨模态检索领域，用于解决现有基于深度学习的跨模态哈希检索方法，特别是基于三元组的深度跨模态哈希方法的小批量训练时间长，获取样本数量有限，梯度不够好而影响检索性能的问题。包括以下步骤：对图像和文本数据进行预处理；哈希码映射；建立目标损失函数L；通过大批量方式输入三元组数据训练模型；使用训练好的模型进行跨模态哈希检索。本发明提供的方案采用大批量方式输入三元组数据进行训练，加快了每轮训练的时间；由于每次更新参数时具有更多的训练样本，所以能够获得更好的梯度，对权重使用了正交正则化，在梯度传递时能保持梯度，使得模型训练更加稳定，提高检索准确率。
📄 2020100270631
📂 G06F16_432
👤 重庆邮电大学
📅 2020-01-10
柿子坊 · 知识产权运营
柿子坊知识产权运营平台