本发明涉及信息检索隐私保护技术领域,公开了一种安全可验证跨模态检索方法,包括数据拥有者基于多模态数据集中图像模态与文本模态对应的高维向量,构建对应的图像可验证B+树与文本可验证B+树,并将加密后的多模态数据、数字签名后的高维向量与根节点签名值,存储至数据服务提供商中,以供后续接收到查询用户生成的查询向量时,进行跨模态检索。本发明通过构造包含节点数据、索引键值、中心点、半径与摘要的可验证B+树,可在检索时,快速判断节点与查询向量之间的距离,避免了不必要的子树遍历,提高了查询效率;且通过结果验证和签名验证进一步保证了查询结果的真实性。
📄 2025102260548
📂 G06F16_583
👤 江南大学
📅 2025-02-27
本发明涉及一种基于相对相似度的文本视频检索模型训练方法,包括构建语料库的高频元素集合,获取每个视频数据的关键词集合,以便生成每个视频数据的语义标签特征,来计算任意两个视频数据的相对相似度,构建相对相似度矩阵;获取所有视频数据的帧级特征、时序帧级特征与视频级特征;获取每个文本描述的词级特征与句级特征;通过对不同的特征进行不同粒度的交互,获取细粒度相似度矩阵、视频粗粒度相似度矩阵与文本粗粒度相似度矩阵后,构建模态间损失函数、模态内视频对齐损失函数与模态内文本对齐损失函数,组成总损失函数;最小化总损失函数,获取训练好的视频编码器与训练好的文本编码器,构建视频文本检索模型。
📄 2024103762602
📂 G06F16_332
👤 江南大学
📅 2024-03-29
本发明属于面料检索方法领域,涉及一种基于多层级表征的面料跨模态图文检索方法。所述方法步骤如下:建立包含图像和文本数据的产品库;构建图像多层级表征模型处理图像;构建文本多层级表征模型处理文本,得到产品库中文本数据的多层级特征描述,与图像数据的多层级特征描述形成对应关系;构建图文层级特征匹配模型,处理得到的图文多层级特征描述,进行图文特征的层级匹配;制定检索策略,进行图文特征的相似性度量,并根据相似性的大小将相应的文本或图像按顺序进行显示;将检索结果中图像对应的织物工艺单或文本对应的图像调出,以指导生产。本发明具有较高的检索准确率和灵活性,在跨模态检索的工业应用领域具有非常大的潜力。
📄 2022109226597
📂 G06F16_532
👤 江南大学
📅 2022-08-02
本发明公开了一种基于深度辨识度迁移的跨模态检索方法,属于信息检索技术领域。所述方法在学习不同模态数据公共表示特征的过程中,通过最小化解码向量与文本原始特征间的重建损失增强文本公共表示特征的语义辨识度,同时通过权重共享层的模态不变损失和样本相关性损失将文本公共表示特征的语义高辨识度迁移到图片公共表示特征,从而为各模态数据习得高语义辨识度的公共表示特征,进而提升了检索性能。
📄 2021107548341
📂 G06F16_583
👤 江南大学
📅 2021-07-02
本发明涉及跨模态检索与持续学习技术领域,公开了一种面向持续学习的跨模态知识解耦草图图像检索方法,通过模态共有引导和模态特有引导,将草图与图像中的共享语义信息和模态特有表达信息显式解耦,避免持续学习中的知识干扰;利用旧模型与新模型分别提取模态共有特征、模态特有特征及共享特征向量;基于对比学习损失将草图与图像的共享特征分别向同类文本特征靠近,构造共享知识对齐损失;利用旧类别原型,基于新旧模型提取的联合特征与各原型的余弦相似度,通过KL散度构造跨阶段原型损失,并结合三元组损失与分类损失对模型进行训练。通过知识解耦、文本语义对齐与原型蒸馏,有效缓解了持续学习中的灾难性遗忘,提升了跨模态检索精度。
📄 202611258436X
📂 G06F16_58
👤 江南大学
📅 2026-08-19
本发明公开了一种注意力相似度迁移的跨模态哈希检索方法,包括:特征提取多模态数据,得到文本特征向量和图像特征图;将图像特征图利用混合自注意力机制分配自注意力权重,利用多头注意力机制对文本特征向量分配自注意力权重,根据自注意力权重大小分别强化关注图像和文本的关键特征;将图像和文本的关键特征进行多模态共同注意力机制处理,将多模态数据特征映射至公共实值空间;计算公共实值空间的特征相似度,利用迁移学习和哈希函数,将相似关系从公共实值空间迁移至哈希空间,训练得到哈希码;根据哈希码计算相似度,并进行排序。本发明能够强化关注图像和文本的关键信息,提升特征提取质量,加强了模态间的信息交互,同时降低了训练难度。
📄 2022108829101
📂 G06F16_31
👤 北方民族大学
📅 2022-07-26
本申请公开了基于概念向量学习的动态跨模态哈希检索方法和系统,方法包括:基于当前标签信息和哈达玛矩阵构建概念向量矩阵;概念向量矩阵中的概念向量用于表征相同标签的样本具有相同且不变的向量;基于当前标签信息和历史标签信息构建数据相似度矩阵;基于概念向量矩阵和数据相似度矩阵得到目标哈希码;基于目标哈希码得到目标哈希函数;根据目标哈希函数对待查询数据进行分析得到待查询数据对应的待查询哈希码;将待查询哈希码与数据库中的目标哈希码进行相似度计算,得到目标检索结果。本申请能够克服动态数据环境下概念漂移问题的缺陷,提升跨模态哈希模型对概念漂移的适应能力,提高动态跨模态哈希检索性能,可广泛应用于信息处理技术领域。
📄 2024114534864
📂 G06F16_903
👤 华南师范大学
📅 2024-10-17
本申请公开了基于半配对数据的动态跨模态哈希检索方法和系统,方法包括:基于配对标签信息对当前配对哈希编码进行学习得到目标配对哈希编码;基于配对数据集和非配对数据集之间的模态内相似性矩阵以及非配对数据集的模态间相似性矩阵对当前非配对哈希编码进行学习得到目标非配对哈希编码;基于目标配对哈希编码和目标非配对哈希编码得到总目标哈希编码;基于总目标哈希编码和多模态数据特征向量对多模态数据集的当前多模态哈希函数进行学习得到目标多模态哈希函数;基于数据库的目标多模态哈希函数和总目标哈希编码对待检索样本进行检索,得到目标检索结果。本申请能够提高跨模态哈希检索的准确性和效率,可广泛应用于信息处理技术领域。
📄 2024110921285
📂 G06F16_41
👤 华南师范大学
📅 2024-08-09
一种面向生活记录的跨模态图像检索方法,包括训练网络构建、数据集处理、训练与检索和检索结果输出四个过程。本发明保证了其数据集的可靠、有效、实用,同时利用预训练网络的微调训练出检索模型,并通过检索模型寻找与问询最接近的生活记录图片。在数据集中含有大量图片之外其他模态数据的情况下,在训练模型的过程中,通过对训练集施加的范围限制,有效利用了心跳、步数等生物信息提高训练的性能:判别模型能够找出最符合问询类型的10张图片,并保证这10张图片彼此之间具有一定的差异性,即在确保准确率的前提下,同时尽力提高检索结果的多样性,使得检索结果的查准率和查全率均得到保障。
📄 2019109493079
📂 G06F16_535
👤 浙江工业大学
📅 2019-10-08
一种基于跨模态对齐的多粒度手语视频‑文本检索方法,首先通过自监督方法增强手语视频表征;再通过时间注意力同时考虑视频片段间和视频片段内信息的相关性优化视频片段特征,利用时间协方差池化将视频片段特征聚合为手语视频粗粒度特征,联合细粒度信息充分挖掘手语视频和文本间的跨模态多粒度对齐信息;接着利用共享注意力残差高斯分布网络将手语视频和文本参数化为特征分布,通过对齐特征分布缓解手语视频与文本的模态差距;最后通过计算文本到手语视频的细粒度相似度分数,来检索与查询文本相匹配的手语视频。本发明考虑了手语视频‑文本检索问题的多粒度跨模态信息,检索结果准确性高,效果好。
📄 2025100094933
📂 G06F16_732
👤 浙江工业大学
📅 2025-01-03
一种基于边界互信息的跨模态哈希检索方法,包括以下步骤:步骤1、搭建网络,构建特征学习网路和哈希学习网络,每个模态的特征学习网络和哈希学习网络均由多层全连接层组成的生成对抗网络构成;步骤2、构建哈希函数;步骤3、构建由交叉熵损失,排序余弦三元损失、边界互信息损失、带正交约束的离散损失构成的目标函数;步骤4、目标函数优化;步骤5、将数据集划分为查询集Q与待查集P,并取待查集P的一部分作为训练集T,将训练集数据和标签信息作为网络的输入,并初始化网络参数和哈希码,重复步骤4,迭代得到最优的网络参数和哈希码,根据步骤2获得最优的哈希函数;步骤6、跨模态检索与精度测试。本发明优化收敛,检索精度高。
📄 202311690560X
📂 G06F16_31
👤 浙江工业大学
📅 2023-12-11
本发明公开了一种基于文本生成和迭代匹配的图文检索方法,包括利用BI‑GRU网络模型和CNN网络模型依次提取出初始文本特征向量和初始图像特征向量。本基于文本生成和迭代匹配的图文检索方法通过分别训练BI‑GRU网络模型和CNN网络模型,利用训练好的BI‑GRU网络模型和CNN网络模型分别提取文本特征和图像特征,再分别与数据库中的图像特征和文本特征计算相似度,将数据库中相似度最大的前若干名的图像特征和文本特征作为检索的结果输出,实现图文检索;文本生成模块通过图文信息交互增强了图像和文本的整体语义相关性,有效解决跨模态图文检索中难以直接度量图像和文本的相似性的问题,提升图文检索精度。
📄 202310781908X
📂 G06F16_432
👤 浙江工业大学
📅 2023-06-29