专利交易市场

一种基于多任务深度学习的修正局部敏感哈希车辆检索方法，采用多任务端到端的卷积神经网络分段并行对车辆车型、车系、车标、颜色、车牌同时进行识别，基于特征金字塔提取车辆图像实例特征的网络模块，利用修正局部敏感哈希排序算法对数据库中车辆特征进行排序的算法，在无法获取检索车辆图像的跨模态文本检索方法。本发明提出了一种多任务端到端的卷积神经网络和修正局部敏感哈希车辆检索方法，有效提高车辆检索的自动化和智能化水平，且用较少的存储空间，较快的检索速度来满足大数据时代的图像检索要求。

本发明公开了一种基于向量表示的相似文本检索方法。该方法首先是用词嵌入+池化的方法处理篇章级文本，通过Bert编码得到文本向量表示，利用ball树的方法将所有文本向量表示构建为ball树索引，对所有文本向量表示和ball树中心点进行乘积量化，并建好PQ索引；检索时将查询文本也转化为向量表示，再通过乘积量化计算距离矩阵，基于距离矩阵和Ball树索引结构进行KNN检索得到k个相似文本。本发明构造的基于向量表示的相似文本检索方法支持长文本检索，能对海量的文本向量表示进行准确快速的检索，对复杂的或具有多重语义的文本查询有很好的效果，同时对不熟悉某领域行话的用户或想做探索性搜索的用户非常友好且有帮助，最后相比于Faiss中的IndexIVFPQ方法搜索更加全面准确。

一种基于跨模态对齐的多粒度手语视频‑文本检索方法，首先通过自监督方法增强手语视频表征；再通过时间注意力同时考虑视频片段间和视频片段内信息的相关性优化视频片段特征，利用时间协方差池化将视频片段特征聚合为手语视频粗粒度特征，联合细粒度信息充分挖掘手语视频和文本间的跨模态多粒度对齐信息；接着利用共享注意力残差高斯分布网络将手语视频和文本参数化为特征分布，通过对齐特征分布缓解手语视频与文本的模态差距；最后通过计算文本到手语视频的细粒度相似度分数，来检索与查询文本相匹配的手语视频。本发明考虑了手语视频‑文本检索问题的多粒度跨模态信息，检索结果准确性高，效果好。

本发明公开一种基于交叉注意力的大坝缺陷图像文本跨模态检索方法，包括：1)文本‑图像特征提取；2)文本‑图像交互特征提取，将图像特征图和文本特征向量输入到交叉注意力模块，提取每个图像特征图和整段文本的交互特征矩阵；3)文本‑图像特征图全局相似度计算，将交互特征矩阵使用余弦相似度计算得到相似矩阵，然后从文本检索和图像检索两个任务出发分别计算全局相似度，文本检索任务中，计算全局相似度时质量较高的图像特征图赋予更高的权重；4)最小化损失函数优化训练结果：采用改进的铰链三元排序函数作为损失函数，最小化排序函数来优化训练结果。本发明在大坝图像检索文本和大坝缺陷描述文本检索图像任务中取得了较好的检索效果。

本发明实施例公开了一种检索方法、装置及存储介质。其中，方法包括：接收第一检索文本；所述第一检索文本用于从数据库中检索目标对象；利用所述第一检索文本，结合第一模型，得到第一检索向量；将所述第一检索向量与第一对象向量集中的向量进行匹配，得到第一匹配结果；所述第一对象向量集为所述数据库中每个对象对应的向量形成的集合；获取针对所述第一匹配结果对应的所述数据库中的对象进行操作的反馈结果；利用所述反馈结果，对所述第一检索向量进行修正，得到第二检索向量；将所述第二检索向量与所述第一对象向量集中的向量进行匹配，得到第二匹配结果；将所述第二匹配结果对应所述数据库中的对象作为所述第一检索文本检索到的目标对象。

本发明提出了一种基于谷歌足球模拟器的强化学习方法，包括：基于谷歌足球模拟器构建谷歌足球环境，获取当前时刻的观测信息；根据观测信息利用训练好的大语言模型生成动作提示信息；根据动作提示信息，利用智能体从策略网络中选择动作并反馈到所述谷歌足球环境；根据动作执行后谷歌足球环境下的足球比赛视频和动作提示信息，利用训练好的视频文本检索模型计算视频与文本的相似度，进而得到相似度奖励；根据观测信息计算足球基础奖励；根据足球基础奖励和相似度奖励得到强化学习总奖励；根据强化学习总奖励，利用近端策略优化算法更新智能体的策略网络的参数。本发明能够在谷歌足球模拟器模拟的谷歌足球环境中提高强化学习性能。

本发明实施例公开了一种文本检索字幕库生成方法和装置、视频检索方法和装置。文本检索字幕库生成方法包括：根据预设的语种类型，获取与视频对应的至少两个语种类型的语种检索字幕；将视频库中与各视频对应的语种检索字幕的合集，作为文本检索字幕库；视频检索方法包括：获取文本检索字幕库中与输入检索词对应的至少一个匹配字幕语句集；根据所述匹配字幕语句集获取对应的视频信息，作为所述输入检索词的检索结果。本发明通过在视频检索服务中增加字幕检索，优化了现有的视频检索服务，为用户提供了一种基于台词的视频字幕检索服务，提高了视频检索服务的个性化和便捷化。