专利交易市场

本发明公开了一种基于文本生成和迭代匹配的图文检索方法，包括利用BI‑GRU网络模型和CNN网络模型依次提取出初始文本特征向量和初始图像特征向量。本基于文本生成和迭代匹配的图文检索方法通过分别训练BI‑GRU网络模型和CNN网络模型，利用训练好的BI‑GRU网络模型和CNN网络模型分别提取文本特征和图像特征，再分别与数据库中的图像特征和文本特征计算相似度，将数据库中相似度最大的前若干名的图像特征和文本特征作为检索的结果输出，实现图文检索；文本生成模块通过图文信息交互增强了图像和文本的整体语义相关性，有效解决跨模态图文检索中难以直接度量图像和文本的相似性的问题，提升图文检索精度。

本申请实施例涉及学习设备技术领域，公开了一种电子页面的检索方法及装置、学习设备、可读存储介质。该方法包括：获取摄像模组拍摄到的页面图像中的页标识信息，检索获得与页标识信息匹配的至少两个相似的电子页面，获取每一电子页面对应的复杂度信息，该复杂度信息包括区别特征信息和复杂度，根据每一电子页面的复杂度，确定每一电子页面的比对次数，再按照每一电子页面的比对次数，将页面图像与每一电子页面的区别特征信息进行多次比对，以获得与每一电子页面对应的多次比对结果，根据与每一电子页面对应的多次比对结果，从至少两个相似的电子页面中确定出目标电子页面。实施本申请实施例，能够提高电子页面的检索准确率。

本发明提出了深度对抗注意力跨模态哈希检索方法及系统，包括：注意力学习步骤：获得图像和文本两种模态，利用通道注意力机制，将每个模态的特征表示分为相关的模态特征和不相关的模态特征；模内对抗学习步骤：通过生成对抗网络将每个模态内的不相关特征补充每个模态的相关特征表示信息；模间对抗学习学习步骤：将图像模态的相关的模态特征设为真，将文本模态的相关的模态特征设为假，通过模间对抗学习使得两种模态各自的相关特征表示分布均匀；哈希学习步骤：将图像相关特征和文本相关特征映射在汉明空间中，用于进行跨模态检索。将生成对抗网络、注意力机制、哈希学习结合在一起，相比较之前跨模态检索方法，进一步提高了跨模态检索的准确度。

本发明属于跨模态检索、模式识别技术领域，公开了一种基于鲁棒监督的深度离散哈希跨模态检索方法及系统，基于鲁棒监督的深度离散哈希跨模态检索方法采用模态内和模态间一致性保持策略，同时进行非冗余特征选择；并选择具有最小冗余度的鲁棒性和鉴别性特征生成二进制哈希码；再基于奇异值分解进行离散哈希学习。本发明的RSDDH方法可以优于几种最先进的浅层跨模态哈希方法，且随着哈希码长度的增加，本发明所提出的方法的性能就越好。根据实验结果，验证了特征选择策略、离散哈希方案，模态间和模态内一致性保持策略的有效性，提高了跨模态哈希检索的性能。

本申请实施例提供一种基于动画的互动项目的交互信息处理方法和装置。采用本申请实施例能够提高了服务器侧和设备侧在针对儿童绘本阅读的场景中的智能性和灵活性，且提高了用户在阅读互动故事时的沉浸感和用户的语言表达能力、逻辑思维能力、想象力；针对基于动画生成的互动故事，通过终端设备和服务器的交互，替代原有的动画截图的呈现形式，对符合故事情节和机器侧输出节点的图片进行筛选，选出合适的图片进行展示，提高了终端设备和服务器针对此类特殊场景的全面性和多样性。

本发明提供了一种基于关键词信息的可进行信息再生的群聊天系统，包括：图片提取模块：用于提取群聊天中的多张图片；分析模块：用于依次提取图片中的信息，分析图片是否是PPT照相得到的图片；单页还原模块：如果图片是PPT照相得到的图片，实现根据图片中的信息还原PPT；主题分析模块：如果还原得到2页以上的PPT，实现分析还原得到的多页PPT是否对应同一主题，如果对应同一主题则归到同一组中；排序模块：用于分析同一组中的多页PPT，按照规则进行排序。当需要获取某项会议的PPT时，在聊天群里发起图片共享功能，相同感兴趣的群友，同时共享各自拍到的关于PPT的图片，群可以自主将收集到的图片进行PPT还原，从而能够根据群聊天信息进行PPT重塑、再生。

本发明涉及一种基于大批量训练的图文跨模态哈希检索方法，属于跨模态检索领域，用于解决现有基于深度学习的跨模态哈希检索方法，特别是基于三元组的深度跨模态哈希方法的小批量训练时间长，获取样本数量有限，梯度不够好而影响检索性能的问题。包括以下步骤：对图像和文本数据进行预处理；哈希码映射；建立目标损失函数L；通过大批量方式输入三元组数据训练模型；使用训练好的模型进行跨模态哈希检索。本发明提供的方案采用大批量方式输入三元组数据进行训练，加快了每轮训练的时间；由于每次更新参数时具有更多的训练样本，所以能够获得更好的梯度，对权重使用了正交正则化，在梯度传递时能保持梯度，使得模型训练更加稳定，提高检索准确率。