咨询电话:13280638997
传真:0533-3110363
邮箱:kefu@shizifang.com
摘 要:本发明公开了一种基于度量学习的视觉问答方法,采用自注意力编码器和交叉注意力模块对自然语言问题特征与视觉图像特征在高维特征空间中进行对齐与映射;采用自监督的多模态度量学习方法将自然语言问题特征与视觉图像特征进行相似度度量,并将视觉图像特征分为积极视觉特征与消极视觉特征;积极视觉特征与原视觉特征通过与自然语言问题特征融合从而得到正确的答案,消极视觉特征与然语言问题特征融合不能获得正确的答案。本发明实现了在高维特征空间中多模态特征的相似度度量,并采用对比的学习方式对度量出的积极视觉特征与消极视觉特征对抗训练,缓解了视觉问答中语义鸿沟与语义偏差问题,提高了视觉问答模型的性能与鲁棒性。
著 录 项:
专利/申请号: | CN202210839762.5 | 专利名称: | 基于度量学习的视觉问答方法 |
申请日: | 2022-07-18 | 申请/专利权人 | |
专利类型: | 发明 | 地址: | |
专利状态: | 已下证 查询审查信息 | 分类号: | G06V10/80搜分类 其他搜索 |
公开/公告日: | 转让价格: | 面议 | |
公开/公告号: | 交易状态: | 等待洽谈 搜索相似专利 |
交易方 | 企业 | 个人 |
买家 | 营业执照副本复印件(需盖公章) | 身份证复印件(签字) |
专利转让委托书(需盖公章)一式两份 | 专利转让委托书(需签字)一式两份 | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
卖家 | 营业执照副本复印件(需盖公章) | 身份证复印件(需申请人签字) |
解除代理委托书(需盖公章)一式两份(如专利通过代理机构申请) | 解除代理委托书(需签字)一式两份(如专利通过代理机构申请) | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
专利证原件(若授权下证) | 专利证原件(若授权下证) |
日期 | 法律信息 | 备注 |