咨询电话:13280638997
传真:0533-3110363
邮箱:kefu@shizifang.com
摘 要:本发明公开了一种语义对齐的视频问答方法,具体步骤为:通过进行问题语义解析及编码,获得问题语义特征,对问题语义特征进行融合,获得问题的全局特征;通过语义视觉选择模块和问题条件视觉模块进行视频解析及编码,融合语义视觉特征和问题条件视觉特征获得视觉全局特征;通过对齐问题解析出的语义的跨模态特征缩小语义鸿沟;基于问题的全局特征和视觉全局特征进行解码推理答案。本发明使用跨模态注意力机制生成与问题解析语义一致的视觉信息和问题条件视觉信息,使用对比学习缩小跨模态语义鸿沟,并融合问题解析出的语义视觉特征和问题条件视觉特征,丰富视觉特征搜索空间,根据问题特征和视觉特征解码视频问答的答案,提高了视频问答的准确率。
著 录 项:
专利/申请号: | CN202211502821.6 | 专利名称: | 一种语义对齐的视频问答方法 |
申请日: | 2022-11-29 | 申请/专利权人 | 广东工业大学 |
专利类型: | 发明 | 地址: | 广东省广州市番禺区广州大学城外环西路100号 |
专利状态: | 已下证 查询审查信息 | 分类号: | G06F16/783搜分类 安防监控 自动驾驶 医疗影像 在线教育 无人机巡检 影视剪辑 工业质检 智能家居 零售分析 远程会议 语义分析 大模型 ai搜索 |
公开/公告日: | 2023-01-17 | 转让价格: | 面议 |
公开/公告号: | CN115618061A | 交易状态: | 等待洽谈 搜索相似专利 |
交易方 | 企业 | 个人 |
买家 | 营业执照副本复印件(需盖公章) | 身份证复印件(签字) |
专利转让委托书(需盖公章)一式两份 | 专利转让委托书(需签字)一式两份 | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
卖家 | 营业执照副本复印件(需盖公章) | 身份证复印件(需申请人签字) |
解除代理委托书(需盖公章)一式两份(如专利通过代理机构申请) | 解除代理委托书(需签字)一式两份(如专利通过代理机构申请) | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
专利证原件(若授权下证) | 专利证原件(若授权下证) |
日期 | 法律信息 | 备注 |