咨询电话:13280638997
传真:0533-3110363
邮箱:kefu@shizifang.com
摘 要:本发明公开了视音相关性特征融合策略的视频显著性预测方法及系统,涉及视频显著性预测技术领域。本发明包括:接收视频及音频数据,对视频数据进行预处理,得到连续的视频帧;采用预训练后的S3D作为视觉编码器,结合空洞空间金字塔池化和局部重要性池化,根据视频帧提取得到多尺度视觉时空特征;将多尺度视觉时空特征输入到多尺度特征协同模块中,通过在网络的不同层次提取和融合多尺度特征,得到增强特征,用于丰富其在对于不同大小物体的表征能力。本发明通过具有相关性感知的多头交叉注意力机制,根据音视频特征的语义相关性动态调整融合策略,有效避免了背景音频等无关音频对显著性预测的干扰,提高了预测的精度。
著 录 项:
专利/申请号: | CN202411074751.8 | 专利名称: | 视音相关性特征融合策略的视频显著性预测方法及系统 |
申请日: | 2024-08-07 | 申请/专利权人 | 南京信息工程大学 |
专利类型: | 发明 | 地址: | 江苏省南京市浦口区宁六路219号 |
专利状态: | 已下证 查询审查信息 | 分类号: | G06F18/25搜分类 计算机视觉搜索 |
公开/公告日: | 2024-10-18 | 转让价格: | 面议 |
公开/公告号: | CN118585964B | 交易状态: | 等待洽谈 搜索相似专利 |
交易方 | 企业 | 个人 |
买家 | 营业执照副本复印件(需盖公章) | 身份证复印件(签字) |
专利转让委托书(需盖公章)一式两份 | 专利转让委托书(需签字)一式两份 | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
卖家 | 营业执照副本复印件(需盖公章) | 身份证复印件(需申请人签字) |
解除代理委托书(需盖公章)一式两份(如专利通过代理机构申请) | 解除代理委托书(需签字)一式两份(如专利通过代理机构申请) | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
专利证原件(若授权下证) | 专利证原件(若授权下证) |
日期 | 法律信息 | 备注 |