本发明提供了一种快速的全景视频显著性预测方法,首先将全景视频处理为视频帧,将连续的视频帧作为输入。针对全景视频视场范围大,内容复杂的问题,设计了两阶段级联方法,首先通过基础视觉特征提取模块对输入帧序列进行多尺度语义特征提取,快速提取有用信息,过滤背景信息,随后通过时空解耦模块以串行的方式分别提取连续帧的时间特征及空间特征,然后通过双分支注意力先验模块生成赤道先验和空间语义集成先验来模拟全景视频观看行为中的视觉偏置现象,最后将时空特征和先验特征进行融合,使用时序关系建模模块处理连续视频帧之间的时序关系并生成最终的显著图。
📄 2025107085827
📂 G06V20_40
👤 南京信息工程大学
📅 2025-05-29
本发明公开了一种基于上下文优化与时间递归的视频显著性预测方法。所述方法包括如下步骤:获取待预测视频序列,输入到训练好的视频显著性预测网络中;采用Video swin transformer主干网络的编码器,提取显著性特征;通过上下文优化模块,增强该特征的感受野和表现能力;并进一步通过显著性传递机制来利用先前帧的显著性信息以促进当前帧的预测;将增强后的特征传入解码器中,进行求和与上采样,恢复至原始帧尺寸,便可得到最终的显著性图。所述方法结构简单有效,提高了视频显著性区域预测精度,在精度和推理时间上均有明显优势。
📄 202311126117X
📂 H04N19_61
👤 石家庄铁道大学
📅 2023-09-03