本发明公开了一种基于跨帧实例关联的视频实例分割方法,将待分割视频帧序列输入到多尺度特征提取器提取到不同尺度的特征图,通过变压器编码器中提取到时空特征,然后通过像素解码器来得到融合后的时空特征,最后经过变压器解码器,得到最终的嵌入向量,将嵌入向量与高分辨率时空特征进行点积操作,获得实例分割结果。本发明通过面向时空特征的多尺度方法来学习动态实例的时空相关性并构建更稳定的跨帧实例关联,建立可靠的跨帧实例关联,提高了视频实例分割任务的精度,在两个流行的数据集上比最近的方法取得了领先的性能。
📄 202310083300X
📂 G06V20_40
👤 浙江工业大学
📅 2023-02-08