专利交易市场

本发明公开了一种基于Mamba的高效光流估计方法和装置，其方法包括：对相邻两帧图像进行归一化与尺寸对齐，并经共享权重卷积编码器提取固定下采样率的密集特征；将两帧特征送入多层次特征增强模块，由帧内建模单元与跨帧交互单元级联并配合通道重整与残差校正，得到增强特征；在低分辨率上构建四维代价体并沿目标坐标维进行概率归一化，按概率对目标坐标网格加权求得对应坐标并与源坐标作差，获得初始光流；将初始光流与上下文及局部相关进行注意力引导的空间融合，送入基于差分Mamba的自回归细化模块按少量固定步迭代更新，并通过凸组合上采样恢复至目标分辨率，输出最终光流。本发明能够在低复杂度与低时延下准确估计光流场。

本申请实施例提供了一种光流神经网络训练方法及装置。其中，方法包括：将样本图像帧和所述样本图像帧的相邻图像帧输入第一神经网络和第二神经网络，得到所述第一神经网络输出的第一稠密光流和所述第二神经网络输出的第二稠密光流，所述第一神经网络为预先经过训练的光流神经网络，所述第二神经网络为模型复杂度低于所述第一神经网络的光流神经网络；基于所述第一稠密光流与所述第二稠密光流之间的偏差，调整所述第二神经网络的网络参数。选用本申请实施例，由于第二神经网络能够学习到第一神经网络已经学习到的图像对到稠密光流的映射关系，可以使得第二神经网络的性能逼近于模型复杂度更高的第一神经网络。