专利交易市场

本发明公开了一种基于多模态融合的压缩视频质量增强方法及装置，涉及图像处理领域，该方法包括：获取图像帧及其对应的光流图和纹理图并分别进行特征提取，得到图像特征、光流特征和纹理特征；构建压缩视频质量增强模型并训练，得到经训练的压缩视频质量增强模型；将图像特征、光流特征和纹理特征输入经训练的压缩视频质量增强模型，图像特征、光流特征和纹理特征输入多模态一致性单元，自适应调整三种模态信息的分布，得到第一特征、第二特征和第三特征并输入多模态融合单元以进行特征融合，得到融合特征并输入多模态重构单元，得到重构信息，将重构信息与图像帧相加，得到增强的视频帧，解决单模态图像难以有效改善最终重建视频的质量的问题。

本发明公开一种基于全知网络的压缩视频质量增强方法，属于图像处理技术领域。本申请包括：首先通过使用时空特征融合模块聚合2R+1视频帧的时空信息来初始化当前帧的特征。然后，使用类似网格状结构的网络来实现特征的双向传播，并最大程度的利用整个视频的时空信息。在类似网格状结构的网络中对特征反复迭代求精，并生成多个不同的隐藏特征。最后，融合所有隐藏特征，并将它放入到质量增强网络络中进一步学习帧内全频域信息，产生增强残差。最终增强帧由压缩帧加上增强残差组成。本发明提出了一种完全利用整个视频时空信息和全频域信息进行压缩视频多帧质量增强的方法，本发明使得视频主客观质量明显提高，同时带来了码率的降低。