摘要
本发明提出一种图神经网络与Mamba模型结合的U型多模态融合分割方法,属于遥感图像多模态融合分割领域。首先,获取并标记遥感图像集,并将它们切分为训练集、验证集。然后,构建多模态融合分割网络,主体架构包括编码器、融合层、解码器和分割头。再者,进行类别平衡与增强,然后在多模态融合分割网络中进行训练。最后,将遥感图像全集分割并输入到网络中,得到语义分割结果。详细过程包括各种特征表示和融合模块的构建。构建网络的编码和解码部分用的是Mamba‑Graph结合的方式。本发明考虑了不同模态的特点,充分利用模态间的互补性,建立跨模态之间的长距离依赖。缓解由于模态间的不兼容性而导致的较差特征表示。