本发明涉及一种融合模块和多尺度特征融合卷积神经网络及图像识别方法,包括上一层、融合层以及级联层,所述上一层将输入图片通过所述融合层运算,再将运算完成的结果通过所述级联层进行合并输出,所述融合层由在原始模块中加入瓶颈结构和空洞卷积结构共同组合而成。本发明不但错误率低,而且有效减少网络的参数量,有利于提升模型泛化能力。
📄 2020108887682
📂 G06V10_80
👤 江南大学
📅 2020-08-28
本发明公开了一种基于自学习神经单元的图像融合方法,属于图像融合领域。其实现步骤是:1)将融合图像进入Mask R‑CNN网络进行处理,得到相应的掩码图像,掩码矩阵,类别信息,得分信息;2)搭建自编码网络,利用卷积神经网络CNN进行图像特征的选取,融合,重构;3)对融合层的卷积权重进行稀疏赋值,加入最小/最大范数权值约束与L1正则项;4)分别计算融合图像与源图像的整体结构相似度SSIM,区域结构相似度SSIM与互信息MI;5)训练神经网络,调整参数。本发明能通过学习网络参数以最佳方式联合获得水平测量与权重分配,增强图像清晰度,改善视觉效果,提高融合图像的质量。
📄 2019102880704
📂 G06V10_80
👤 江南大学
📅 2019-04-11
本发明提供一种多模态图像融合模型训练方法、系统和多模态图像融合方法,属于图像处理技术领域,训练方法包括将初始源图像对分别输入至教师网络和学生网络,以确定教师网络综合损失,以教师网络的综合损失和动态更新损失训练教师网络,将训练好的教师网络作为教师模型;确定学生网络的综合损失;初始源图像对输入至教师模型中,根据教师模型输出的缓冲特征图和第三融合图像以及学生网络输出的编码特征图和第二融合图像确定蒸馏损失,根据蒸馏损失以及学生网络的综合损失和动态更新损失训练学生网络,并将训练好的学生网络作为多模态图像融合模型。本发明的多模态图像融合模型以合理的损失函数处理源图像对,能够较好地保留融合结果细节信息。
📄 2024111713504
📂 G06V10_80
👤 江南大学, 江苏数伽科技有限公司
📅 2024-08-26
本发明属于计算机技术领域,涉及一种基于大模型和注意力机制的多模态数据融合分类方法;将第一图像特征向量和第二图像特征向量输入至分类模型中的滑动窗口交叉注意力融合模块,输出第一目标图像特征向量和第二目标图像特征向量;将第一目标图像特征向量、第二目标图像特征向量和文本特征向量输入至分类模型中的异构数据交叉注意力融合模块,输出目标对象的目标特征向量;将目标对象的目标特征向量输入至分类模型中的全连接层,输出目标对象的分类结果。本申请直接对不同图像特征进行融合,既融合了不同图像之间的特征信息,又避免了过度融合导致的过拟合风险,减少了信息冗余和噪声,可以更好地平衡文本模态和图像模态,提高了分类结果的准确性。
📄 202410791163X
📂 G06V10_80
👤 江南大学, 苏州觉卿谛语智能科技有限公司
📅 2024-06-19
本申请公开了一种基于特征解纠缠表示的红外与可见光图像融合方法,涉及图像融合技术领域,该方法利用两个双编码器分别提取红外源图像和可见光源图像的共享特征和模态独有特征,然后对两组共享特征进行融合,对两组模态镀有特征进行融合,再经过解码器得到融合后的图像。该方法在对红外和可见光图像中的深度特征进行解纠缠分离共享特征和独有特征的基础上,采用经过深度优化的融合策略完成图像融合。这种方法不仅确保了融合图像中两种模态的核心信息得到完整体现,而且避免了混合处理特征而导致的图像失真,确保生成的融合图像的质量。
📄 2023117000205
📂 G06V10_80
👤 江南大学
📅 2023-12-11
本发明涉及一种基于多层次模态交互的显著目标分割方法及系统,属于计算机视觉技术领域。包括:获取待测图像的RGB图像和热红外图像,并提取多个层次特征图;将同层次的多模态特征图输入至三重注意力融合模块,在该模块中获取同层次不同模态特征图的差异特征图,并根据差异特征图,得到第一融合特征图;将同层次的多模态特征图输入至双路径分组融合模块,在该模块中得到RGB特征分组和热红外特征分组,并根据这两个分组,得到第二融合特征图;根据第一和第二融合特征图,得到待测图像的显著目标。本发明充分利用了不同层次和模态的特征,融合了RGB图像和热红外图像之间的互补特征,避免了冗余和非显著特征干扰,提高了显著目标检测的性能和泛化能力。
📄 202511129035X
📂 G06V10_80
👤 江南大学
📅 2025-08-13
本发明公开了一种基于图像融合和深度学习的鲜食玉米外观检测方法,属于图像识别技术领域。所述方法包括:获取鲜食玉米外观的RGB图像和NIR图像并进行融合;利用HPM‑GELAN检测模型对融合后的图像进行检测,得到鲜食玉米外观检测结果。本发明利用融合图像进行特征提取和外观检测,可以有效地提升网络的整体检测性能;此外,本发明将主干网络中的第一个RepNCSPELAN4模块替换为HAM模块,有效提高了微弱目标的检测精度;进一步引入PConv模块和MSSA模块,可以进一步提升检测精度和检测效率。实验证明,本发明基于图像融合和深度学习的鲜食玉米外观检测方法可以在较少参数的前提下,完成鲜食玉米的外观的高精度检测。
📄 2025109706738
📂 G06V10_80
👤 江南大学
📅 2025-07-15
本发明提出一种复杂环境下的电力设备目标检测方法,包括:1)获取电气设备的可见光图像和红外图像;2)使用结合梯度值的优化阈值O‑Canny边缘检测算法获得红外图像和可见光图像的边缘信息,利用曲率尺度空间技术检测边缘信息的曲率获得红外图像和可见光图像的特征点;3)利用GSIFT算法完成红外图像和可见光图像的特征点匹配;4)利用随机采样一致性算法筛选特征点匹配结果;5)利用两重ResNet深度学习网络融合配准的红外图像和可见光图像;6)使用labelImg软件分别标注红外图像、可见光图像和融合图像中的电力设备;7)利用带标签的数据集训练YOLOv5,再分别进行可见光图像目标检测、红外图像目标检测和融合图像目标检测,得到三组实验各自的目标检测精度。
📄 2023107968756
📂 G06V10_80
👤 南京工程学院
📅 2023-06-30
本发明公开了一种融合注意力特征聚合与概率建模的广义零样本图像识别方法与系统。方法包括:利用预训练视觉骨干网络提取图像特征,采用全局语义标记与注意力加权图像块聚合相拼接的方式获取兼顾全局语义与局部细节的图像表示,并通过可学习映射模块将其投影至图像对应的语义属性空间;对样本被标记状态的条件概率进行显式参数化,推导训练集与混合测试集样本的联合似然目标函数,构建面向混合分布的概率建模框架;通过端到端训练使映射模型同时完成视觉‑语义对齐与已见类/未见类的概率解耦。本发明从标签不完整性的本质视角出发,通过混合分布概率建模来缓解广义零样本学习中的已见类偏置问题,且无需未见类数据参与训练,具有灵活实用的特点。
📄 2026106456345
📂 G06V10_80
👤 南京信息工程大学
📅 2026-05-12
本发明公开了一种基于类别精度地理加权的遥感土地覆盖数据融合方法,包括:预处理多源土地覆盖产品,统一空间参考与分类体系;采用分层随机抽样结合目视解译构建验证样本集;提供两种邻域样本数N确定方式,自适应方式结合样本密度与产品类别一致性动态修正N,调整邻域半径适配样本分布;基于空间权重计算像元尺度GWUA与GWPA,结合GWUA计算融合概率,平票时以GWPA均值仲裁。本发明实现精度空间自适应估计,提升融合结果准确性与稳定性,为生态监测、土地管理提供可靠数据支撑。
📄 2026106451676
📂 G06V10_80
👤 南京信息工程大学
📅 2026-05-12
本发明公开了一种联合高级视觉任务的红外与可见光图像融合方法,属于图像处理领域,首先构建包括教师网络和学生网络的图像融合网络;采用两个判别器分别用于区分可见光图像与融合图像、红外图像与融合图像;通过实时语义分割模型对图像融合网络的输出图像进行分割并辅助图像融合网络学习保留融合图像的语义信息;通过计算语义分割损失,将语义信息反馈给融合网络,指导其优化参数,使得生成的融合图像不仅在视觉效果上接近真实图像,而且在语义信息上也具有高质量的表现。该方法与现有主流的融合方法进行了比较,在视觉效果和客观评价指标方面表现出极具竞争性的融合性能。此外,通过分割对比实验进一步验证了提出的方法的有效性。
📄 2024110613852
📂 G06V10_80
👤 广东海洋大学
📅 2024-08-05
本发明提出一种基于级联注意力的单流单阶段网络目标跟踪方法与系统,该方法包括,首先构成单流单阶段整体模型,将模板图像以及搜索图片输入至单流单阶段整体模型中,进行特征提取获取局部特征信息,并利用级联注意力对局部语义信息进行聚合以实现特征增强,再进行交叉注意力计算以实现通信,获得结果特征图,将结果特征图采用迭代的方式重复提取若干次,得到最终的结果特征图以预测目所在位置和目标状态,并根据目标所在位置实现目标跟踪,同时根据目标状态确定是否将所预测的目标状态作为下一阶段在线跟踪过程中的在线模板。本发明再减少多头注意力的计算冗余的同时可以在复杂场景中应对对象外观的变化,进而提高目标跟踪的性能。
📄 2024101065609
📂 G06V10_80
👤 江西水利电力大学
📅 2024-01-25