摘要
本发明公开了基于Transformer‑CNN混合架构的RGB‑D跨模态交互融合机械臂抓取检测方法,涉及机械臂技术领域。本发明采用Transformer和CNN的混合架构构建深度学习网络,利用一个跨模态交互融合编码器对RGB图像和Depth图像不同模态的信息进行校准融合,并减少了Depth图像中噪声因素的影响,整个网络架构由编码器、解码器和抓取预测模块组成,Encoder用于对输入图像进行下采样编码提取抓取检测图像的特征信息,Decoder对这些特征信息进行上采样解码分析,最后在Detection中实现像素级的抓取预测。