摘要
本发明公开了一种基于Transformer的区域预估与多层级特征融合抓取检测方法,涉及机器人技术领域。本发明步骤如下:RGB图像通过2D目标检测器的检测把需要进行抓取检测的目标区域框选中,与同一物体的深度图像进行组合成四通道的图片作为输入;四通道的输入经过Patch Partition模块分割成多块不重叠的patch,每个patch被看做是token,表示原始输入像素的级联。本发明采用Transformer架构,利用Transformer架构的编码器和解码器结构来编码解码抓取检测图像,使得模型具有优秀的全局特征关联与建模能力,具有更强的特征表达能力与泛化能力;并为了增强模型的迁移泛化能力以及丰富并保留更多的细粒度特征,采用了区域预估和多层级特征融合来增强模型抓取性能。