本发明公开了一种稀疏雷达和双目立体图像融合的3D目标检测方法及装置,方法包括:对立体图像和稀疏LiDAR深度图分别进行特征编码后,基于注意力融合模块,将两条路径的特征信息进行融合,所述融合是从LiDAR深度图到立体图像;基于立体区域提取网络输出相应的左右感兴趣区域,将融合后的左右特征图一起输入到立体回归网络分支和深度预测分支,用于对3D边界框的位置、尺寸和方向进行预测。装置包括:处理器和存储器。本发明将立体相机与4激光束LiDAR传感器信息进行融合来达到现有先进水平,并以端到端的形式进行高速度检测。
📄 2022104057094
📂 G06V10_80
👤 烟台大学
📅 2022-04-18
本发明为基于实时3D目标检测的汽车自动避障系统,所述系统包括:点云数据收集模块、图像数据收集模块、LoGoNet网络和预警与反馈模块,所述LoGoNet网络用于实现对障碍物的实时目标检测,检测是否有障碍物,并判断障碍物的类别。该系统为局部到全局的多模态数据融合网络,能进行实时3D目标检测的汽车自动避障,解决了单一模态的内在局限性,利用图像和激光雷达两者的互补特性,进行局部到全局的多模态融合,通过多源融合来提供更完整的三维环境感知能力,帮助车辆更好地感知周围环境。
📄 2024118353957
📂 G06V20_58
👤 华东交通大学
📅 2024-12-13