本发明涉及一种多模态驾驶行为识别方法、系统、设备和存储介质,属于智能驾驶技术领域。包括:获取图像序列及对应的驾驶员行为类别标签;构建驾驶行为识别模型;将图像序列输入至该识别模型中,通过帧内分支提取空间语义特征,通过帧间分支提取时序动态特征,通过注意力机制模块提取类别标签的文本特征;以文本特征作为查询向量,动态聚合空间语义特征与时序动态特征,分别构建空间视图原型与时间视图原型,并对应计算两类视图匹配损失;根据两类视图匹配损失和跨视图对齐损失构建联合损失函数,利用该函数训练识别模型;将待识别的车内驾驶员行为图像序列输入至训练后的识别模型中,完成车内驾驶员行为识别。本发明提高了驾驶行为识别的准确性。
📄 2026112938275
📂 G06V20_59
👤 江南大学
📅 2026-08-25
本发明涉及汽车安全驾驶技术领域,特别是涉及基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统,方法包括:实时采集驾驶舱内驾驶人的动态图像,对动态图像进行增强处理;通过轻量化快速人脸检测器捕捉增强处理后的动态图像中驾驶人的人脸图像流;将人脸图像流输入预设的人脸关键特征点提取网络模型中,提取人脸图像流的每一帧图像的人脸关键特征点,其中,人脸关键特征点提取网络模型通过构建并训练重参数化轻量级卷积网络获得;基于人脸关键特征点判断驾驶人是否存在面部疲劳特征,在检测出存在面部疲劳特征时确定驾驶人存在疲劳驾驶。本发明能够实时、高效、低功耗、安全地处理数据图像数据并分析,及时对驾驶人的状态进行预警。
📄 2024102107187
📂 G06V20_59
👤 暨南大学
📅 2024-02-27
本发明实施例提供一种基于人工智能的车辆智能驾舱交互方法以及相关装置,属于车辆技术领域。该方法包括:获得目标用户对应的全身图像和面部图像,并根据面部图像和全身图像进行融合获得目标用户对应的识别结果;当识别结果是目标用户为未知用户时,对全身图像进行关节识别获得目标用户对应的第一关节图;获得已知用户对应的第二关节图,并根据第一关节图和第二关节图从已知用户中确定目标用户对应的相近用户;获得相近用户对应的初始交互参数,并根据初始交互参数确定目标用户对应的目标交互参数。解决了相关技术中驾驶汽车的驾驶舱进行人车交互时交互方式较为单一,无法充分满足用户的个性化交互需求的问题。
📄 202410955676X
📂 G06V20_59
👤 珠海市枫逸科技有限公司
📅 2024-07-17
本发明公开了基于双分支并行双向交互神经网络的驾驶员行为识别方法,将ViT引入到网络中对全局信息进行编码,在一定程度上提高检测精度,网络由两个并行分支组成,第一个分支基于轻量级的CNN结构,第二个分支基于ViT结构。考虑到CNNBranch和ViTBranch特征之间的不对称性,通过双向特征交互模块BiFIM在两个分支之间进行不同维度特征的交互以同时关注局部特征和全局特征,最后将两个分支的特征融合并对驾驶员行为进行检测。本发明在自建的多视角驾驶员数据集上展开,验证集准确率达到97.18%,参数量为38.22MB,MAdds为271.20M,轻量级BiViTNet提高了驾驶员分心行为识别的准确率,可辅助驾驶员安全行车,减少交通事故的发生。
📄 2022115629294
📂 G06V20_59
👤 淮安大学
📅 2022-12-07
本发明请求保护一种基于人眼注意力的AR‑HUD/LCD全向目标检测与显示方法,属于自动驾驶、汽车环境感知和智能座舱技术领域。该方法通过单目相机获取驾驶人员的脸部图像;对单目相机标定获取相机的内参矩阵、畸变参数;对图像去畸变、灰度化后获取自商图;通过人脸检测器提取人脸区域,再提取左右瞳孔在单目相机像平面坐标;根据瞳孔像平面坐标和瞳孔距离约束求解驾驶员眼位空间坐标,用于AR‑HUD/LCD显示虚像;使用神经网络检测驾驶员人脸角度变化,得到驾驶员注意力向量,根据注意力向量在车载全景影像或全向雷达系统中区域检测目标,并通过AR‑HUD/LCD显示注意力向量区域的检测对象。本发明节约了系统计算资源,提高了检测系统的实时性。
📄 2021113558779
📂 G06V20_59
👤 重庆邮电大学
📅 2021-11-16
公交驾驶员疲劳参数补偿以及双轨并行检测方法,包括:S1、对驾驶员的眨眼、打哈欠de图像数据制定标签;S2、利用人脸关键点算法计算出公交驾驶员在正脸状态下闭眼、张嘴的帧数,并与当前数据预处理方法进行比较,根据比值进行补偿;S3、疲劳状态时间序列双轨划分;图像帧按时间序列检测完毕后输出各项区域检测结果,结合车速车况按完整时间片段结果划分至双轨时间序列;S4、设定疲劳状态时间序列双轨预警机制;可分析数据包括眨眼帧数、眨眼频率、张嘴帧数、打哈欠次数;定义percloseye计算单位内闭眼帧数与总帧数的比例关系,能反映出眼睛闭合持续时间占检测时间的比值以及驾驶员疲劳状态。
📄 202210943716X
📂 G06V20_59
👤 浙江工业大学
📅 2022-08-08
本发明公开了一种基于云边协同的驾驶安全检测方法,包括:采集驾驶员视频数据并预处理;建立驾驶安全检测模型并分别部署于边缘设备和云端服务器;分别在各子模型的至少一组相邻网络层间引入中间分类器并训练;采用时间片轮转调度算法进行多线程部署,实现各子模型的时间片分配,将预处理后的数据输入各训练好的子模型并发推理;动态获取各子模型的分割点将对应子模型分割成边缘网络和云端网络,实现数据压缩传输并记录云端网络的起始推理位置;云端服务器根据获取的压缩数据及对应的云端网络的起始推理位置开始推理,获得推理结果;利用管理端进行推理结果显示并向驾驶员发出警示。该方法可准确快速的检测出驾驶员的异常行为,提高驾驶安全性。
📄 202211730624X
📂 G06V20_59
👤 浙江工业大学
📅 2022-12-30
本发明公开了一种基于POMDP和面部行为分析的驾驶培训辅助系统,包括步骤:实时采集学员的头部姿态、脸部表情以及眼睛注视图像,并对采集的图像进行处理;根据得到头部姿态、脸部表情和眼睛注视的图像,估计和预测学员的注意力情况;根据预测的学员的注意力情况和学员的操作结果给予学员适当的驾驶培训辅助提醒或控制。由于人的注意力等内部状态不能被完全直接观察到,只能通过互动和观察来推断,所以这类场景具有不完全可观测性。因此,本文以部分可观马尔可夫决策过程(Partially Observable Markov Decision Process,POMDP)为基础来实现驾驶培训辅助方法。本发明实现了在机器进行驾驶培训辅助的过程中实时地检测人的头部姿态、脸部表情以及眼睛注视,通过对学员的情绪和注意力的判断,基于POMDP实现驾驶辅助的最优决策,给学员提供合适的驾驶辅助输入,帮助学员获得更好的驾驶培训效果。
📄 2021103865906
📂 G06V20_59
👤 浙江工业大学
📅 2021-04-12
本发明公开了一种融合车内驾驶视频与GPS时速信息的变道行为监控方法,获取车内摄像头采集的方向盘区域图像序列,输入到视觉特征编码模块进行特征提取,得到视觉特征;并获取图像序列中每一帧的GPS速度信息,将其与视觉特征进行融合,得到时域融合特征;最后将时域融合特征转换为频域融合特征,通过频域自注意模块进行变道行为检测,输出变道行为识别结果。本发明不依赖于监控设备与车辆坐标系精确校准,也无需驾驶员佩戴可穿戴式设备,对驾驶员、车辆、驾驶速度和环境变化具有很强的鲁棒性。
📄 2021114418022
📂 G06V20_59
👤 浙江工业大学
📅 2021-11-30
本发明涉及计算机视觉技术领域,具体涉及一种基于DenseNet121网络的驾驶行为识别方法,包括:输入测试图片到训练好的分心驾驶行为分类模型,对分心驾驶行为的类别进行预测,模型输出驾驶员行为的类别标签,从而得到测试图片中分心驾驶行为的分类结果。本发明方法将原DenseNet121网络中的四个DenseNet Block层所包含的3×3卷积分解成3×1和1×3的两个卷积,使得设计出的分心驾驶行为分类模型更加轻量高效,能够有效降低硬件成本,且预测准确度有效提高。
📄 2020113886232
📂 G06V20_59
👤 重庆邮电大学
📅 2020-12-02
本发明公开基于深度学习的交通图像安全带分类方法,具体按照以下步骤实施:步骤1、构造数据集,并对数据集进行格式转换,随机分为训练集和测试集;步骤2、搭建具有SE模块的深层稠密残差网络并设计网络各层参数;步骤3、设置训练时需要的损失函数、网络优化算法及所有超参数,损失函数为加入正则化的交叉熵损失函数;步骤4、根据步骤3设置的损失函数、网络优化算法对步骤2构建的具有SE模块的深层稠密残差网络进行训练,得到网络模型;步骤5、对步骤1中的测试集通过步骤4中得到的网络模型权重进行预测,判断汽车驾驶员是否佩戴安全带。该方法能够增加安全带检测的准确度,减少虚警率和漏检率,以获取更高的安全带分类精度。
📄 2021100094865
📂 G06V20_59
👤 西安理工大学
📅 2021-01-05
本申请实施例提供一种驾驶场景处理方法、装置、设备及介质,其中,驾驶场景处理方法包括:获取驾驶员的注意力信息;在驾驶员的注意力信息满足预设的注意力识别条件时,获取车辆的第一实际场景信息;其中,第一实际场景信息包括如下至少一种:车辆行驶影像、车辆行驶信息及车辆的环境交通信息;将注意力信息所满足的注意力识别条件及第一实际场景信息发送至服务器端,使服务器端基于注意力信息所满足的注意力识别条件及第一实际场景信息进行匹配度评估与分类。本申请实施例能够提高对驾驶场景处理的准确性及覆盖性。
📄 2022116316329
📂 G06V20_59
👤 禾多科技(北京)有限公司
📅 2022-12-19