专利交易市场

本发明涉及无人机三维路径规划技术领域，具体涉及一种基于语义上下文感知强化学习的无人机路径规划方法。本发明包括：对无人机采集的多源传感数据进行融合，构建多属性三维地图；在无人机当前位置与目标位置之间构建包络区域，并得到环境上下文向量；将环境上下文向量输入至预训练的强化学习策略网络，输出一组路径规划偏好权重；通过路径连通性测试得到路径规划权重；基于路径规划权重构建综合代价函数；利用全局路径规划算法，根据综合代价函数在多属性三维地图中搜索得到可行路径，并将可行路径转化为连续飞行指令。本发明提升了环境感知能力与导航决策专注度，兼顾自适应性与规划安全性，具备极强的泛化能力与快速迁移特性。

本发明涉及一种基于强化学习的交通流多步预测方法，包括以下步骤：首先对原始交通数据进行筛选和统计，得到特定路段的速度数据以及该路段两端交叉口的流量数据。紧接着对这些数据进行预处理，包括补齐缺失数据、处理错误数据和数据归一化；然后建立基于DDPG结构的交通流多步预测模型，确定模型中强化学习三要素在交通流多步预测任务下的对应内容，确定交通流多步预测任务中智能体与环境的交互内容。最后，使用预处理好的数据训练所建立的交通流多步预测模型，并调整模型中的参数以获得最优的交通流多步预测效果。实验结果验证了模型在交通流多步预测任务上的有效性，并为使用强化学习解决多步预测任务提供新的思路和方法。

本发明公开了一种基于强化学习的多目标自适应约束无人机路径规划方法，步骤包括初始化无人机路径种群；确定种群状态，包括主种群中可行个体比例、可行非支配个体与非支配个体的比例、中心点、标准差和基于辅助种群确定的状态标志；根据种群状态，利用强化学习网络得到动作，并存储至输出种群；判断是否达到终止条件，若否以动作为索引选择自适应约束策略更新种群并继续迭代，若是以输出种群中所有非支配个体作为优化的无人机飞行路径。本发明可有效应对无人机路径规划过程中的多重约束挑战，通过强化学习在线反馈动态更新约束策略，从而提升路径规划的效率和适应性。

本发明涉及基于强化学习激励信号塑性的无人船操纵优化方法及装置，包括以下：S1、依据自适应演化控制算法，构建航行态势分析网络、样本存储网络，构建二维平面坐标体系；S2、依照无人船基本物理构造舵机最大、小运作角度构造智能体自主控制船舶的舵机决策动作空间；S3、构造无人船自身物理特征核心信息及航行态势信息进行激励的软性惩罚函数，并入航行态势分析网络，以形成全局环境激励网络；S4、对形成的全局环境激励网络进行反复的基础经验和经验复用的自主采样强化学习；S5、基于状态随机转移矩阵迁移样本存储网络内航行样本逼近近似策略，得到更新后的船舶操纵智能体模型。本发明能够使无人船智能体能够成功执行类似于实际船舶的打舵操作。

本发明请求保护一种基于强化学习的驾驶员异常姿态监测方法，包括步骤：获取驾驶员驾驶视频后，利用OpenPose系统提取远小于图像像素点数量的驾驶员面部关键点和骨骼关键点，同时将面部关键点通过三次样条插值构建面部特征，进行驾驶员身份识别。关键帧提取方法基于强化学习的方式，通过姿态检测模型获取相应的奖励，并根据奖励和姿态的每个动作来更新动作价值函数，直到得到适用于每个驾驶员的稳定的关键帧提取策略。基于时间与空间变化的驾驶员动态行为，利用机器学习算法训练得到姿态检测模型。结合保护动机理论建立具有引导性质的安全预警机制。本发明增加了检测的实时性和准确性，增强了安全预警的可靠性。