专利交易市场

本发明公开了一种基于强化指针网络的可充电式无人机数据采集方法，该方法首先构建可充电式无人机场景，获取无人机相关的数据。其次构建指针网络短期预测模型，对获取的数据进行状态编码，将状态编码后的结果输入编码器获得中间变量；再用解码器通过中间变量得到隐藏层信息，利用注意力机制结合短期预测获得下一时刻无人机的动作，直到所有的传感器数据被采集完成。最后利用策略梯度方法训练指针网络短期预测模型，生成行动者网络和评论者网络，利用奖励函数计算更新梯度不断进行更新，使奖励收敛。本发明针对可充电式无人机数据采集问题，效优化其后续的决策行为，增大无人机在当前电量情况下做出更优的行为策略的概率。

本发明公开了一种基于强化学习算法SAC的目标跟踪方法、装置及存储介质，方法包括：获取视频数据；在视频数据的当前帧中确定搜索区域位置和大小；判断当前帧是否为第一帧；响应于当前帧非第一帧，将当前帧输入预训练好的actor网络模型进行特征提取，得到输出的预测框，根据所述预测框对目标进行跟踪；其中所述actor网络模型的训练方法，包括：通过第一帧对actor、target_actor网络进行初始化，根据经验池中存储的数据，通过actor、critic网络计算动作，计算actor、critic1、critic2网络损失，利用强化学习SAC算法更新网络权值。将目标跟踪问题转化为强化学习算法中在线决策的问题，并且本发明只需要少量数据集，充分利用现有技术，提升训练速度。

一种基于元强化学习算法的光伏逆变器协同控制方法，为了在配电网发生重构以后，光伏逆变器集群仍能够实现协同控制，本发明在传统的深度强化学习算法的基础之上引入元学习算法。经过充分训练以后的智能体能够学会如何学习，从而快速适应全新的配电网拓扑结构，包括：首先，根据配电网的物理背景建立马尔可夫决策模型；其次，建立强化学习算法流程；再次，在强化学习算法训练中加入元学习的方法；最后，将训练好的智能体用于实际的配电网电压控制中。本发明的优点是经过充分训练以后的智能体能快速适应不同的配电网拓扑结构，根据当前时刻的状态以及上一时刻的动作、奖励作出判断，以达到快速适应新任务的目的。

本发明公开了本发明涉及一种基于Q‑Learning强化学习算法的智能换挡规律控制方法，通过强化学习算法控制挡位的升降，经过反复训练，使AMT始终处于能耗经济性最佳的挡位下工作，解决动态未知工况下，无法实现自适应换挡控制的问题，使得能耗进一步降低，整车动力性和经济性进一步提升。

本发明涉及计算机模型领域，提出了一种基于强化学习算法的油离配合策略优化方法及系统，通过构建燃油车的传动模型，以深入分析的油离配合策略对于整车性能的影响，使得优化出的油离配合策略更符合人类驾驶员的实际操控过程，再对燃油车传动模型进行关键参数约束，进一步的提高油离配合策略的拟真性，并进一步的提高油离配合策略的性能，再根据强化学习算法设计了奖惩函数，从动力性、经济性和舒适性多方面进行性能优化，本发明极大地提高了油离配合策略优化的综合性能。

本公开涉及一种基于深度强化学习算法的自动泊车路径规划方法及其系统，所述方法包括如下步骤：基于车辆运动学模型，通过深度强化学习算法在泊车库位模型中生成泊车动作数据集，所述深度强化学习算法中的神经网络生成不同泊车动作对应的概率分布；利用深度强化学习算法构建奖励函数，引导车辆的泊车动作和姿态，得到泊车动作质量最佳的数据，保证了泊车的精准姿态和安全性；利用泊车动作质量最佳的数据更新深度强化学习算法中的网络参数，并运用更新后的深度强化学习算法进行下一次的迭代运算，直到泊车动作的策略评估优势函数收敛至最优时，完成泊车策略学习。本公开提高了算法的探索性与学习效率，使泊车更加精准高效，泊车路径更优。