本发明公开了一种基于分布式深度强化学习的微电网能量在线优化方法，分布式地管理各发电单元、储能单元与主电网的能源生产与调用。首先利用Actor网络与本地环境进行交互，获取相应的动作策略，再根据环境参数与所选动作判断是否满足约束条件，计算奖励值。随后Critic网络学习本地与其他智能体的神经网络参数，最后根据所学模型，对Actor网络选择的动作进行反馈，引导Actor网络追寻更高的奖励值。对于此类延迟敏感，并且参数空间巨大的应用场景，本发明所提出的方法在训练完成后可以快速给出优化策略，合理分配各单元发电出力，最终有效地解决了微电网中的能源优化问题。
📄 2021115787151
📂 H02J3_38
👤 浙江工业大学
📅 2021-12-22
本发明公开了一种基于深度强化学习的电力系统顺序恢复方法及装置，通过构建包括深度强化学习Q值估计网络和Target Q网络的电力系统恢复模型，并训练该电力系统恢复模型。基于级联失效后的电力网络，通过深度强化学习后得到的总线恢复顺序，评估电力网络系统在系统恢复过程中对级联故障的恢复能力，将强化学习与电力网络相结合，站在防御者角度考虑电力网络的恢复问题，与神经网络的结合，扩大了电力网络的实现范围，即可以找到大型电网的恢复最优策略。
📄 2021113059978
📂 G06Q10_06
👤 浙江工业大学
📅 2021-11-05
本发明提供一种基于深度强化学习的水下联合中继选择和功率分配方法，包括：创建包括一个源节点u、N个候选中继节点r1,r2…rN和一个目的节点d的拓扑结构；广播信号给候选中继节点和目的节点，同时源节点根据状态信息进行中继选择和功率分配；选中的中继节点转发信号给目的节点；目的节点将状态信息反馈给源节点；采用深度强化学习方法，使源节点不断与环境进行交互得到所需状态信息，通过策略优化离线学习的方式，使源节点在试错中学习到经验用于决策。本发明方法基于信道状态信息和中继选择信息，利用深度强化学习来进行中继选择和功率的分配。把源节点视为深度强化学习中的智能体，利用源节点和环境不断交互学习来增强系统的决策能力，易于实现。
📄 2020106940393
📂 H04W40_22
👤 燕山大学
📅 2020-07-17
本发明涉及一种基于深度强化学习的大功率风电磁齿轮箱优化设计方法，属风电领域。该磁齿轮箱包括低速级磁齿轮、中速级磁齿轮、高速级磁齿轮；以各级磁齿轮的转矩密度、内转子转矩脉动为优化目标，以各级磁齿轮的内转子外半径、铁芯厚度及其永磁体厚度，外转子铁芯厚度及其永磁体厚度，调磁块厚度及其圆心角角度，内外层气隙长度及轴向长度为待优化结构参数；基于拉丁超立方采样实验分别建立优化目标与待优化结构参数的代理模型；采用深度强化学习DQN算法，分别对待优化结构参数进行优化，确定各级磁齿轮待优化结构参数的最优组合。本发明可减少有限元实验次数并获取较多训练数据，可对高维优化问题进行高效求解，极大提高优化设计工作的效率。
📄 2022115596784
📂 G06F30_17
👤 沈阳诚冉信息咨询有限公司
📅 2022-12-06
本发明公开了一种基于深度强化学习的多IRS辅助宽带CR系统资源优化方法，该方法包括步骤1：宽带频谱感知。步骤2：次级网络信号传输。步骤3：建立次级网络可达速率最大化问题框架，列出需要优化的目标以及约束条件。步骤4：根据所提出的次级网络可达速率最大化问题框架建立马尔可夫过程。步骤5：采用SAC算法对模型进行优化，直至其模型收敛。步骤6：输出结果，得到次级网络的总可达速率。本发明克服了无线信号传播过程中产生的衰落和频谱闲置而造成资源浪费等问题，在宽带频谱感知性能、频谱利用率和次级网络的可达速率等方面都有显著的提升。相对于现有传统算法，本发明降低了计算复杂度、提高了收敛速度。
📄 2023103805834
📂 H04W16_14
👤 南京邮电大学
📅 2023-04-11
本发明属于光伏发电技术领域，具体涉及一种深度强化学习分布式光伏发电激励方法，包括如下步骤：S1：以发电方和投资方的最大利益为目标函数，并满足发电方和投资方的收益比以及两者合作合同期限为约束，建立分布式光伏发电模型；S2：将S1中的分布式光伏发电模型建模为马尔科夫决策过程；S3：基于深度强化学习算法，求解马尔科夫决策过程，得到发电方和投资方最优化的利益分配策略；通过以发电方和投资方的收益作为考量标准构建分布式光伏发电模型，并将分布式光伏发电过程模拟为马尔科夫决策过程，将目标函数和约束条件映射成强化学习的奖惩函数，利用其学习和与环境交互的能力，实现发电方和投资方的最优利益分配。
📄 202111524053X
📂 G06Q10_04
👤 湖南工商大学
📅 2021-12-14
本发明提出一种在CPU+FPGA平台下进行深度强化学习算法训练的加速方法。本加速方法能够适用多种深度强化学习算法加速，实现了经验池和目标网络方法，方法包括如下步骤：在内存固定地址分配评价网络参数、目标网络参数和经验池，通过CPU进行初始化，在FPGA运行动作网络、评价网络和目标网络，同时运行两个进程，进程一进行数据采集，通过动作网络与运行于CPU上的强化学习环境交互，将采集到的数据存入经验池中；进程二进行神经网络的训练，CPU从经验池中抽取数据，通过目标网络产生标签，训练评价网络参数，并根据训练次数更新目标网络参数。本发明利用FPGA低功耗、可重配置的优点，对深度强化学习算法的训练进行加速和优化。
📄 201910048075X
📂 G06F13_16
👤 电子科技大学
📅 2019-01-18
本发明涉及无线通信领域，具体涉及一种基于深度强化学习的高密集物联网信道接入方法，包括当有新节点加入通信网络时，对通信网络进行初始化；每次初始化完成后按照超帧周期进行数据传输，在一个超帧周期中包括数据传输周期和控制周期，在控制周期中节点侦听sink节点广播的接入竞争窗口、最大退避指数进而最大退避次数，在数据传输周期中节点根据上一超帧周期中的控制周期广播的信道接入参数进行信道接入；在数据传输周期结束后，sink节点根据Q‑learning算法选择动作价值最大对应的接入参数作为下一超帧周期的接入参数；本发明避免了在高密集的网络环境下大量碰撞的产生，在提高网络吞吐量的同时，减少丢包率。
📄 2023100888021
📂 H04W74_0816
👤 重庆邮电大学
📅 2023-02-09
本发明涉及机器学习和通信技术领域，特别涉及一种基于深度强化学习的5G超密集网络多用户接入选择方法，该方法包括：根据用户对各网络属性的最低容忍度设置阈值，排除完全不符合要求的网络；利用层次分析法和熵权法确定网络属性综合权重；通过灰色关联分析法再结合网络属性综合权重得到加权灰色相关系数；将多用户接入问题建模成多人随机博弈模型；利用深度确定性策略梯度法求解最优策略；该方法能够在保证不同业务用户个性化需求的前提下，提高系统吞吐量，并且减少用户阻塞、降低时延。
📄 2022101034692
📂 H04W16_22
👤 重庆邮电大学
📅 2022-01-27
本发明一种永磁直驱型风电机组的深度强化学习控制方法，属风电领域。采用深度强化学习TD3算法，设计转速跟踪控制器：根据永磁同步风力发电机的环境状态构建基于TD3算法的智能体，环境状态包括发电机转速及其参考值、定子电流、定子电压、定子电感、定子电阻、永磁体转子磁链、定子绕组温度、风速及其变化率，设计奖励函数，确定风速和发电机训练条件，对智能体进行训练，将训练好的智能体模型移植入机侧变流器的主控芯片，建立实际转速跟踪控制系统，实现转速跟踪控制。本发明可有效应对风速波动及发电机自身参数变化对风电机组控制的影响，实现永磁同步风力发电机的快速稳定安全控制。
📄 2024107719781
📂 H02P21_00
👤 曲阜师范大学
📅 2024-06-15
本发明涉及一种非正交多址(Non‑Orthogonal Multiple Access,NOMA)系统中基于分层深度强化学习的动态频谱接入方法，属于深度强化学习、NOMA、动态频谱接入、功率控制技术领域，包括以下步骤：S1：构造上行多用户多信道的通信场景；S2：建立信道干扰模型；S3：将通信优先级高的用户优先获得信道使用权，确保接入用户解码成功以及最小化系统丢包数的目标表示为一个优化问题；S4：构建多智能体模型，对S3中优化问题基于马尔可夫决策过程进行建模；S5：采用集中训练分布执行的方式完成策略的更新和执行。本发明提出的方法相较于其它基于AI方法的DSA方案能够获得更快的收敛速度和更低的丢包数，而且连续的发送功率能够获得比离散的发送功率更好的系统性能。
📄 2021104648244
📂 H04W16_10
👤 重庆邮电大学
📅 2021-04-27
柿子坊 · 知识产权运营
柿子坊知识产权运营平台