本发明公开一种基于深度强化学习的多智能体自主决策方法，应用于多智能体深度强化学习技术领域，针对现有技术在决策过程中未能充分地使用经验数据的问题；本发明通过收集智能体与环境交互生成的经验，以及奖励重塑模块优化环境即时奖励，缓存于本地经验回放池中；然后合并本地经验回放池中的历史经验数据到全局经验回放池PT‑Buffer中，并使用二级优先经验队列进行维护；通过概率求和树从PT‑Buffer采集训练样本数据，来求解目标策略网络和全局Critic网络模型；最后采用更新后的自主决策模型，根据输入的环境局部观测信息直接实现多智能体的自主决策，从而完成相关的多智能体任务。
📄 2023110158152
📂 G06N3_092
👤 电子科技大学长三角研究院(衢州)
📅 2023-08-11
本发明公开了一种基于差分隐私的个性化联邦学习识别方法及系统，所述方法在客户端执行，包括：获取初始化模型参数，并将其加载入预搭建的本地模型中；基于隐私预算采用个性化差分隐私算法对加载参数的本地模型进行噪声处理，并将噪声处理后的本地模型的共享层模型参数发送给服务器；将聚合后的共享层模型参数加载入噪声处理后的本地模型的共享层中，然后局部微调，得到个性化模型；对个性化模型进行重复训练，直至达到全局迭代次数后，得到基于差分隐私的个性化联邦学习测试模型。本发明的客户端能够根据客户选择的隐私预算对本地模型进行处理，从而适应不同用户的不同隐私需求，同时结合Adam算法，降低了添加噪声对模型精度的影响。
📄 2023111509423
📂 G06N3_098
👤 南京信息工程大学
📅 2023-09-07
本发明的公开了一种基于神经元覆盖率的深度强化学习鲁棒训练方法和装置，包括以下步骤：(1)搭建智能驾驶环境，从智能驾驶环境中采集状态数据对深度强化学习模型训练，直到达到设定回报值为止；(2)利用训练好的深度强化学习模型在环境中运行，提取多轮的状态动作对；(3)构建用于根据历史状态动作对序列预测未来时刻状态动作对序列的预测器和用于对状态动作对进行质量分类的分类器，并利用提取的状态动作对训练预测器和分类器；(4)依据定义的对抗采样策略，根据状态动作对质量采样状态动作对并进行深度强化学习模型的再训练，以提高深度强化学习模型的鲁棒性。
📄 2021106561156
📂 G06N3_092
👤 浙江工业大学
📅 2021-06-11
本发明公开了一种面向深度强化学习的策略异常检测方法和装置，包括：利用采集的状态样本对DDPG网络进行强化学习；构建包含行动者网络和判别器的模仿学习网络，利用采集的状态样本和专家状态动作对对模仿学习网络进行训练；利用参数优化的DDPG网络基于输入的状态样本生成状态动作对，利用参数优化的判别器对状态动作对进行判别，当判别结果为1时，认为动作未受到攻击；当判别结果为0时，认为状动作存在异常；当动作存在异常时，且动作幅度差异在阈值范围外，说明动作受到攻击，利用模仿学习网络生成的状态动作对替换DDPG网络生成的状态动作对，以指导DDPG网络在后续阶段的强化学习过程中做出正确决策。
📄 202110598324X
📂 G06N3_092
👤 浙江工业大学
📅 2021-05-31
一种基于聚类的联邦图学习方法，基于聚类聚合算法提升数据分布不均匀的图网络参与联邦学习获得的全局模型性能，所述方法包括步骤：S1：客户端通过各自的数据收集方式获取图数据，构建图网络并计算各类标签的结构差异性E，上传至服务器；S2：拥有不同分布数据的客户端在本地进行训练，直至模型收敛，以获得输出层的模型参数aout并上传至服务器。服服务器将客户端上传的两个参数处理后作为划分客户端到不同的聚类簇的依据；S3:各客户端本地训练至一定批次时，上传其模型参数至服务器。服务器通过簇内聚合与簇间聚合更新全局模型参数并发送给各个客户端，客户端更新模型继续下一批次的训练，直至模型收敛。本发明能更好地完成节点分类，链路预测任务。
📄 2022108364227
📂 G06N3_098
👤 浙江工业大学
📅 2022-07-15
本发明公开了一种基于神经元激活率的对抗攻击防御方法，包括：1)获取图像数据集并进行预处理，构建训练集和测试集；2)构建CNN网络结构的分类器模型；3)构建二分类判别器D，对分类器模型关于输入本x的输出N进行判定；4)根据分类器模型和二分类判别器D的损失函数构建整体的损失函数，确定整体优化目标；采用训练集对整体模型进行联合训练，当整体的损失函数收敛时，停止训练并保存模型；5)输入测试集对训练后的分类器模型进行测试，若分类准确率低于阈值，则修改整体损失函数的λ，按步骤4)再次进行训练，直至分类准确率高于阈值。本发明的防御方法具有良好的适用性和准确率，对对抗攻击有良好的防御效果。
📄 2021106579253
📂 G06N3_094
👤 浙江工业大学
📅 2021-06-11
本发明公开提供一种基于神经元激活差异的联邦公平框架训练方法和装置。在进行联邦学习的过程中，服务器除了要求客户端上传本地模型更新参数以外，还要求客户端上传神经元的激活频率，服务器通过计算客户端神经元激活频率的稀疏度，来评估每个客户端的贡献度，以此下发不同的质量的全局模型给各个客户端。
📄 2022116986547
📂 G06N3_098
👤 浙江工业大学
📅 2022-12-28
一种基于模型指纹的联邦学习产权标签标定方法，包括：联邦学习正常的执行主任务训练，服务器端通过提取全局模型固有特征，将非训练数据的关键样本生成一组专门制作的对抗示例，做为模型指纹，输入到全局模型得到特有的输出分布特征，基于该分布特征，训练部署在服务器的验证模型。且上一轮生成的对抗示例会动态的添加下一轮的模型特征，强化模型指纹的效果。最终利用对抗示例的可转移性达到产权的声明和验证。本发明在不影响联邦主任务训练的同时实现模型产权的保护；不会对全局模型预测精度产生副作用；基于模型指纹的技术有效的弥补了水印嵌入技术的缺陷。
📄 2022113578052
📂 G06N3_098
👤 浙江工业大学
📅 2022-11-01
本发明公开了一种基于模仿学习的深度强化学习策略优化防御方法和装置，包括：搭建深度强化学习的智能体自动驾驶模拟环境，基于强化学习中的深度Q网络构建目标智能体，对目标智能体进行强化学习以优化深度Q网络的参数；利用参数优化的深度Q网络产生T个时刻的目标智能体的状态动作对序列作为专家数据，其中，状态动作对中的动作取值对应Q值最小的动作；基于生成式对抗网络构建对抗智能体，并对对抗智能体进行模仿学习，即以专家数据中状态作为生成式对抗网络的输入，以专家数据作为标签来监督优化生成式对抗网络的参数；基于对抗智能体产生的状态对目标智能体进行对抗训练，再优化优化深度Q网络的参数，以实现深度强化学习策略优化防御。
📄 2021102822886
📂 G06N3_092
👤 浙江工业大学
📅 2021-03-16
本发明公开了一种基于中毒神经元抑制的图生成模型鲁棒性增强方法，本发明方法首先构建中毒样本和混合数据集，再利用混合数据集对目标模型进行中毒训练，得到训练后的中毒模型，查找中毒模型每一层的中毒神经元，构建中毒神经通路，生成能实现抑制中毒通路的子图结构，迭代得到结构多样化的最终的新的图结构，并将最终的新的图结构转化成深度模型结构，最后对深度模型结构进行重训练，得到增强对抗中毒攻击鲁棒性后的鲁棒模型结构。本发明得到一个不容易受到中毒攻击的新的深度模型，实现对抗中毒攻击的目的，从而达到增强模型对抗中毒攻击的鲁棒性的目的。
📄 2021112873367
📂 G06N3_094
👤 浙江工业大学
📅 2021-11-02
本发明提供了一种基于强化学习的个性化PEEP调节方法，该方法通过构建基于患者整个机械通气过程中的生理数据的强化学习模型，强化学习模型代理根据患者的生理数据推荐在下一时段内该患者的个性化PEEP水平实现个性化PEEP调节。其中，强化学习模型通过构建马尔可夫框架，提取每个患者整个机械通气过程中的生理数据中所有的单步转换元组，以拟合Q迭代算法为核心训练，最终模型学习到的策略为累计回报最大的动作，获得强化学习模型。本发明方法可以通过患者的临床生理数据以使患者获得更好的氧合和预后为目标，实时地推荐个性化呼吸机PEEP设置值，辅助医生的临床决策。
📄 2021102269239
📂 G06N3_092
👤 浙江工业大学
📅 2021-03-01
基于对比学习的深度学习模型蒸馏中毒防御方法，包括以下步骤：数据集准备；中毒模型准备；使用干净样本生成正例；构建学生模型蒸馏损失函数和学习样本的损失函数；模型蒸馏。本发明具有良好的适用性，能够有效的防御中毒攻击，并且不影响模型蒸馏后正常样本的正确率。
📄 2022113580283
📂 G06N3_096
👤 浙江工业大学
📅 2022-11-01
柿子坊 · 知识产权运营
柿子坊知识产权运营平台