本发明公开了一种基于自适应半异步联邦学习的模型训练系统、方法及设备，系统包括客户端、服务器，客户端和服务器通过多轮交互实现模型的迭代更新以完成全局模型训练。在整个过程中客户端数据始终保存在客户端本地，同时客户端可以随时加入或退出本系统的模型训练。由于客户端的性能差异，不同客户端完成一次本地训练的用时不同，为了提高全局模型训练的效率，服务器在收到一定数量的本地模型参数后即刻开始进行局部模型参数的更新，并在等待一定时间后根据其余客户端本地模型的达到情况，自适应地决定是进行一次全局同步模型更新还是一次全局异步模型更新。本发明可灵活应用于分布式机器学习、分布式深度学习的应用场景中，具有很高的实用性。
📄 202310872459X
📂 G06N20_00
👤 湖北工业大学
📅 2023-07-14
一种基于聚类的联邦图学习方法，基于聚类聚合算法提升数据分布不均匀的图网络参与联邦学习获得的全局模型性能，所述方法包括步骤：S1：客户端通过各自的数据收集方式获取图数据，构建图网络并计算各类标签的结构差异性E，上传至服务器；S2：拥有不同分布数据的客户端在本地进行训练，直至模型收敛，以获得输出层的模型参数aout并上传至服务器。服服务器将客户端上传的两个参数处理后作为划分客户端到不同的聚类簇的依据；S3:各客户端本地训练至一定批次时，上传其模型参数至服务器。服务器通过簇内聚合与簇间聚合更新全局模型参数并发送给各个客户端，客户端更新模型继续下一批次的训练，直至模型收敛。本发明能更好地完成节点分类，链路预测任务。
📄 2022108364227
📂 G06N3_098
👤 浙江工业大学
📅 2022-07-15
本发明公开了一种基于宽度学习的联邦学习策略优化方法和装置，包括：(1)对边缘端的本地模型进行模型初始化，同时在服务器端部署宽度学习网络；(2)对本地模型进行预训练，采用主动学习策略筛选出信息熵含量前n大的n个较优特征向量上传至服务器端；(3)服务器端以n个较优特征向量作为宽度学习网络的输入数据，获得输出宽度学习网络对输出数据的预测置信度，并根据预测置信度更新宽度学习网络的参数，同时返回预测置信度至边缘端；(4)边缘端利用返回的预测置信度更新本地模型的参数；(5)迭代(2)～(4)，参数确定的本地模型作为特征提取器，参数确定的宽度学习网络作为分类器，组成联邦学习模型，以提高模型的训练速度。
📄 2021102202756
📂 G06N20_00
👤 浙江工业大学
📅 2021-02-26
本发明公开了一种针对联邦学习神经元梯度攻击的防御方法，基于强化学习的联邦系统偏见中毒防御，以保护模型免受梯度中毒攻击，可以应用于水平联邦学习。本发明方法在服务器端记录5个回合的参与者上传的梯度信息，统计神经元参数的变化趋势，计算每个用户每个神经元参数变化趋势，与其他用户该神经元参数变化趋势的Jaccard相似度，查找企图进行梯度攻击的恶意用户，一旦确定了恶意客户端，服务器将从记录的5个回合的梯度信息中剔除恶意用户，重新聚合生成新的全局模型，在保证联邦学习正常进行的情况下，提高学习系统的安全鲁棒性。本发明能够检测哪一个是攻击者操控的客户端，并且通过模型回档的方式避免整个联邦学习系统遭到毒害。
📄 2022109555132
📂 H04L9_40
👤 浙江工业大学
📅 2022-08-10
本发明公开提供一种基于神经元激活差异的联邦公平框架训练方法和装置。在进行联邦学习的过程中，服务器除了要求客户端上传本地模型更新参数以外，还要求客户端上传神经元的激活频率，服务器通过计算客户端神经元激活频率的稀疏度，来评估每个客户端的贡献度，以此下发不同的质量的全局模型给各个客户端。
📄 2022116986547
📂 G06N3_098
👤 浙江工业大学
📅 2022-12-28
一种基于模型指纹的联邦学习产权标签标定方法，包括：联邦学习正常的执行主任务训练，服务器端通过提取全局模型固有特征，将非训练数据的关键样本生成一组专门制作的对抗示例，做为模型指纹，输入到全局模型得到特有的输出分布特征，基于该分布特征，训练部署在服务器的验证模型。且上一轮生成的对抗示例会动态的添加下一轮的模型特征，强化模型指纹的效果。最终利用对抗示例的可转移性达到产权的声明和验证。本发明在不影响联邦主任务训练的同时实现模型产权的保护；不会对全局模型预测精度产生副作用；基于模型指纹的技术有效的弥补了水印嵌入技术的缺陷。
📄 2022113578052
📂 G06N3_098
👤 浙江工业大学
📅 2022-11-01
本发明公开了一种基于隐私保护的个性化联邦学习方法和装置，客户端进行每轮训练，得到训练好的本地模型矩阵参数并上传给相对应的个性化模型；根据本轮训练好的本地模型矩阵参数的变化量，计算每个客户端的阈值，随后计算每个客户端的频率稀疏度；根据频率稀疏度集合，将客户端分簇；对同一个簇的客户端上传的本地模型参数求平均，并将平均值作为新的全局模型矩阵参数下发给同一个簇的客户端；重复直至全局模型收敛，完成个性化联邦学习的训练。本发明在计算频率稀疏度过程中始终保护用户隐私，通过稀疏度的相似性对客户端进行聚类，形成K个簇，对这K个簇的客户端分布进行聚合操作，以达到协作训练和个性化联邦学习的效果。
📄 2022110143152
📂 G06F18_214
👤 浙江工业大学
📅 2022-08-23
本发明公开了一种基于联邦学习的多标签数据聚类分割方法、系统、装置及存储介质，中央服务器对原始多标签数据集提取图像特征，并与图像的多标签信息拼接成特征向量，中央服务器对多标签数据集根据特征向量进行聚类处理，根据全局参数设置的分布类型以及聚类结果与联邦客户端数量，将数据集划分为遵循该分布类型的数据并分配给各个联邦客户端。对每个客户端的数据进行图像预处理，分割为训练集和测试集，并保存配置信息以及训练集与测试集划分，完成多标签数据聚类分割。本发明通过聚类算法为联邦学习模拟仿真多标签分类任务，提供了实验所需的各种数据分布情况，为联邦学习中处理多标签数据集的数据分割问题提供了有效的解决方案。
📄 2024110290184
📂 G06V10_26
👤 浙江工业大学
📅 2024-07-30
本申请提供一种联邦学习的模型中毒攻击检测方法、装置及设备，涉及人工智能技术领域。该方法包括：接收参与联邦学习的至少一个终端设备发送的终端设备侧模型的模型参数；根据各终端设备侧模型的模型参数进行聚合处理，得到服务器侧的聚合模型；对聚合模型进行反演，得到聚合模型的反演数据集；根据聚合模型的反演数据集生成中毒补丁；根据中毒补丁，确定聚合模型是否是正常模型。该方法可以保证对联邦学习的模型中毒攻击检测的效率，还可以保证各终端设备中的本地数据的安全隐私。
📄 2020114630007
📂 G06F21_56
👤 浙江工业大学
📅 2020-12-11
本发明公开了一种基于模型权重更迭的联邦学习搭便车防御方法和装置，首先初始化联邦学习训练环境；服务器将初始的全局模型下发给各个客户端，开始联邦学习训练；各个客户端进行联邦训练，并生成本地模型，训练结束后保存模型参数并计算更新变化频率F矩阵；各个客户端将本地模型参数和权重变化频率矩阵上传至服务端；服务端通过聚合算法得到全局模型，并计算各个客户端间的欧式距离和计算各自权重的平均变化频率，并对欧式距离和平均频率异常的客户端进行标记；服务端下发给各个客户端更新后的全局模型；重复上述步骤客户端每上传一次参数，服务端进行一次筛查，当某客户端被异常标记3次，则认为其是搭便车攻击者，将其踢出联邦学习训练。
📄 2021116572956
📂 G06N20_20
👤 浙江工业大学
📅 2021-12-30
本发明公开了一种基于自编码器的多通道图垂直联邦模型防御方法，其特征在于，包括：根据接收本地数据以及标签，对自编码器进行训练，获得第一节点嵌入向量；对第一节点嵌入向量进行解码得到图拓扑结构，采用相关系统计算公式得到第一节点特征；根据图拓扑结构，第一节点特征，采用softmax函数，ReLU激活函数，构建多通道图卷积模型，同时获得多个节点嵌入向量，将多个节点嵌入向量进行聚合得到鲁棒节点嵌入向量；将鲁棒节点嵌入向量输入至服务器，用于防御输入至服务器的对抗扰动数据对服务器的攻击。该方法能够有效地减弱恶意对抗攻击带来的不利影响，提高图垂直联邦模型对对抗攻击的鲁棒性。
📄 2021106547464
📂 G06F21_55
👤 浙江工业大学
📅 2021-06-11
本发明公开了一种基于神经通路的图垂直联邦数据增强方法与装置，首先构建具有奖励机制的图垂直联邦学习框架；在训练过程中，通过计算本地模型神经元激活值，根据其与模型每一层输入的梯度关系，获得本地模型的逆向神经通路，通过模型神经通路寻找有利于中心服务器模型性能的图拓扑结构；再通过计算本地模型神经元激活值，根据其与模型每一层输入的梯度关系，获得本地模型的逆向神经通路，通过模型神经通路寻找有利于中心服务器模型性能的节点特征；然后基于寻找到的图拓扑结构和节点特征，对本地数据进行数据增强；最后将经过增强后的本地数据继续用于图垂直联邦学习模型的训练，从而提高本地参与方在图垂直联邦模型中的贡献度。
📄 2022101381240
📂 G10L21_02
👤 浙江工业大学
📅 2022-02-15
柿子坊 · 知识产权运营
柿子坊知识产权运营平台