本发明公开了一种面向成员推理攻击的基于异常点检测的深度模型隐私保护方法,通过正则化方法缓解目标模型的过拟合程度,然后在该模型上找出容易受到成员推理攻击的异常样本,进而从目标模型的训练集中删除这些样本,最后重新训练目标模型,达到防御效果。为了确定容易受到成员推理攻击的样本,首先建立参考模型训练集,建立参考模型,用参考模型训练集训练参考模型,将待测样本输入参考模型,获取待测样本的特征向量,通过比较不同待测样本的特征向量的距离,计算待测样本的局部离群因子,局部离群因子大于1的样本为异常样本。利用本发明,可以消除传统防御方法存在的梯度不稳定、训练不收敛、收敛速度慢等问题,达到较好的防御性能。
📄 2021106533368
📂 G06K9_62
👤 浙江工业大学
📅 2021-06-11
本发明公开了一种面向特征嵌入中毒攻击的检测方法、装置和系统,通过测试样本分别在良性模型和待检测模型每网络层的互信息的分布状态,实现对待检测模型中毒攻击的检测,针对中毒攻击的模型,基于测试样本在模型的特征通道的改变来生成扰动图,基于扰动图的分布特征确定模型中毒目标类,并生成中毒样本。经实验结果表明,该检测方法、装置和系统具有良好的适用性,能够有效的判断模型是否中毒并生成相应的中毒样本,取得较好的检测效果。
📄 2021101845700
📂 G06F21_55
👤 浙江工业大学
📅 2021-02-08
本发明公开了一种基于特征重映射的对抗样本防御方法和应用,包括:构建特征重映射模型,该特征重映射模型包括用于生成显著特征的显著特征生成模型,用于生成非显著特征的非显著特征生成模型,用于判别显著特征和非显著特征真伪的共享判别模型;根据显著特征生成模型和非显著特征生成模型构建检测器,该检测器用于检测对抗样本和良性样本;根据显著特征生成模型构建重识别器,该重识别器用于识别对抗样本的类别;在进行对抗样本检测时,将检测器连接到目标模型的输出,利用检测器进行对抗样本检测;在进行对抗样本识别时,将重识别器连接到目标模型的输出,利用重识别器进行对抗样本识别。能够实现对抗样本的检测和重识别的双重防御效果。
📄 202010115357X
📂 G06K9_62
👤 浙江工业大学
📅 2020-02-25
本发明公开了一种基于梯度的链路预测的后门攻击防御方法、装置,所述方法包括获取链路预测模型的原始图数据集;构建特殊子图;构建初始的链路预测模型,并进行训练;基于梯度值,对特殊子图进行优化,得到优化的防御训练数据集;利用优化的防御训练数据集对链路预测模型再次进行训练得到优化的链路预测模型,利用优化的链路预测模型完成后门攻击防御。
📄 2022111315993
📂 G06F21_55
👤 浙江工业大学
📅 2022-09-15
本发明公开了一种基于木马攻击的深度强化学习交通信号控制中毒攻击方法,根据已有的深度强化学习DQN算法并加入木马攻击对交通路口信号灯控制模型进行训练,通过修改指定位置的车辆信息生成异常交通状态数据,再设定异常交通状态数据下模型采取的异常动作,最后对该异常状态下采取的异常动作设定较高的奖励值实现深度强化学习DQN算法的中毒攻击。本发明最后在模型测试过程中增加路口的车辆等待时间,大幅降低模型的性能,大大降低交通路口的车辆流通效率。
📄 2022110409014
📂 H04L9_40
👤 浙江工业大学
📅 2022-08-29
本发明公开了一种基于神经元加固的图像分类深度模型中毒防御方法及装置,该方法将一批干净样本输入到模型中,以神经元激活值和其出现频率,以及其对模型性能的影响为基准,寻找需要加固的神经元,之后将其他神经元固定下来,只加固这些选定的神经元,将训练集中的样本输入到模型中,通过对损失函数梯度上升作为导向来更新加固神经元,不断迭代直到模型趋于收敛稳定,得到干净的图像分类深度模型,用于图像分类任务。本发明解决了现有模型中毒防御方法在祛毒的同时没有增强模型鲁棒性的问题,并且模型在主任务上仍保留很高的准确率。本发明只需要用到少量的测试样本即可获得不错的效果,适用性较好。
📄 2022112411752
📂 G06N3_045
👤 浙江工业大学
📅 2022-10-11
本发明公开了一种面向成员推理攻击的基于参数共享的深度模型隐私保护方法和装置,包括:构建目标模型,并利用图像样本优化目标模型的网络参数;优化结束后,针对目标模型的每层网络参数进行聚类处理,并将属于同一类的网络参数用所属的类簇的网络参数平均值替换后,再优化网络参数;构建与目标模型结构相同的阴影模型,并利用训练图像样本优化阴影模型的网络参数;依据阴影模型构建新图像样本;构建攻击模型,利用新图像样本优化攻击模型的模型参数;利用参数共享的增强目标模型获得输入测试图像的预测置信度,并将预测置信度输入至参数优化的攻击模型,经计算获得攻击模型的预测结果,依据预测结果判断测试图像是否为目标模型的成员样本。
📄 2021106541379
📂 G06K9_62
👤 浙江工业大学
📅 2021-06-11
本发明功公开了一种基于扰动进化对图像分类器对抗性攻击的防御方法,包括以下步骤:1)用不同的攻击模型对样本进行攻击,得到不同类型的扰动。2)用扰动对应的对抗样本对黑盒模型进行攻击,并对攻击效果进行排序。3)攻击效果好的扰动进行克隆、交叉、变异等操作得到新的扰动。4)用父子混合选的方式对扰动进行更新,达到扰动进化的目的。5)用进化后扰动对应的对抗样本和正常样本训练对抗样本检测器。6)在对检测样本进行检测时,先用对抗样本检测器进行检测,然后将正常样本输入黑盒模型并返回类别,达到对对抗性攻击进行防御的效果。
📄 2018102992423
📂 G06K9_62
👤 浙江工业大学
📅 2018-04-04
本发明公开了一种基于CycleGAN的语音识别模型的防御方法及装置,所述防御方法利用对抗样本数据集和正常语音数据集训练CycleGAN模型,使该模型中的GA~B生成器能够对对抗样本进行去噪操作,而对于正常样本没有影响,将其集成到语音识别模型中作为前端处理装置,提高语音识别模型的识别精度,并使语音识别模型能够抵御对抗样本的攻击,提高语音识别模型的鲁棒性。
📄 2020104330398
📂 G10L15_06
👤 浙江工业大学
📅 2020-05-20
本发明公开了一种面向无线电信号识别对抗攻击的防御方法,包括:(1)对采集的无线电信号进行预处理,获得测试样本;(2)利用基于长短时记忆网络构建的第一无线电信号识别模型对测试样本进行识别,获得第一识别结果;(3)利用基于卷积神经网络构建的第二无线电信号识别模型对测试样本进行识别,获得第二识别结果;(4)利用基于图卷积神经网络构建的第三无线电信号识别模型对测试样本进行识别,获得第三识别结果;(5)利用softmax分类器集成所述第一识别结果、第二识别结果以及第三识别结果,获得无线电信号调制类型的最终识别结果。该防御方法大大提高无线电信号识别深度学习模型的鲁棒性和对于对抗样本的防御能力。
📄 2020103227898
📂 G06F18_23
👤 浙江工业大学
📅 2020-04-22
本发明公开了一种面向信号采样梯度攻击的防御方法,包括:(1)筛选待攻击的无线信号;(2)随机采取无线信号中任意方向上若干采样信号点;(3)对每个采样信号点进行偏移,获得估计样本;(4)利用估计样本计算采样信号点的损失函数和梯度信息;(5)根据梯度信息划分重要样本像素点;(6)在设置像素阈值范围内,对重要样本像素点进行采样梯度攻击;(7)重复步骤(2)~(6),不断迭代寻找最优的扰动及对抗样本;(8)将获得的对抗样本添加到训练样本集中,利用训练样本集对信号分类模型进行训练,以获得新信号分类模型;(9)利用新信号分类模型对待分类信号进行分类,以实现对攻击的防御。
📄 2019108919182
📂 G06K9_00
👤 浙江工业大学
📅 2019-09-20
本发明公开一种面向深度模型供应链的多方协作的漏洞判定方法与装置,首先获取上游任务数据集,并对神经网络进行训练;对上游任务数据集进行中毒操作,得到中毒样本;并训练得到中毒模型,将中毒模型的输出作为中毒特征;利用中毒特征作为约束条件,训练上游预训练模型,若上游预训练模型的输出带有中毒特征,且没有被在线模型市场中的检测器检测到,则判定在线模型市场中的检测器存在漏洞;下游任务供应商下载预训练模型,并检查下游数据集,若下游任务供应商判定下游数据集不存在漏洞,则对预训练模型进行微调,将带有触发器的测试样本输入到预训练模型中,若其输出为误标记的类;则判定下游任务供应商先对下游数据集进行检查过程存在漏洞。
📄 2022109853413
📂 G06F21_57
👤 浙江工业大学
📅 2022-08-17