本发明公开一种基于异常偏差类神经元的深度学习模型安全加固方法,该方法首先采用中毒数据集训练中毒模型,然后将少量的干净数据输入到中毒模型中,记录激活值大于等于所述平均值的神经元,作为神经元群;再将大量的干净数据输入到中毒模型中,计算神经元群中的神经元的激活值,并将这些神经元对所有输入的干净数据的激活值累加并按大小排序,选取排序靠前的神经元,即为异常偏差类神经元;然后构建损失函数,通过反向传播,将干净数据优化为异常数据,最后用异常数据和干净数据组成的数据集训练中毒模型,完成对模型的加固。本发明能够有效地防御中毒攻击,并且不影响模型正常样本的正确率,大幅提高模型的鲁棒性,使模型更加难以被攻击成功。
📄 2022109324833
📂 G06F21_55
👤 浙江工业大学
📅 2022-08-04
本发明公开一种基于异常偏差类神经元的深度学习模型安全加固方法,该方法首先采用中毒数据集训练中毒模型,然后将少量的干净数据输入到中毒模型中,记录激活值大于等于所述平均值的神经元,作为神经元群;再将大量的干净数据输入到中毒模型中,计算神经元群中的神经元的激活值,并将这些神经元对所有输入的干净数据的激活值累加并按大小排序,选取排序靠前的神经元,即为异常偏差类神经元;然后构建损失函数,通过反向传播,将干净数据优化为异常数据,最后用异常数据和干净数据组成的数据集训练中毒模型,完成对模型的加固。本发明能够有效地防御中毒攻击,并且不影响模型正常样本的正确率,大幅提高模型的鲁棒性,使模型更加难以被攻击成功。
📄 2022109324833
📂 G06F21_55
👤 浙江工业大学
📅 2022-08-04
本发明公开了基于粒子群优化的深度学习模型的安全性测试方法和修复方法,包括:(1)获取良性图像组成样本集,利用良性图像对原始深度学习模型进行预训练;(2)根据覆盖率和输入图像在预训练的原始深度学习模型和其他深度学习模型中针对同一类标标签的类别预测值之间的差异构建目标函数;(3)从样本集中采集部分良性图像作为初始粒子,并初始化粒子的位置和速度,以目标函数最大为目标,采用粒子群优化算法对初始化粒子的位置和速度进行迭代更新,当算法结束时,若不能够获得表示恶性图像的最优粒子,则认为原始深度学习模型安全,若能获得表示恶性图像的最优粒子,则认为原始深度学习模型不安全。
📄 202010897967X
📂 G06N3_00
👤 浙江工业大学
📅 2020-08-31