本发明公开了一种基于声谱图的声纹识别集成模型的防御方法,包括:(1)采集音频文件,并对音频文件转化为声谱图,该声谱图作为良性样本;(2)利用良性样本训练多个声纹识别模型,获得训练好的多个声纹识别模型;(3)采用投票机制从训练好的多个声纹识别模型从筛选获得较优的多个声纹识别模型进行集成,形成声纹识别集成模型,利用良性样本重新训练声纹识别集成模型;(4)采集布谷鸟搜索算法分别攻击多个声纹识别模型,生成对抗样本;(5)利用对抗样本和良性样本对步骤(3)获得的声纹识别集成模型进行再训练,获得能够抵抗攻击的声纹识别集成模型;(6)利用步骤(5)获得的声纹识别集成模型对音频文件对应的声谱图进行防御识别。
📄 2020101058077
📂 G06F18_214
👤 浙江工业大学
📅 2020-02-20
一种基于特征聚类分析与特征降维的声纹识别后门攻击防御方法,首先用一个未知的数据集自然的训练一个声纹识别模型;再利用这个预训练的模型将所有训练数据分为不同的类别并按照类别的划分提取样本在模型特征层的输出;基于中毒样本与正常样本在模型分类时的行为差异,利用聚类算法对这些特征进行聚类;然后利用聚类指标CH分数识别出中毒类别;再使用降维算法把样本的特征降至一维,根据降维后数据的值识别中毒簇并删除;最后用余下的干净样本重新训练一个干净的模型。本发明的防御方法能准确的识别中毒类别并精准删除中毒样本,极大的降低了后门攻击的成功率。
📄 202211040227X
📂 G10L15_06
👤 浙江工业大学
📅 2022-08-29
基于余弦相似性和语音去噪的声纹识别对抗样本防御方法,首先进行数据预处理,对于说话人语音数据进行预处理;搭建声纹识别模型;利用几种不同的对抗攻击方法结合声纹识别模型设计带有恶意信息样本的对抗样本生成器;对干净数据数据进行小波变换重构,将干净数据小波变换前后的样本在分类模型中得到的输出概率向量进行余弦相似性计算,设定一个余弦相似性阈值;将对抗样本同样进行小波变换重构,也同样计算重构前后的输出向量的余弦相似性值,将该值于余弦相似性阈值进行比较,小于阈值的为对抗样本,大于阈值的则对抗样本未检测出;训练一个语音去噪神经网络,将未检测出的对抗样本输入去噪网络进行去噪,去除对抗性扰动。
📄 2022106531174
📂 G10L17_04
👤 浙江工业大学
📅 2022-06-09
一种基于迁移训练的声纹识别中毒样本生成方法,包括以下步骤:(1)对语音数据集预处理;(2)搭建声纹识别模型;(3)获得迁移训练任务数据集的特征表示空间;(4)从测试集中选择目标样本与基样本;(5)利用优化算法生成中毒样本;(6)将中毒样本加入到原训练集中进行迁移训练:在不改变原模型权重的情况下,只重新训练替换的softmax层适用当前分类任务,训练集为原训练集加上一个中毒样本。在测试阶段,目标样本将会被误分类为基样本的标签。本发明使攻击成功率得到极大的提高。
📄 2021105432143
📂 G10L17_04
👤 浙江工业大学
📅 2021-05-19
一种基于布谷鸟搜索算法的声纹识别攻击防御方法,包括:(1)准备原始音频数据集;(2)训练声纹识别模型:利用预训练数据集对声纹识别模型进行训练,然后使用测试数据集测试识别模型的准确率;(3)攻击声纹识别模型:搭建基于布谷鸟搜索算法的攻击方法,设置适应度函数及攻击方法的相关参数;利用该攻击方法生成最优对抗样本,使其被错误识别成目标类别而不被人耳所识别;(4)对抗训练声纹识别模型:将步骤(3)中生成的样本加入预训练数据集中,重新训练声纹识别模型,使得重新训练的声纹识别模型具有防御对抗样本攻击的能力,提高声纹识别模型的安全性和稳定性。
📄 2019108199726
📂 G10L17_04
👤 浙江工业大学
📅 2019-08-31
基于不同迁移能力和决策边界攻击的声纹识别对抗样本的检测方法,首先对说话人信号进行数据预处理,划分为训练集和测试集;根据训练数据搭建声纹识别模型;利用不同的对抗攻击方法在目标模型上生成对抗样本;将干净样本和对抗样本的混合样本集输入目标模型和检测模型中,得到对应的两个标签,比较标签是否一致,若不一致,设定检测值即对抗扰动比例为0,若标签一致则利用决策边界攻击方法对标签不变的样本进行攻击,来获得对抗扰动比例;在干净样本集中利用决策边界攻击,来获得一批对抗扰动比例,在这些扰动比例中确定检测的决策阈值;利用确定的决策阈值来检测对抗样本,若样本的扰动比例值大于阈值,则样本为干净样本,反之为对抗样本。
📄 2022106599478
📂 G10L17_04
👤 浙江工业大学
📅 2022-06-09
本发明涉及一种基于深度残差网络和注意力机制的声纹识别方法、装置及计算机可读存储介质,属于语音识别技术领域,包括步骤:S1:对采集到的音频数据进行预处理,得到能够模拟人耳某些特性的MFCC特征;S2:构建FAM,将S1得到的特征经过帧级注意力模块对每帧的重要性进行加权运算,得到加权后的MFCC特征;S3:构建声纹识别网络并进行声纹识别;引入MobileNet的设计思想,将普通卷积替换为深度可分离卷积以降低网络参数量;在ResNet50的每一个layer后加入通道域注意力模块建模各个特征通道的重要程度,针对不同的说话人增强或抑制不同的通道,最后将特征输入网络中的分类器进行分类,实现声纹识别。
📄 2022103044434
📂 G10L17_02
👤 重庆邮电大学, 重庆市住房公积金管理中心
📅 2022-03-17
本发明公开了一种基于会议场景小样本条件下的声纹准确识别方法,包括以下步骤:步骤(1):对每个说话人的特征向量矩阵执行差异化特征与样本点及独立化特征矩阵操作;再建立并保存针对每个说话人的预判模型;步骤(2):将待测语音的特征向量样本点均值矩阵中经筛选剔除后保留的列向量组成特征向量矩阵,再对该特征向量矩阵依次执行差异化特征与样本点操作及独立化特征矩阵操作;分别计算识别集中每个说话人特征矩阵与待测语音对应特征矩阵的相似度,选取训练阶段适当数目的说话人作为预判的结果;再将待测语音对应特征矩阵带入到预判结果中各预判模型里计算选取概率,选取概率最高的那个预判模型作为识别结果。本发明具有识别准确率高的优点。
📄 2019101824618
📂 G10L17_08
👤 南京邮电大学
📅 2019-03-11
本发明涉及基于声纹的文档加密方法:一,用户记忆一个密钥;二,用户随机用语音叙述一句话,从该段语音的声纹特征参数中提取密钥,作为加密密钥;三,选定对称加密算法,用第二步中提取的密钥加密文档,生成中间文档,将第二步的随机文本串与中间文档一起打包,生成一新文档;四,用户记忆的密钥加密第三步的文档,形成加密文档。声纹文档解密方法:一,用选定的对称加密算法和用户记忆的密钥,生成临时文档;二,从临时文档中析出与文档加密密钥关联的文本串,用户用语音叙述该段文本串,并从该段语音的声纹特征参数中提取密钥;三,用第二步提取的密钥和选定的对称加密算法解密临时文档,完成文档解密。本发明使用方便且具有较高的安全性。
📄 2011100032028
📂 G06F21_24
👤 杭州电子科技大学
📅 2011-01-10
本发明请求保护一种噪声环境下声纹识别的语音信号特征处理方法,包括步骤:(1)根据语音信号的特点对其进行信号的前期处理,包括语音信号的预加重,端点检测和加窗函数的选择;(2)估算发声个体的基音周期,并以此为依据对语音信号进行谱平滑处理,得到新的谱包络,计算通过梅尔滤波器的能量,最终通过离散余弦变换(DCT)计算得到梅尔平滑系数(SFCC)。(3)结合均值消减法、方差归一化、时间序列滤波法和加权自回归移动平均滤波法对SFCC进行后处理,得到回归平衡参数(MVDA);目的是通过平滑谱包络去除个体发声的不稳定因素和通过后处理算法去除环境噪声的影响,最终降低声纹识别的误识率。
📄 2016101250323
📂 G10L15_02
👤 重庆邮电大学
📅 2016-03-04
本发明涉及一种文本相关的声纹密钥生成方法。本发明包括声纹密钥训练和声纹密钥提取;声纹密钥训练通过前期采集的声纹样本训练出声纹密钥提取矩阵。声纹密钥提取将待提取声纹样本经预处理后,乘上声纹密钥训练得到的密钥提取矩阵,得到声纹密钥。本发明利用话者文本相关的语谱图在更充分地表达话者的声音特质的同时,保持前后采样样本具有更稳定的相似性。在此基础上,用机器学习方法从多个语谱图中训练出声纹稳定特征向量提取矩阵,用该矩阵对后续样本进行处理,可提取更稳定的声纹密钥。方法具有稳定性好、简洁、方便使用的特点。
📄 2018111395474
📂 G10L17_04
👤 杭州电子科技大学
📅 2018-09-28
本发明公开了一种基于Fbank特征和MFCC特征融合的声纹识别方法,本发明先对于语音数据集进行预处理,提取Fbank特征和MFCC特征;将得到40维Fbank特征和12维MFCC特征的基础上进行特征融合。本发明在广义端到端模型上进行实验,相比单独的Fbank和MFCC特征,本发明提出的特征融合方法优于单独的特征。本发明的特征融合方法降低了特征维度、降低了冗余、减少了存储空间以及训练复杂度。
📄 2021105861346
📂 G10L17_02
👤 杭州电子科技大学
📅 2021-05-27