本发明涉及一种基于分阶段交叉训练的唇语识别方法及系统。所述方法包括:基于端到端的训练方式获取第一阶段编码网络参数、解码网络参数;第二阶段根据单一身份数据训练模型,生成存在过拟合的编码网络以及解码网络的初始化参数,利用编码网络初始化参数自适应生成解码网络加权正则化约束,利用解码网络初始化参数自适应生成编码网络加权正则化约束。本发明方法通过此种交叉训练的方式保证编码网络与解码网络的独立性,以此提高唇语识别网络的泛化能力,进而在将本发明训练好的唇语识别模型应用于唇语识别时,能够提高对未知说话人唇语识别的鲁棒性和准确率。
📄 2022100257797
📂 G06V40_20
👤 西安邮电大学
📅 2022-01-11
本发明涉及一种用于说话人无关的唇语识别方法及系统,所述方法包括:获取训练唇语图片序列;将训练唇语图片序列输入身份与语义深度耦合模型中,得到特征序列并计算各个网络的损失;以各种加权损失作为优化目标,对耦合模型和唇语预测网络进行迭代寻优,得到最优识别模型;将待测图片序列输入识别模型中,得到识别文本。本发明分别对唇语图片序列的身份特征与语义特征编码,以不同样本身份对比损失以及相同样本不同帧的身份差异损失对身份编码过程进行约束,以监督损失对语义编码过程进行约束,并采用身份与语义耦合重建网络对学习的身份与语义特征进行约束,有效的避免语义特征混入身份信息,提高了唇语识别模型在说话人无关条件下的识别准确率。
📄 2021102264324
📂 G06K9_00
👤 西安邮电大学
📅 2021-03-01
本申请公开了一种唇语识别方法、装置、设备、介质及产品,涉及机器视觉和自然语言处理交叉领域,该方法包括获取待识别的原始视频,初始化文本序列,对原始视频进行切割,得到多个帧图像,提取每个帧图像的帧内特征及帧间特征。根据全部帧图像的帧间特征,得到视频特征。根据视频特征以及文本序列,采用唇语识别模型,得到唇语识别结果。唇语识别模型为预先根据训练样本集搭建的神经网络多模态融合模型。本申请通过获取每个帧图像的帧内特征和帧间特征,得到视频特征,并进一步通过将文本序列以及视频特征进行多模态特征融合,提高了模型的特征表现能力和区分度,并进一步提高了唇语识别的准确性。
📄 2025106461160
📂 G06V10_80
👤 华东交通大学
📅 2025-05-20
本发明公开了一种基于时间偏移残差网络的唇语识别方法,首先提取图片序列中人物嘴唇区域,构建一个基于时间偏移模块的深度残差网络模型,自动地提取每个图片帧中嘴唇形状特征;然后使用LSTM将时间偏移模块的序列特征转化为一个时间序列上的特征向量;最后将特征向量输入至一个含有注意力机制的语言序列生成模型,产生唇语识别结果。本发明将视频图片中的唇动序列转化为语言序列,采用了特殊的残差网络模块,解决了唇语识别中计算复杂的问题,具有准确度高和运行效率高的特点。
📄 2020100388455
📂 G06K9_00
👤 电子科技大学
📅 2020-01-14
本发明公开了一种基于深度卷积和注意力机制的唇语识别方法,包括步骤:S1)对大型唇读数据集进行预处理,获取唇部识别图像;S2)将唇部识别图像批量输入到3D卷积网络模型,进行时空特征提取;S3)将唇部识别图像提取的时空特征输入卷积和注意力机制的混合网络模型,进行局部和全局的空间特征提取;S4)将提取的空间特征输入到双向门控循环单元,进行长短期特征序列提取;S5)将提取的长短期特征序列输入到多层感知机,获取各个类别的置信度分数;S6)基于各个类别的置信度分数,经过带有标签平滑机制的交叉熵损失函数输出识别概率值。本发明在卷积网络的基础上加入注意力机制模型,并改善其结构,提高了唇语识别率并减小了计算开支。
📄 2021108018037
📂 G06V40_16
👤 正吉泰川科技(廊坊)有限公司
📅 2021-07-15