专利交易市场

本申请提供了一种触发语音交互响应的方法及设备，能够接收用户语音并识别出关键词，再获取该关键词对应的唇部变化图像序列，进一步对该唇部变化图像序列与该关键词进行匹配，得到匹配置信度，如果匹配置信度符合预先定义的语音交互响应规则，则触发语音交互响应，从而提高了响应的准确率，降低了语音交互响应的误触发率，提升了用户体验。

本发明公开了一种结合视频信号的多通道卷积混叠语音信道估计方法，引进新型数学工具和分析方法，融合视音频信号信息，实现卷积语音混叠信道的有效估计。该方法借助说话人嘴部区域视频信号，通过非负矩阵分解提取说话人嘴型特征数据；利用密度聚类方法检测说话人嘴部特征数据的聚类中心，检测出说话人嘴部处于静默状态的图像帧，进一步提取单一说话人发声主导的所有时间窗口。根据局部主导时间窗口信息，从时频域观测语音信号成分计算局部主导协方差矩阵，通过特征值分解提取出主导特征向量，从而实现混叠语音信道估计。对比当前较为流行的单模态音频下的混叠语音信道估计方法，从数值实验上证明了所提方法的优越性。

本发明实施例提供了一种语音识别方法、装置、系统、服务器及存储介质，所述方法包括：获取会议中多个发言者的发言图像、语音信号以及每个发言者的声纹信息，其中，语音信号包括多个发言者同时发言所产生的语音信号，对发言图像进行识别，确定每个发言者的方位信息以及唇动信息，针对每个发言者，将该发言者的唇动信息、声纹信息、方位信息以及语音信号输入预先训练完成的语音识别模型，得到该发言者对应的文本信息，其中，语音识别模型为基于多用户语音样本训练得到的，多用户语音样本包括每个用户的唇动信息、声纹信息、方位信息以及多用户同时发言所产生的语音信号。由于不需要将语音信号分离，保证了语音信号的完整，提高了语音识别的准确度。

本发明公开了一种基于语音驱动的数字人构建方法，通过改进wav2lip模型的音频编码器、人脸编码器以及人脸解码器，用深度可分离卷积DSC和时频分解机制TFD优化音频编码器，减少模型的参数数量与计算量，同时增强模型捕捉关键特征的能力。通过添加特征金字塔FPN进一步提升人脸编码器对多尺度面部信息的处理能力，尤其是在捕捉嘴型动作和面部表达的细微变化方面的能力。此外，采用多尺度生成策略提高人脸解码器输出图像的清晰度和细节表现。整体系统还包括一个音唇同步判别器和视觉质量判别器，分别用于确保唇形动作与音频的高度同步和优化生成图像的视觉质量，从而实现更自然、更精确的数字人交互体验。