专利交易市场

本发明涉及语音识别技术领域，揭露一种跨模态语音识别方法。所述方法包括以下步骤：获得待分析的视频信息并抽取其中的通话音频和视觉信息；获得语音帧序列；利用语音识别模型对所述语音帧序列进行解码操作，得到所对应的文本信息；对所述视觉信息进行多重特征提取操作，得到所述视觉信息的特征序列；利用预设的视觉信息提取模型，得到面部信息序列；利用预设的目标检测模型对所述面部信息序列进行提取分析，从而进行进一步的优化，利用训练后的唇语转换模型优化后的唇部序列，进行解码操作，得到候选词集；利用训练的融合神经模型加以对比和融合，输出最后的文本信息。本发明可以解决当前语音识别容易受到干扰的问题。