专利交易市场

基于拼音嵌入增强和多层信息融合的中文机器阅读理解方法和装置，其方法包括：S1：对数据集预处理；S2：中文分词操作，获得拼音嵌入向量PE；S3：将段落和问题拼接，输入到BERT，得到词嵌入向量Etoken；S4：基于拼音嵌入PE和词嵌入Etoken，通过全连接层，再与段嵌入Eseg和位置嵌入Epos相加，得到嵌入向量w；S5：进行BERT编码，得到编码向量表示；S6：将编码向量表示与词嵌入表示进行多层注意力融合，得到融合低层级问题语义信息的上下文表示向量；S7：进行多层注意力融合计算，得到融合高层级问题语义信息的上下文表示向量；S8：利用编码器的自注意力，得到融合多层信息的上下文语义向量；S9：预测答案起始点和结束点的概率分布，选择概率最大的组合确定答案跨度。

本发明涉及人工智能技术领域，公开了一种基于BERT的机器阅读理解方法、装置、计算机设备及计算机可读存储介质，该方法包括：根据待训练问题文档对训练第一预置预训练语言模型，生成文档排序模型；根据所述待训练问题文档对训练预置多文档答案预测模型，生成阅读理解模型；根据待预测问题文档对和文档排序模型，输出所述第二问题对应的目标文档；基于所述阅读理解模型，根据所述第二问题和所述目标文档，获取所述阅读理解模型输出所述目标文档中的目标文本，并将所述目标文本作为所述第二问题的阅读理解答案，实现将多文档阅读理解问题转换为单文档阅读理解问题，降低阅读理解时抽取答案的干扰，从而提高多文档阅读理解答案的准确性。

本发明属于自然语言数据处理技术领域，具体涉及基于机器阅读理解的知识增强方法、系统、装置、介质，利用置信度机制计算当前样本的置信度分数，从而确定当前样本是否需要融合外部知识辅助作答，能够有效地解决知识的冗余及噪音问题，推理过程可靠性高，大大提高了机器对于阅读理解题目的准确率。

本发明属于自然语言处理技术领域，具体涉及一种基于门控机制的多任务联合训练机器阅读理解方法。方法包括：文章与问题编码模块；交互模块；多级残差结构模块；答案预测模块。本发明通过门控机制对交互后的关联特征进行过滤，控制重要信息的流入和无用信息的流出，以把握信息的流动，从而准确的送入输出层对答案进行预测；通过引入残差结构的思想构建多级残差结构，将文章和问题交互后的表示融合原始语义信息，使语义信息更加丰富，对文章的理解更加充分，且避免了网络的退化；通过加入边缘损失函数进行多任务联合训练，保证分类任务和抽取任务的强耦合性，进一步学习正例和负例之间的特征差异。