专利交易市场

本发明公开了一种特征词提取方法，包括：响应于对目标文本的分词指令，对所述目标文本进行分词，得到分词集合；组合所述分词集合中的各个所述分词，得到若干词组，其中，每个所述词组包括若干所述分词；计算所述词组的第一TF值和TF‑IDF值；计算组合所述词组的每个所述分词的第二TF值，得到若干所述第二TF值；利用所述TF‑IDF值、所述第一TF值和若干所述第二TF值计算所述词组的概率限定TF‑IDF值；选取排列在预定位置之前的所述概率限定TF‑IDF值对应的所述词组作为所述目标文本的特征词。本公开还提供了一种文本相似度计算方法、一种特征词提取装置、一种文本相似度计算装置一种计算机设备和一种计算机可读存储介质。

本发明涉及自然语言处理技术领域，公开了一种轻量化工文献相似度计算方法，本发明的模型包括多头自注意力机制特征提取模块，通过卷积层、池化层进一步提取文字的特征。化工文献相似度计算的方法的具体步骤为：使用爬虫进行化工文献进行数据挖掘并进行预处理，使用自注意力机制以及残差归一化和卷积、池化思想构建主干网络，通过使用DTW函数来比对两个文献的相似度，最后对网络模型进行剪枝，使模型结构变得高效简单，更有利于模型的迁移。与现有技术相比，本发明解决了文献查阅中出现的检索词不标准和语义模糊的问题，能快速计算出文本的相似度。

本发明涉及一种基于大数据的论文相似度检测方法和装置，获取第一论文和第二论文，以及第一论文和第二论文的领域，根据第一论文的领域和第二论文的领域获取第一论文和第二论文的相似度比例系数，根据第一论文的短文本和第二论文的短文本获取第一相似度，根据第一论文的长文本和第二论文的长文本获取第二相似度，根据相似度比例系数、第一相似度和第二相似度，判定第一论文和第二论文是否相似。本发明提供的基于大数据的论文相似度检测方法结合相似度比例系数、第一相似度和第二相似度，相较于只通过固定大小且长度比较短的词组是否相同来确定两个论文的相似度，能够提升检测准确性。

本发明公开了一种基于注意力的语义文本相似度计算方法，包括：步骤一：对数据集中的每一对文本对进行预处理，从而得到对应的文本数据样本；步骤二：将所有样本分为训练集和验证集，搭建神经网络并利用训练集样本对该神经网络进行训练，得到用于语义文本相似度计算的网络模型；步骤三：将待计算的文本对经预处理后输入网络模型中，即可得到该文本对的语义相似度计算结果。本发明设计的神经网络能更有效地提取文本的语义信息，提取两个文本间更细粒度的交互信息；该神经网络使用多个注意力机制能增强两个文本间交互信息中重要信息，提高语义文本相似度计算准确率。