针对用户输入的多样性以及大语言模型在处理复杂和简单查询时的资源消耗差异问题，本发明提出了一种大语言模型下的动态推理方法和系统，通过将用户输入的提示语句进行分词处理，并利用两个不同的识别模型分别计算每个分词的匹配度，进而计算出推理控制因子。该推理控制因子用于指导大语言模型内部的动态推理过程，具体是通过调整Key‑Value缓存的管理策略来实现的。在当前token与上下文token之间的相对距离超过由推理控制因子确定的范围时，相关的Key和Value会被从缓存中移除。这种方法有效地平衡了存储空间的使用和推理效率，使得大语言模型能够根据不同类型的用户输入动态调整其内部资源分配，从而提高了整体的响应速度和准确性。
📄 2024115664545
📂 G06F40_289
👤 中国计量大学
📅 2024-11-05
一种融合多特征的双向循环神经网络细粒度意见挖掘方法，通过互联网抓取特定网站的评论数据，并对其进行标注和预处理得到训练样本集，使用Word2Vec或Glove模型算法训练得到评论数据的词向量，并进行词性标注、依存关系标注等处理后向量化，将向量输入双向循环神经网络构建得到双向循环神经网络细粒度意见挖掘模型，本发明通过一个模型的训练同时抽取细粒度意见挖掘中属性词以及进行情感极性判断，从而进一步节约了大量的模型训练时间，提高训练效率，而且，无需专业技术人员对属性词进行人工抽取，从而节约了大量的人工成本，另外，可以通过用多种数据源训练模型，从而可以完成跨领域的细粒度意见分析，从而解决长距离情感要素依赖的问题。
📄 2017102398430
📂 G06F40_289
👤 广东工业大学
📅 2017-04-13
本发明提供一种嵌入逻辑规则的循环神经网络文本情感分析方法，通过抓取用于训练的文本语料，进行情感类别标记，然后将情感标记的文本语料分为训练集语料、测试集语料，并对其进行分词处理，以及去停用词处理，然后采用word2vec算法对做分词处理、去掉停用词后的训练集语料和测试集语料进行训练，得到相应的词向量，将训练集语料和测试集语料输入现有的知识库结合概率图模型进行分析处理，通过逻辑循环神经网络结构(Logic‑RNN与Logic‑LSTM)，将一阶逻辑规则嵌入到循环神经网络中，本发明一方面可以达到控制循环神经网络的训练方向，更倾向人的直觉，另一方面提高了文本情感分析的精度，该方法也可以用于自然语言处理、机器学习的其他领域。
📄 201710239556X
📂 G06F40_289
👤 广东工业大学
📅 2017-04-13
本发明属于自然语言处理技术领域，公开了一种基于互信息和对抗神经网络的增强主题多样性方法，包括：语料库中词语预处理作为真实文本词分布；将随机采样的语料作为编码器的输入，生成真实文本主题分布向量；将真实文本词分布与主题分布构成分布对且批内随机打乱作为负样本分布对；将狄利克雷分布随机采样的假文本主题分布为生成器输入，并转换为假文本词分布向量；以真实分布对和假分布对在对抗训练过程中生成主题词；以判别器损失函数和最大化互信息的正则化损失为目标进行训练。本发明对文本主题进行建模，挖掘高质量主题，将互信息最大化技术融入到对抗神经主题建模过程，增强主题多样性，具有更高的主题同一性和多样性指标。
📄 2023115245443
📂 G06F40_289
👤 南京邮电大学
📅 2023-11-16
本发明属于自然语言处理技术领域，公开了一种基于互信息和对抗神经网络的增强主题多样性方法，包括：语料库中词语预处理作为真实文本词分布；将随机采样的语料作为编码器的输入，生成真实文本主题分布向量；将真实文本词分布与主题分布构成分布对且批内随机打乱作为负样本分布对；将狄利克雷分布随机采样的假文本主题分布为生成器输入，并转换为假文本词分布向量；以真实分布对和假分布对在对抗训练过程中生成主题词；以判别器损失函数和最大化互信息的正则化损失为目标进行训练。本发明对文本主题进行建模，挖掘高质量主题，将互信息最大化技术融入到对抗神经主题建模过程，增强主题多样性，具有更高的主题同一性和多样性指标。
📄 2023115245443
📂 G06F40_289
👤 南京邮电大学
📅 2023-11-16
本发明公开了一种基于众包的分词标注质量评估系统，涉及标注质量评估领域，用于解决众包用户的主观理解能力存在差异导致提交的标注结果与对应类型存在偏差，使得质量识别不清的问题，采集文本分词置信度评分、文本对应类型与其余类型标准相似度、用户本轮标注数量差以及用户历史标注正确率差值建立数据分析模型，得到偏差评估系数并与偏差阈值比对，得到并统计比对结果，进一步确定标注结果错误提交的可能，标记为再划分标注结果，可划分类别相似度以及最相似标注结果对应的类别与最相似类别相似差异制定一组模糊规则进行模糊推理，确定再划分标注结果的划分方案，弥补了当前系统无法捕捉用户主观性差异的空白，提高标注效率。
📄 2024117070221
📂 G06F40_289
👤 龙岩学院
📅 2024-11-27
本发明公开了一种基于深度分层编码的智能语义匹配方法和装置，属于人工智能、自然语言处理技术领域，本发明要解决的技术问题为如何捕获更多的语义上下文信息和句子间的交互信息，以实现句子的智能语义匹配，采用的技术方案为：该方法是通过构建并训练由嵌入层、深度分层编码表示层、分层特征交互匹配层和预测层组成的句子匹配模型，实现对句子的深度分层编码表示，从而获取更多的语义上下文信息和句子间的交互信息，同时实现分层特征交互匹配机制，以达到对句子进行智能语义匹配的目标。该装置包括句子匹配知识库构建单元、训练数据集生成单元、句子匹配模型构建单元及句子匹配模型训练单元。
📄 2020101035056
📂 G06F40_289
👤 南方电网互联网服务有限公司
📅 2020-02-20
一种基于深度学习的文本语义提取方法，对于一个较长文本输入，经过系统模型，能够最大程度上还原文本语义。本发明结合了循环神经网络(RNN)以及自我注意力机制(Self‑Attention)优势，极大程度上改善了文本语义提取效果，节省了深度学习模型计算资源总成本，有效地降低了文本语义提取时间，使读者获得更优质的阅读体验。
📄 2021102955500
📂 G06F40_289
👤 浙江工业大学
📅 2021-03-19
一种基于多尺度特征融合的评价三元组抽取方法，包括：1)数据预处理：对语料库中的句子进行分词、去除停用词等操作；2)构造单词嵌入：利用预训练向量将句子中的单词转化为词嵌入；3)特征丰富：采用不同卷积核大小的CNN提取多尺度局部特征，并利用BiLSTM进一步捕捉句子当中的上下文信息，从而获得特征丰富的单词表示；4)构造词组级单词表示：设计了简单的词组感知表示选择机制，通过判断当前单词所属的词组的长度，选择合适的词组级单词表示；5)评价三元组抽取：构造对应的网格表示，进一步进行预测和解码，获得最终的评价三元组。本发明能够帮助更好地理解评论中的复杂语句，提高评价三元组的抽取准确率。
📄 2022103311986
📂 G06F40_289
👤 浙江工业大学
📅 2022-03-30
一种高校心理咨询信息服务系统，包括服务端、信息交互平台、学生端和咨询师端，所述信息交互平台分别与服务端、学生端和咨询师端连接，所述信息交互平台包括：预约模块、危机筛查模块、咨询师匹配模块、咨询师自选模块和咨询请求发送模块。本发明提供了一种高校心理咨询信息服务系统，提升了效率，简化了流程。
📄 2021102447151
📂 G06F40_289
👤 浙江工业大学
📅 2021-03-05
本发明提出了一种基于语义扩展和最大边缘相关的伪文本生成方法，包括以下步骤：S1，提取原文本的词和/或短语特征；S2，根据步骤S1中提取的特征通过相似度计算生成扩展词；S3，对步骤S2中的扩展词进行筛选候选词；S4，生成伪文本。本发明在较好地控制文本扩展的噪音的同时，实现了文本语义扩展。
📄 2019103698234
📂 G06F40_289
👤 重庆理工大学
📅 2019-05-06
本发明公开了一种基于数据分析的工程施工材料供应链管理系统，属于语义识别技术领域，本发明中通过采集工程施工材料供应链表单的图像，并对图像进行文字识别，从而得到文字信息，实现自动录入工程施工材料供应链表单，再通过实体提取子系统提取文字信息中的实体，再采用实体关系提取子系统提取文字信息中的实体关系，根据实体与实体关系构建知识图谱，从而实现对整体的供应链架构的呈现，再对知识图谱进行加密处理，从而防止第三方窃取，提高信息保密性。
📄 2023114718596
📂 G06F40_289
👤 成都航空职业技术学院
📅 2023-11-07
柿子坊 · 知识产权运营
柿子坊知识产权运营平台