发明专利已授权

一种大语言模型下的动态推理方法和系统

📄 申请号：CN202411566454.5 📄 发布日：2026/09/07

著录项目信息

申请日

2024-11-05

公开号

CN119150863A

公开日

2024-12-17

申请人

中国计量大学

法律状态

已下证

专利类型

发明

主分类号

G06F40_289

IPC 分类号

G06F40_289 , G06F40_211 , G06N5_04 , G06F16_33 , G06N3_08 ,

技术画像

所属领域

人工智能算法人工智能算法自然语言处理推理系统

应用场景

智能问答, 多轮对话, 内容生成, 知识推理, 智能客服

AI 智能推荐 · 同申请人专利 · 搜索相似专利

摘要

针对用户输入的多样性以及大语言模型在处理复杂和简单查询时的资源消耗差异问题，本发明提出了一种大语言模型下的动态推理方法和系统，通过将用户输入的提示语句进行分词处理，并利用两个不同的识别模型分别计算每个分词的匹配度，进而计算出推理控制因子。该推理控制因子用于指导大语言模型内部的动态推理过程，具体是通过调整Key‑Value缓存的管理策略来实现的。在当前token与上下文token之间的相对距离超过由推理控制因子确定的范围时，相关的Key和Value会被从缓存中移除。这种方法有效地平衡了存储空间的使用和推理效率，使得大语言模型能够根据不同类型的用户输入动态调整其内部资源分配，从而提高了整体的响应速度和准确性。

权利要求书 (12项) 说明书附图

……

图1

图2

图3

法律状态时间线

离心管自动清洗装置

当前第 / 件

一种基于蘑菇养殖的自动采摘运输装袋一体化系统

同领域国内专利 · IPC: (G06F40_289)

G06F40_103 G06F40_106 G06F40_109 G06F40_117 G06F40_12 G06F40_123 G06F40_126 G06F40_129 G06F40_14 G06F40_151 G06F40_154 G06F40_166 G06F40_169 G06F40_174 G06F40_18 G06F40_183 G06F40_186 G06F40_189 G06F40_194 G06F40_20 G06F40_205 G06F40_211 G06F40_216 G06F40_226 G06F40_232 G06F40_242 G06F40_247 G06F40_253 G06F40_258 G06F40_279 G06F40_284 G06F40_289 G06F40_295 G06F40_30 G06F40_35 G06F40_40 G06F40_42 G06F40_45 G06F40_51 G06F40_58 覆盖40个领域

相似专利推荐 AI 驱动 · 同领域

暂无同领域相似专利推荐

议价

不含过户费

📋 交易方式： 委托待转让 📌 交易状态：在售 👁️ 浏览次数：16 ❤️ 收藏人数：93 📋 项目申报： 未申报

资金托管权属尽调包过户

🏢 淄博智来知识产权服务有限公司

✓ 企业认证✓ 手机绑定历史成交 0件好评率 98.5%

📊 出价记录 (3条)

王**¥-10万

李** 企业¥-8万

陈**¥-3万

查看全部出价

我要出价 (议价)