发明专利已授权

基于词格和相对位置嵌入的中文问题生成统一预训练方法

📄 申请号：CN202110814546.0 📄 发布日：2026/05/28

著录项目信息

申请日

2021-07-19

公开号

CN113743095B

公开日

2024-09-20

申请人

西安理工大学

法律状态

已下证

专利类型

发明

主分类号

G06F40_242

IPC 分类号

G06F40_242 , G06F40_295 , G06N3_0455 , G06N3_0895 , G06F16_31 ,

技术画像

所属领域

自然语言处理自然语言处理预训练语言模型深度学习

应用场景

智能问答, 对话系统, 教育辅导, 文本生成, 信息检索

AI 智能推荐 · 同申请人专利 · 搜索相似专利

摘要

本发明公开了基于词格和相对位置嵌入的中文问题生成统一预训练方法，具体包括如下步骤：对Robert参数进行领域预训练；使用半监督半人工的方式，快速且准确的生成目标领域词典；根据词典将输入中字和词的相对位置信息融入Transformer层；新建的Transformer层，通过大量开放域问答数据，进行任务预训练；生成问题的训练和推断。本发明在模型输入中加入了每个单子和领域词汇的相对位置信息，模型不仅能学到更多的位置关系也可以在针对目标领域输入生成问题时具有更好的效果。领域预训练和任务预训练也被应用于模型用于增强模型在特定领域的推断能力。基于同样的问答数据集本发明提出模型具有更好的效果。

权利要求书 (12项) 说明书附图

……

图1

图2

图3

法律状态时间线

一种迫击炮弹药防重装检测系统及其检测方法

当前第 / 件

基于安全访问控制知识图谱的授权鉴权引擎生成方法

同领域国内专利 · IPC: (G06F40_242)

G06F40_103 G06F40_106 G06F40_109 G06F40_117 G06F40_12 G06F40_123 G06F40_126 G06F40_129 G06F40_14 G06F40_151 G06F40_154 G06F40_166 G06F40_169 G06F40_174 G06F40_18 G06F40_183 G06F40_186 G06F40_189 G06F40_194 G06F40_20 G06F40_205 G06F40_211 G06F40_216 G06F40_226 G06F40_232 G06F40_242 G06F40_247 G06F40_253 G06F40_258 G06F40_279 G06F40_284 G06F40_289 G06F40_295 G06F40_30 G06F40_35 G06F40_40 G06F40_42 G06F40_45 G06F40_51 G06F40_58 覆盖40个领域

议价

不含过户费

📋 交易方式： 委托待转让 📌 交易状态：在售 👁️ 浏览次数：62 ❤️ 收藏人数：93 📋 项目申报： 未申报

资金托管权属尽调包过户

🏢 淄博智来知识产权服务有限公司

✓ 企业认证✓ 手机绑定历史成交 0件好评率 98.5%

📊 出价记录 (3条)

王**¥-10万

李** 企业¥-8万

陈**¥-3万

查看全部出价

我要出价 (议价)

基于词格和相对位置嵌入的中文问题生成统一预训练方法

著录项目信息

技术画像

所属领域

应用场景

摘要

法律状态时间线

同领域国内专利 · IPC: (G06F40_242)

相似专利推荐 AI 驱动 · 同领域

基于生成对抗网络的网络安全恶意流量溯源方法

面向医疗智能问答的文本语义匹配方法和装置

基于条件融合的多模态反讽检测方法

服务项目

资源中心

关于柿子坊