咨询电话:13280638997
传真:0533-3110363
邮箱:kefu@shizifang.com
摘 要:本发明属于计算机词语表示技术领域,公开了一种深度动态上下文词语表示的模型及方法,所述深度动态上下文词语表示的模型为带层注意力机制的多层双向Transformer编码器堆叠成的遮蔽语言模型;是多层神经网络,网络每一层从不同的角度捕获输入语句中每个单词的上下文信息;然后通过一个层注意力机制给予网络每一层不同的权重;最终根据权重把不同的词语表示综合起来形成词语的上下文表示。使用该模型生成的词语表示在公开数据集上进行了逻辑推理(MultiNLI)、命名实体识别(CoNLL2003)和阅读理解任务(SQuAD)三项任务,比现有模型分别提升了2.0%、0.47%和2.96%。
著 录 项:
专利/申请号: | CN201910511211.4 | 专利名称: | 一种深度动态上下文词语表示的模型及方法、计算机 |
申请日: | 2019-06-13 | 申请/专利权人 | |
专利类型: | 发明 | 地址: | |
专利状态: | 已下证 查询审查信息 | 分类号: | G06F40/42搜分类 计算机硬件 表 港口搜索 |
公开/公告日: | 转让价格: | 面议 | |
公开/公告号: | 交易状态: | 等待洽谈 搜索相似专利 |
交易方 | 企业 | 个人 |
买家 | 营业执照副本复印件(需盖公章) | 身份证复印件(签字) |
专利转让委托书(需盖公章)一式两份 | 专利转让委托书(需签字)一式两份 | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
卖家 | 营业执照副本复印件(需盖公章) | 身份证复印件(需申请人签字) |
解除代理委托书(需盖公章)一式两份(如专利通过代理机构申请) | 解除代理委托书(需签字)一式两份(如专利通过代理机构申请) | |
专利转让协议(需盖公章)一式两份 | 专利转让协议(需签字)一式两份 | |
专利请求书或手续合格通知书、授权通知书复印件 | 专利请求书或手续合格通知书、专利授权通知书复印件 | |
专利证原件(若授权下证) | 专利证原件(若授权下证) |
日期 | 法律信息 | 备注 |