语言模型训练类专利转让成果转化、技术转移、商标买卖-智来柿子坊知识产权运营平台

类型
法律状态
检索范围
名称/领域

专利名称：基于知识蒸馏的多层神经网络语言模型训练方法与装置申请号：2020103222678 转让价格：面议收藏
法律状态：已下证类型：发明关键词：网络传输语言模型训练相似专利发布日：2025/08/11
摘要：本发明公开了一种基于知识蒸馏的多层神经网络语言模型训练方法与装置，该方法首先构建BERT语言模型和多层BILSTM模型作为教师模型和学生模型，其中所构建的BERT语言模型中有六层transformer，多层BILSTM模型中有三层BILSTM网络；然后将文本语料集进行预处理后，对BERT语言模型进行训练得到训练好的教师模型；再基于知识蒸馏技术将预处理后的文本语料集输入到多层BILSTM模型训练学生模型，在学习教师模型中的嵌入层、隐藏层以及输出层之时，通过线性变换将不同空间表示进行计算。基于训练好的学生模型，可将文本进行向量转换，进而训练下游网络更好地进行文本分类。本发明可以有效提升文本预训练效率以及文本分类任务的精确度。

第1页/共1页;本页1条记录/共1条记录

第页

用户指南

交易方式

专项服务

关于柿子坊

关注微信公众号

联系我们

咨询电话：13280638997
传真：0533-3110363
邮箱：kefu@shizifang.com

专利转让_商标转让_知识产权转让评估买卖_智来柿子坊专利交易平台