专利交易市场

本发明提出一种基于知识蒸馏的矿石分选方法，它结合改进型LeNet和残差网络(ResNet)，利用知识蒸馏(Knowledge Distillation)理论，建立老师—学生(teacher—student)模型，它可以将复杂的老师模型的知识提取到更为精简的学生模型中，提高学生网络的泛化与识别能力，压缩神经网络的框架，快速并精确地对数据进行处理和分类。因此，通过利用知识蒸馏组建老师—学生网络，能够保证在不增加时间的基础上，提升分类准确度，能够快速精准的处理矿石数据，高度智能化，性能稳定可靠，可以更快更准的分选出精矿和尾矿。

本发明公开了面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法，涉及图像识别技术领域，该方法包括以下步骤：获取图像样本数据及标签数据；构建知识蒸馏网络模型；构建样本特征提取模块；构建增强的特征；构建在线类间样本特征关系蒸馏；构建自适应蒸馏；构建总损失函数；训练学生网络模型；即使用步骤七计算得到的总损失函数训练学生网络模型，并反向传播，更新学生网络模型的参数，得到训练的学生网络模型；皮肤肿瘤图像实时分类。本发明应用于皮肤肿瘤图像识别与分类，不需要预训练教师，使用在线学生网络进行训练，节省蒸馏的时间、计算和存储成本。

本发明公开了一种基于知识蒸馏的多层神经网络语言模型训练方法与装置，该方法首先构建BERT语言模型和多层BILSTM模型作为教师模型和学生模型，其中所构建的BERT语言模型中有六层transformer，多层BILSTM模型中有三层BILSTM网络；然后将文本语料集进行预处理后，对BERT语言模型进行训练得到训练好的教师模型；再基于知识蒸馏技术将预处理后的文本语料集输入到多层BILSTM模型训练学生模型，在学习教师模型中的嵌入层、隐藏层以及输出层之时，通过线性变换将不同空间表示进行计算。基于训练好的学生模型，可将文本进行向量转换，进而训练下游网络更好地进行文本分类。本发明可以有效提升文本预训练效率以及文本分类任务的精确度。