专利交易市场

本发明涉及视觉检测技术领域，更具体地说，它涉及一种基于知识蒸馏的高速工业场景视觉质量检测方法，其技术方案要点是，包括以下步骤：S1、拍摄具有缺陷的产品图像，对所述图像进行处理以获得数据集；S2、构建教师网络模型，训练所述教师网络模型，获得第二教师网络模型训练参数Θt；S3、构建学生网络模型，基于所述第二教师网络模型训练参数Θt训练所述学生网络模型，获得第二学生网络模型训练参数Θs；S4、待检测目标图像输入所述学生网络模型，所述学生网络模型基于所述第二学生网络模型训练参数Θs和所述第二教师网络模型训练参数Θt输出所述待检测目标图像的检测结果。本发明既提高了视觉质量检测的准确性，又保持了较高的实时性能。

本发明公开了面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法，涉及图像识别技术领域，该方法包括以下步骤：获取图像样本数据及标签数据；构建知识蒸馏网络模型；构建样本特征提取模块；构建增强的特征；构建在线类间样本特征关系蒸馏；构建自适应蒸馏；构建总损失函数；训练学生网络模型；即使用步骤七计算得到的总损失函数训练学生网络模型，并反向传播，更新学生网络模型的参数，得到训练的学生网络模型；皮肤肿瘤图像实时分类。本发明应用于皮肤肿瘤图像识别与分类，不需要预训练教师，使用在线学生网络进行训练，节省蒸馏的时间、计算和存储成本。

本发明公开了一种基于知识蒸馏的多层神经网络语言模型训练方法与装置，该方法首先构建BERT语言模型和多层BILSTM模型作为教师模型和学生模型，其中所构建的BERT语言模型中有六层transformer，多层BILSTM模型中有三层BILSTM网络；然后将文本语料集进行预处理后，对BERT语言模型进行训练得到训练好的教师模型；再基于知识蒸馏技术将预处理后的文本语料集输入到多层BILSTM模型训练学生模型，在学习教师模型中的嵌入层、隐藏层以及输出层之时，通过线性变换将不同空间表示进行计算。基于训练好的学生模型，可将文本进行向量转换，进而训练下游网络更好地进行文本分类。本发明可以有效提升文本预训练效率以及文本分类任务的精确度。