专利交易市场

一种高维深度学习模型向低维迁移知识的跨维度知识迁移方法，1)将n‑1维数据x扩充形成伪n维数据y；2)将y输入教师网络，提取n维特征；3)将教师网络提取的n维特征在第n维度上求特征的均值；4)将x输入学生网络，提取n‑1维特征；5)通过损失函数约束，使学生网络的特征输出逼近教师网络的特征输出；6)按步骤1)～5)重复设定次数，直到学生网络的特征输出与教师网络的特征输出相差小于预设阈值；7)按照步骤1)～6)的方法，可迁移到维度n‑2，直到维度m。当只有低维数据或为了提高算法速度只能采用低维数据时，采用本发明可以得到一个低维模型，其中存储了高维模型的知识，且具备了与高维模型相近的特征提取能力。

本发明涉及一种基于教师模型分类层权重的输出正则化方法，将完成监督训练的教师模型的分类层的权重转化为类别之间的相关性矩阵，以矩阵中的每一行作为对应类别的软标签，为学生模型提供额外的信息并参与学生模型的训练；选择准确率最高的学生模型作为最终目标模型。本发明充分利用教师模型所提供的信息，减少在训练过程中教师模型占用训练资源过大、整体训练时间过长的问题，即使某些神经网络模型仅能够提供教师模型分类器层的权重，也可以通过本方法进行学生模型的训练，具有更高的分类准确率与更广的模型适用性，具有更快的训练速度，且只需要更少的训练资源，能够在资源较少的情况下，对网络模型做进一步的正则化。

本发明公开了一种基于知识蒸馏的目标检测方法，包括构建教师‑助教‑学生模型，利用预训练的教师模型获取图像的多层次特征图；利用助教模块对特征图上采样、拼接，空间注意力处理后，将教师模型提取的多尺度特征图融合为一张特征图；利用学生模型对传递来的特征图进行多次反卷积计算获得与教师模型提取的特征维度相同的特征图；对教师模型和学生模型两者得出的特征图计算余弦相似度并通过双线性插值采样还原计算结果图至输入图像大小，再取积得到特征图Ma1，计算特征图Ma1中每一个值的特征得分，绘制图像热力图。本发明提升了目标检测效果。