专利交易市场

本发明提供一种神经网络的训练方法、装置及设备、存储介质，可更好地保证结果的精度与特征图的稀疏度。该方法包括：将图像样本数据输入至第一神经网络中，得到第一神经网络输出的预测标签、以及第一神经网络的至少一个指定处理层输出的特征图，特征图是在第一神经网络确定预测标签的过程中输出的，特征图包含多个特征值；依据预测标签与图像样本数据对应的样本标签并采用预设的损失函数确定损失值，损失值用于表征预测标签与样本标签之间的差异；依据特征图确定用于表征特征图的稀疏度的稀疏度值；依据损失值与稀疏度值确定用于优化第一神经网络的优化参数值；依据优化参数值优化第一神经网络得到第二神经网络。

本发明属于模型压缩技术领域，公开了一种自适应调节知识蒸馏温度的模型压缩方法、系统及介质，采集图像样本，对图像样本中的异常数据和缺失数据进行数据清洗，包括直接丢弃异常数据和采用最邻近插值或双线性插值法恢复缺失数据；采用Mosaic‑4数据增强方法随机对图像样本进行翻转、缩放、裁剪等操作，并任意选取4张变换后的图像进行拼接，进而增强图像样本；建立最小化自适应蒸馏损失函数，完成教师模型的知识到学生模型的传递，实现知识蒸馏；采用训练集对学生模型进行训练，确定最优化的总损失函数，实现模型压缩。本发明更好地平衡教师模型知识向学生模型的传递，进而获得更轻量化的学生模型。

一种深度神经网络模型动态分层梯度压缩方法，将梯度稀疏化压缩方法与流水线并行技术相结合，为每层神经网络匹配一个合适的阈值，通过在后续迭代时动态调整该阈值，实现对每层网络传输梯度的自适应压缩。之后，结合给定的模型结构和硬件配置信息，利用启发式动态规划算法求解最佳的层梯度组合通信方式，将多层小尺度梯度张量合并为一层通信。最后，将求解出的最优的层梯度合并组合应用于具体的训练迭代过程，在保证模型训练精度的同时，提升大规模深度神经网络模型训练速度，实现计算与通信最大化重叠，提高计算资源利用率，为充分利用硬件计算资源，提升深度神经网络模型训练速度提供一个有效的解决方法。