摘要
本申请提供一种模型蒸馏方法、装置、电子设备及存储介质,用于快速有效地将复杂神经网络模型的参数直接迁移到简化神经网络模型上。该方法包括:获得预先训练的第一网络模型和未经训练的第二网络模型,第一网络模型的网络参数多于第二网络模型的网络参数;从第一网络模型中的第一批量正则化层中提取出第一参数和第二参数,第一参数和第二参数均是可学习的,第一参数影响网络模型的特征分布的方差,第二参数影响网络模型的特征分布的均值;根据第一参数和第二参数对第二网络模型中的第二批量正则化层进行初始化,获得初始化后的第二网络模型;使用第一网络模型对初始化后的第二网络模型进行蒸馏训练,获得蒸馏训练后的第二网络模型。