本发明实施例提供了一种模型剪枝方法、装置及电子设备，涉及模型压缩技术领域。该方法包括：确定待剪枝模型中的各个目标网络层；确定每个目标网络层中的各个指定参数对应的敏感性指标；基于所述待剪枝模型的预设剪枝率，在所确定的各个敏感性指标中，确定剪枝阈值；去除每个目标网络层中，所对应敏感性指标小于所述剪枝阈值的各个指定参数，得到剪枝后的待剪枝模型。与现有技术相比，应用本发明实施例提供的方案，可以无需对剪枝后的模型进行训练，该剪枝后的模型仍然可以具有较高的模型性能。这样，可以减少模型剪枝的时间，提高模型剪枝的效率。
📄 2021116030952
📂 G06N3_082
👤 杭州海康威视数字技术股份有限公司
📅 2021-12-24
本发明实施例提供了一种模型剪枝率确定方法，涉及模型压缩技术领域，该方法包括：获取待剪枝模型的各部分的剪枝敏感特性；其中，每个部分的剪枝敏感特性为：指定剪枝粒度下该部分的剪枝力度与模型性能的对应关系；确定预设的所述待剪枝模型剪枝后的目标模型性能；针对每个部分，从所述剪枝敏感特性中，查找所对应模型性能不小于所述目标模型性能的各个剪枝力度；基于所查找到的各个剪枝力度，确定所述待剪枝模型的各个部分的模型剪枝率。与现有技术相比，应用本发明实施例提供的方案，可以降低模型剪枝的时间，提高模型剪枝的效率。
📄 2021116016993
📂 G06N3_082
👤 杭州海康威视数字技术股份有限公司
📅 2021-12-24
本申请提供一种模型优化方法、装置、电子设备及可读存储介质，该方法包括：对当前网络模型进行预设轮数的稀疏约束训练，并依据预设阈值对训练后的第一网络模型进行裁剪，得到第一裁后模型；对第一裁后模型的各层进行等比例扩充，并对扩充后的网络模型进行非稀疏约束训练；迭代执行上述操作，直至得到的第二网络模型满足预设停止规则时，确定迭代完成；依据预设裁后计算量，以及迭代过程中得到的第二网络模型，确定第二裁后模型；依据第二裁后模型，对原始网络模型进行变权重稀疏约束训练，得到原始网络模型对应的稀疏模型，并对所述稀疏模型进行离线裁剪。该方法可以实现基于变权重稀疏约束的网络模型自动裁剪。
📄 2021108597345
📂 G06N3_082
👤 杭州海康威视数字技术股份有限公司
📅 2021-07-28
本申请公开了一种基于YOLOv5网络模型的图像优化方法及优化系统，属于机器视觉和深度学习技术领域，包括：接收来自采集设备所采集的第一图像集，该第一图像集包括至少三种类型的驾驶员表情图片；对第一图像集进行预处理，并将预处理后的图像制作为标准数据集，该标准数据集包括训练集、验证集和测试集；采用原始YOLOv5网络模型对标准数据集进行训练，在训练过程中调整训练参数以提高训练效果；分析网络结构，对原始YOLOv5网络模型的主干网络部分进行轻量化改进。在本申请的技术方案实施过程中，通过对模型进行轻量化设置，在减轻运行压力的同时保证模型性能损失较小，从而保持较高的识别准确率，适用于多种性能的硬件设备中。
📄 2023118626339
📂 G06N3_082
👤 江苏理工学院
📅 2023-12-29
本发明涉及人工智能技术领域，尤其涉及一种模型压缩方法、装置、设备及存储介质。该模型压缩方法包括获取测试图像以及待压缩模型；其中，待压缩模型中包括多个级联的特征提取层；将测试图像输入至每一特征提取层中，通过过滤器对测试图像进行特征提取，得到多通道特征图；多通道特征图中的每一特征通道对应一子特征图；将所述子特征图转换为视觉特征图，并基于所述视觉特征图中的多个特征值，确定所述子特征图对应的特征通道的重要度；根据所述特征通道的重要度，确定目标剪枝通道；对所述目标剪枝通道进行剪枝处理，以得到压缩后的目标模型。该方法可有效提高模型剪枝准确率，实现模型的准确压缩且可有效降低模型计算量，方便部署。
📄 202110389763X
📂 G06N3_082
👤 平安科技(深圳)有限公司
📅 2021-04-12
本发明提出一种工业环境中实时PCB缺陷检测的深度学习方法与系统，该方法包括：将输入特征图输入特征提取融合模块，通过特征提取融合模块内的混合增强模块和压缩激励模块处理，得到压缩激励模块的输出特征图，得到中间特征；将中间特征输入预测模型的检测器，同时结合检测器内的评分机制，输出回归和分类结果；将回归和分类结果作为训练样本，通过置信度学习模块更新预测模型，将输入特征图输入更新后的预测模型得到预测结果。本发明通过结合组卷积和通道混洗两种技术，对卷积神经网络结构进行了重新设计，大幅减少了模型的参数数量，显著提升了推理速度，进一步提升了网络的整体性能。
📄 2024111495340
📂 G06N3_082
👤 华东交通大学
📅 2024-08-21
本发明公开一种基于二值化神经网络的快速推断电磁信号入射角的方法，应用于神经网络硬件加速领域，针对在边缘计算环境下，将神经网络部署在资源受限设备时，边缘计算设备能耗过高的问题；本发明首先对现有全精度网络模型进行改进，具体的：在每个激活层前添加BN层，同时删去全精度网络模型中的bias偏差；然后使用二值化权重对改进后的网络模型进行训练；训练完成的网络模型结合硬件并行设计，可以有效降低所部署边缘设备功耗和资源消耗。
📄 202210538029X
📂 G06N3_082
👤 电子科技大学
📅 2022-05-18
本发明涉及数据处理技术，揭露一种模型压缩方法，包括：利用预先构建的拟合器对随机噪声数据进行数据拟合，得到仿真数据并计算仿真数据和噪声数据的激活损失值，在激活损失值大于预设的激活阈值，调整所述拟合器的参数，直到激活损失值小于或等于预设的激活阈值，将仿真数据输入至待压缩模型中得到输出数据；计算输出数据和仿真数据的稀疏损失值，在稀疏损失值大于预设的稀疏阈值，调整拟合器的内部参数，直到稀疏损失值小于或者等于预设的稀疏阈值，输出仿真数据并对待压缩模型进行压缩，得到压缩后的模型。本发明还揭露一种模型压缩装置、电子设备及存储介质。本发明不需要获取训练数据、网络结构和参数等，就能实现模型的压缩。
📄 2020115016775
📂 G06N3_082
👤 平安科技(深圳)有限公司
📅 2020-12-18
本申请公开了一种目标神经网络模型训练方法、装置以及电子设备，涉及机器学习技术领域。具体实现方案为：获取第一模态的第一样本集以及第二模态的第二样本集的特征分布；将第一样本集输入初始深度神经网络模型，得到第一样本集的特征数据，第一样本集的特征数据包括第一样本集的第一类特征数据；基于第一样本集的第一类特征数据，得到第一样本集的特征分布；利用第一损失函数对初始深度神经网络模型的参数进行调整，得到目标神经网络模型；其中，第一损失函数与第一样本集的特征分布以及第二样本集的特征分布相关。可提高目标深度神经网络模型的准确性。
📄 202010321189X
📂 G06N3_082
👤 北京百度网讯科技有限公司
📅 2020-04-22
本公开提供了一种模型压缩方法、图像处理方法及装置，用于对待压缩模型中的多层网络层中的至少一层网络层进行通道剪枝处理；该方法包括：针对至少一层网络层中的任一层网络层，根据在对任一层网络层对应通道剪枝处理时的模型压缩进度，确定第一目标模型，并利用第一目标模型，获取样本图像的损失信息，以及第一目标模型中的任一层网络层的下一层网络层输出样本图像的第一特征数据；基于损失信息、以及第一特征数据，确定分类损失指导信息；基于分类损失指导信息，对任一层网络层执行通道剪枝处理。本公开在每次仅针对一层神经网络进行剪枝，且基于分类损失指导信息指导该层神经网络的通道剪枝处理，进而能够保证压缩效率，又能够兼顾压缩效果。
📄 2020102861759
📂 G06N3_082
👤 商汤集团有限公司
📅 2020-04-13
本公开实施例公开了一种训练神经网络的方法和装置、电子设备和计算机存储介质，其中，方法包括：对第一神经网络进行剪枝处理，得到剪枝网络；基于所述第一神经网络，训练所述剪枝网络，得到第二神经网络。本公开实施例可以在保证神经网络的精度的基础上，加速神经网络的训练。
📄 2018111029887
📂 G06N3_082
👤 深圳市商汤科技有限公司
📅 2018-09-20
本发明提出一种基于可微决策器和知识蒸馏的神经网络剪枝方法及系统，包括：对神经网络进行预训练；为预训练后的神经网络中的每一层卷积层构建可微决策器，对网络中的每一层进行采样并截断，得到每一层的剪枝率；对神经网络进行剪枝，得到剪枝后的网络；使用知识蒸馏方法对神经网络进行优化；对优化后的神经网络进行训练，恢复其准确度。通过在神经网络中的每一层卷积层构建可微决策器，并优化可微决策器的可训练参数，不需要人类专家的经验和人工的设计，减少人工的参与，实现快速自动化准确的神经网络结构搜索，得到神经网络的剪枝率，对神经网络进行剪枝，得到最优的神经网络结构并节省大量时间。
📄 2021113878777
📂 G06N3_082
👤 广东工业大学
📅 2021-11-22
柿子坊 · 知识产权运营
柿子坊知识产权运营平台