基于滤波器聚类与缩放系数的融合剪枝算法研究
来源:用户上传
作者:谭俊波 赵鸣 李杰
摘要：榱私一步压缩神经网络模型大小，使网络能部署到移动设备上运行，该文提出了一种基于滤波器聚类与缩放系数的融合剪枝算法。该方法首先通过近邻传播聚类方法，找出相似滤波器，并删除冗余部分，其次BN层缩放系数进一步对通道进行剪枝，最后，通过微调进行恢复精度训练，达到在不损失网络精度的前提下，减小网络模型大小。在VGG16网络上使用CIFAR-10数据集进行实验，结果表明，在保持较高网络精度的前提下，与原模型相比，该文提出的算法参数量减少了90.56%，计算量缩减为原来的74.58%，新模型的内存占用和计算速度都优于原模型，与同类算法比较，该算法在计算速度和模型大小等维度有明显优势。
关键词：BN层缩放系数;聚类;模型压缩;网络剪枝;神经网络
中图分类号：TP18 文献标识码：A
文章编号：1009-3044（2022）15-0085-03
1 概述
神经网络近年来迅速发展，从VGG[1]、GoogLeNet[2]、ResNet[3]和DenseNet[4]，到新型网络SqueezeNet[5]、MobileNet[6]和ShuffleNet[7]，都取得了非常不错的效果。伴随着算法模型需要实现的功能越来越复杂，神经网络层数越来越多，参数量和计算量也随之变大。然而，由于嵌入式设备硬件条件的限制，为了能将这种大型网络模型成功部署在这类移动设备，模型压缩算法因此得以发展。He等[8]提出新的滤波器剪枝，基于几何中心标准而不是基于范数，修剪冗余的卷积核，实现网络的加速;ZHANG等人[9]提出了一种基于LASSO的滤波器选择策略，识别有代表性的滤波器和一个最小二乘重建误差，重建输出;上述方法对神经网络模型精简等相关维度在一定程度上都取得了进展，但是模型压缩程度以及加速计算程度不够，不一定适合部署到移动终端设备上。基于此，本文提出了一种融合剪枝算法。本文剩余部分内容安排如下：
第二章：详细描述本文算法的步骤及细节;第三章：陈述实验结果并对结果进行分析解释;第四章：对算法综合性能进行总结及展望。
2 融合剪枝算法
网络剪枝的核心思想就是在保证模型性能的前提下，最大程度减少参数、压缩网络模型、实现模型加速。本文提出了基于滤波器聚类与缩放系数的融合剪枝算法，其流程示意图如图1所示。
2.1基于近邻传播聚类的滤波器剪枝
Affinity Propagation算法[10]是一个迭代过程，在这个过程中，每一个点有两种属性值（吸引度和归属度值）不断地更新，最后，直到产生若干个高质量的中心（类似于质心），此时，将其余的数据分配到相应的聚类中。
如图2所示，提出将每个滤波器作为一个高维数据点，将其重新格式化为向量形式，即：对于任意两个滤波器，近邻传播将它们的相似图作为输入，反映了滤波器适合作为滤波器范例的程度。欧几里得距离为：
[ski，j=-wki-wkj2s.t. 1Qi，jQck， i≠j] （1）
当[i=j]时，表示滤波器对自身样本的适应性（自相似性）。可以定义为：
[ski，i=medianwk] （2）
median（・）返回输入的中值。
更大的[sk（i，i）]导致更多的范例滤波器，然而，这将减少更少的复杂性。使用公式（2）中第k层整体权重的中值，可以得到中等数量的样本。为求解，将公式（2）重新表述如下：
[ski，i=β*medianwki] （3）
其中[β]是一个预先给定的超参数。公式（3）与公式（2）有两个不同之处：首先，中值是在第i个滤波器上获得的，而不是整个权值。因此，相似度可以更适应滤波器。其次，引入的β提供了一个可调的模型复杂度降低，较大的[β]降低很高的复杂性，反之亦然。
除了相似度以外，在滤波器之间传递的消息还有两种，即吸引度和归属度，以决定哪些滤波器是范例，以及对于每个其他滤波器，它属于哪个范例。
吸引度通过考虑滤波器[wki]的其他潜在范例，表明滤波器[wkj]是否适合作为滤波器[wki]的范例。[r（i，j）]的更新如下：
[ri，j←si，j-maxj's.t. j'≠jai，j'+si，j's.t. 1Qi，jQck， i≠j] （4）
其中[a（i，j）]是下面的归属度，并初始化为零。最初，[r（i，j）]被设置为[s（i，i）]减去滤波器和其他滤波器之间的最大相似点。之后，如果将一个滤波器分配给其他样本，其归属度在下面的公式（6）中都小于零，这进一步降低了公式（4）中[s（i， j’）]的有效性，从而将从候选样本中去除。
对于[i=j]，“自我吸引度”给出如下定义：
[ri，i←si，i-maxi's.t. i'≠isi，i'] （5）
它被设置为[s（i，i）]减去滤波器和其他滤波器之间的最大相似点。它反映了滤波器是一个范例的可能性。
至于归属度，首先给出它的更新规则： [ai，j←min0，ri，j+i's.t. i'≠i，j'max0，ri，j's.t. 1Qi，jQck， i≠j]（6）
nlc202207151048
转载注明来源:https://www.xzbu.com/8/view-15435980.htm
