CNN模型压缩和加速算法是啥?
计算机/软件
1 357
1
该提问暂无详细描述
收藏
2021-02-02 02:12 更新 阿托 •  5852
共 1 个回答
高赞 时间
0

卷积神经网络的深度和规模不断增长,对在移动端部署深度学习构成了巨大挑战。 CNN模型的压缩和加速已成为学术界和业界关注的研究领域之一。

自AlexNet赢得ILSVRC 2012 ImageNet图像分类竞赛以来,卷积神经网络(CNN)的兴起席卷了整个计算机视觉领域。 CNN模型迅速取代了传统的手工特征和分类器。它不仅提供了端到端的处理方法,而且还大大刷新了各种图像竞赛任务的准确性,甚至超过了人眼的准确性(LFW人脸识别任务)。当CNN模型接近计算机视觉任务的精度极限时,其深度和大小也在加倍。

表1几种经典模型的大小,计算量和参数量

接踵而至的问题是:如此庞大的模型只能在有限的平台上使用,根本无法移植到移动和嵌入式芯片上。即使通过网络进行传输,高带宽占用也不容乐观。另一方面,大型模型也对设备的功耗和运行速度提出了巨大的挑战。因此,要使这种模型切实可行,还有很长的路要走。

在这种情况下,模型的小型化和加速已成为亟待解决的问题。实际上,早期学者已经提出了包括修剪和矩阵SVD分解在内的一系列CNN模型压缩方法,但是压缩率和效率远不能令人满意。

近年来,从压缩的角度来看,用于模型小型化的算法可以大致分为两类:从模型权重数值的角度来看压缩和从网络体系结构的角度来看压缩。另一方面,从计算速度的角度来看,它可以分为:仅压缩大小增加速度的同时压缩大小

表2 几种经典压缩方法及其比较

参考https://developpaper.com/overview-of-cnn-model-compression-and-acceleration-algorithms/

收藏
2021-02-02 02:22 更新 正直的烤面包 •  1846