理工酷

近年来，在图像处理和识别领域取得了巨大进步，深度神经网络正在变得越来越深，越来越复杂。事实证明，向神经网络添加更多层可以使其处理更加强大的图像任务，但这也会导致它们失去准确性。这就是ResNet(残差神经网络)的建立。

深度学习从业人员添加这么多图层是为了从复杂图像中提取重要特征。因此，第一层可以检测边缘，而末端的后续层可以检测可识别的形状，例如汽车轮胎。但是，如果我们向网络添加30层以上，则其性能会受到影响，并且精度会降低。这违背了增加层使神经网络更好的想法，这不是因为过拟合产生的，因为在那种情况下，人们会使用dropout和正则化技术来过拟合解决问题。之所以出现这种情况，主要是因为消失梯度问题。

y = F（x）+ x

具有152层的ResNet152模型赢得了ILSVRC Imagenet 2015的考验，但参数却比当时非常流行的VGG19网络要少。Resnet网络由具有跳跃连接（也称为身份连接）的剩余单元或块组成。

跳过连接如下所示：

前一层的输出将添加在剩余块中后一层的输出中。跳数可以为1、2甚至3。添加时，由于卷积过程，x的尺寸（或维度）可能与F（x）不同，从而导致其尺寸减小。因此，我们添加了一个额外的1 x 1卷积层以更改x的尺寸。

残差块具有3 x 3卷积层，后跟批处理归一化层和ReLU激活函数，再次通过3 x 3卷积层和批处理归一化层继续进行。跳跃连接基本上跳过这两个层，并直接在ReLU激活功能之前添加，重复这样的残余块以形成残余网络。

在对所有当前的CNN架构进行深入比较之后，ResNet通过将分类任务的最低前5％错误率保持在3.57％来脱颖而出，从而超越了所有其他架构。即使是人类，错误率也不会低更多。

34层ResNet与VGG19和34层纯网络的比较：

总而言之，可以说resnet在图像识别和分类任务中变得非常流行，因为在已经很深的神经网络添加更多层时能够解决消失和爆炸梯度。截至目前，具有数千层的ResNet尚无实际用途。

下图比较了纯网络和resnet的精度。可以观察到，随着层数的增加，34层普通网络的精度比ResNet的精度更早饱和。

参考 https://www.geeksforgeeks.org/introduction-to-residual-networks/