如何解决DenseNet中的梯度消失问题?
计算机/软件
0 240
0
该提问暂无详细描述
收藏
2021-01-28 03:47 更新 Lisa •  1167
共 1 个回答
高赞 时间
0

在阅读关于DenseNets的论文后,我发现作者试图通过其层间连接架构来解决梯度消失的问题。下面是那篇论文中的图:

图中表示一个单一的5层密集块(𝐿=5),DenseNet由多个连通的密集块层组成,块层之间有卷积层和池化层。

请注意,在单一的密集块中,当𝑙' >𝑙时,每一层𝑥𝑙直接连接到随后的每一层𝑥𝑙',。因此,每一层𝑙将其特征映射直接传递到剩下的𝐿−𝑙层,而不需要求和/聚合,因此所有层都可以直接访问损失函数的梯度和原始的输入信号。

这一点与ResNet相反,ResNet通过层之间的累加来组合特性。

收藏
2021-01-28 03:48 更新 🍊小桔子 •  1552