为什么神经网络倾向于更深(更多层),而不是变得更宽(每层更多节点)?
0 200
1
该提问暂无详细描述
收藏
2021-01-25 11:13 更新 anna •  3230
共 1 个回答
高赞 时间
0

大多数情况下,这是没有必要的。这样会导致灵活性过大,就像系统尚未确定:变量太多,而数据不足。

此外,深层网络的关键点之一是,我们获得的功能是不同复杂程度的。层中的每个节点都是特定的功能。确实可以实现所需的任何功能,但是,这样的方法将无法滤除噪声,并且很容易地就会过度拟合数据,因为你可以选择了所有的功能。

例如,有一个用于面部检测的网络。高级节点代表典型的脸部形状,每个人的特征在人与人之间可能有所不同:鼻子宽而窄,耳朵偏高或偏低,肤色,…等等。

如果在这一层中有成千上万的要素,我们将得到诸如以下的要素:“右眉的中心的部分稍微倾斜了”。

当然,有了这些功能,你就可以高精度地重建任何人脸,但这不是我们想要的。通常,一些稍微不太复杂的功能(通常更易于解释)会更有用。

收藏
2021-01-25 11:44 更新 karry •  2600