扩展人工神经网络为什么将更多节点添加到一个或多个隐藏层中?
0 361
0
该提问暂无详细描述
收藏
2021-01-30 11:27 更新 阿托 •  17013
共 1 个回答
高赞 时间
0

机器学习有一个非常著名的结论,它指出一个隐藏层足以近似任何平滑的有界函数(出自论文《Multilayer feedforward networks are universal approximators》)。但是,有几件事要注意:

  • 单个隐藏层可能需要任意宽。

  • 这并没有说明寻找近似的难易程度。通常,大型网络很难正确训练,并且经常出现过拟合问题(“卷积神经网络”例外,它实际上仅用于视觉问题)。

  • 这也没有说明表示的效率。如果使用一层完成某些功能,则需要隐藏单元的指数数量,但是使用更多层则可以更好地扩展。【learn more】

深度神经网络的问题在于它们更难训练。最终将非常小的梯度反向传播到较早的隐藏层,并且学习并没有真正进行到任何地方,尤其是将权重初始化为较小的值时(如果将其初始化为较大的值,则经常会陷入不良的局部最小值)。

Via:https://stackoverflow.com/a/413075/15018571

收藏
2021-01-30 11:23 更新 正直的烤面包 •  3996