激活函数在神经网络中的作用是什么?
计算机/软件
0 239
2
该提问暂无详细描述
收藏
2021-01-19 04:34 更新 🍊小桔子 •  1552
共 1 个回答
高赞 时间
0

神经网络必须实现复杂的映射函数,因此它们需要非线性的激活函数,以便引入急需的非线性特性,使它们能够逼近任何函数。没有激活函数的神经元等价于有线性激活函数的神经元。

Φ(𝑥)=𝑥,这样的激活函数没有增加非线性,因此整个网络将等同于一个单一的线性神经元。也就是说,有一个多层线性网络就等于有一个线性节点。

因此,用线性激活函数构建多层网络是没有意义的,最好是由单个节点来完成。更糟糕的是,单个线性节点无法处理不可分离的数据,这意味着无论一个多层线性网络有多大,它都无法解决经典的异或问题或任何其他非线性问题。

激活函数对于压缩神经元的无界线性加权和也很重要。这对于避免大值在处理层次结构的高处积累非常重要。

最后,激活函数是决策函数,理想的决策函数是heaviside阶跃函数,但它是不可微的,因此我们使用了更平滑的版本,如sigmoid函数,可微使它们成为基于梯度的优化算法的理想选择。

收藏
2021-01-19 04:48 更新 Lisa •  1167