深度学习中激活函数是什么?
0 1025
0
该提问暂无详细描述
收藏
2021-03-30 14:02 更新 正直的烤面包 •  3996
共 1 个回答
高赞 时间
0

简而言之,激活函数会根据输入信号生成输出。 为了了解什么是激活函数,需要了解神经网络的结构。

这里可以看到隐藏层从输入层获取输入信号。

什么激活函数?

从输入层获得输入信号后,在隐藏层中,我们根据这些输入信号的性质对它们进行合并(合并意味着加权和)。

然后将它们发送给一个函数,该函数就是激活函数。激活函数从这些输入信号生成输出。

因此,激活函数的主要目的是根据输入信号生成输出。

激活函数在隐藏层和输出层上执行,如图片中的箭头所示。

现在来看一下激活函数的类型。

激活函数的类型

激活函数有很多类型,但是我们现在只讨论最流行和使用最多的激活函数。

最流行的激活函数有以下几种:

  1. 阈值函数
  2. Sigmoid函数
  3. 整流函数
  4. 双曲正切(tan h)
  5. 线性函数
1.阈值激活函数

阈值函数如下图,

在阈值函数的X轴上,有一个加权和。在Y轴上,值介于0和1之间。阈值函数是一种非常简单的函数,阈值函数的公式是

φ (x)={ 1 if x>=0 and 0 if x<0}

根据阈值函数,如果该值小于0,则阈值函数传递为0。如果该值大于0或等于0,则阈值传递为1。阈值函数是一种非黑即白函数,是非常简单的函数。

2.Sigmoid函数

Sigmoid函数如图:

sigmoid 函数的公式是

φ (x) = 1/ 1+ e-x

在那种情况下,x是加权和的值。这是逻辑回归中使用的函数。

S型函数很平滑,与阈值函数不同,它在曲线上没有任何扭结。 这是一个很好且平稳的渐进过程。

sigmoid函数在最后一层(即输出层)中,尤其是预测概率时很有用。

3.整流函数

整流函数是人工神经网络中最流行的函数之一,即使它在曲线上有一个拐点。 整流函数的公式:

φ (x) =max(x,0)

整流函数一直保持0,然后随着输入值的增加从0开始逐渐增加。

在隐藏层中,主要使用整流函数。

4.双曲正切(tan h)

双曲正切与S形函数非常相似,但双曲正切函数低于0。因此,另一侧的值从0到1,从0到-1。 这对于某些应用程序可能很有用。

5.线性函数

线性函数非常简单,没有任何条件。 线性函数的公式是:

f(x) = a+x

其中a为偏差,x为加权和。 由此函数,我们得到了线性表示(一条直线)。 线性函数的优点是简单。

希望现在你对激活函数有更好的了解~

参考https://qr.ae/pGRgI5

收藏
2021-03-30 14:00 更新 阿托 •  17013