搜索 分享 QQ空间 QQ好友 新浪微博 微信 生成长图 转Word 打印 朗读 全屏 修改 转藏+1

        **注：Sigmoid、Tanh、ReLU、LReLU、PReLU、Swish都是非线性激活函数，它们都在人工神经网络中起到关键的作用。非线性激活函数如Sigmoid和Tanh可以将输入的线性组合转化为非线性输出。

        Sigmoid函数的公式为S(x)=1/(1+exp(-x))，它将输入的每个值压缩到0和1之间。但是，当输入值远离0时，Sigmoid函数的梯度将接近于0，这可能会导致在训练过程中出现梯度消失的问题。

        Tanh函数与Sigmoid函数类似，但它是零中心的，也就是说它的输出范围在-1到1之间。然而，Tanh函数也存在饱和问题。

        ReLU（Rectified Linear Unit）函数对正数原样输出，负数直接置零。它在正数区域不饱和，在负数区域硬饱和。ReLU函数计算上比Sigmoid或者Tanh更省计算量，因为不用exp，因而收敛较快。能够帮助解决sigmoid随着层数的增加梯度衰减现象。但是还是非zero-centered。

        LReLU（Leaky ReLU）是ReLU的变体，区别在于它不是将所有负值设为零，而是引入一个小的正数斜率。PReLU（Parametric ReLU）是另一个ReLU的变体，其参数化负数部分允许网络学习负数斜率的最佳值。

        Swish是一种自门控激活函数，其计算公式为f(x) = x / ( 1 + e^(-x) )。