Sigmoid 激活函数

优势：

• 取值为 $[0-1]$，可以用来表示概率取值，同时也达到了归一化的效果
• 梯度整体是非常平滑的，不像relu一样有跳跃输出
• 函数是可微的。这意味着可以找到任意两个点的 sigmoid 曲线的斜率；

缺点：

• 当取值5左右的时候，梯度就已经非常小了，不利于梯度更新，倾向于梯度消失的情况
• 执行指数运算，计算非常慢

ReLU激活函数

优点：

• 求导简单，计算简单
• 当输入为整数的时候，不存在梯度饱和的问题，梯度永远是1

缺点：

• Dead ReLU 问题：当ReLU的输入为负数时，其输出恒为0，导致在反向传播过程中，该神经元的梯度为0。这意味着在反向传播时，该神经元的权重不会得到更新，因为梯度为0意味着权重的变化量为0。如果一个神经元的输入持续为负，那么这个神经元就会变成“死亡”状态，因为它不再对任何输入做出反应，即它的输出始终为0，这会导致网络中的信息流中断，影响网络的学习效果。

tanh激活函数

tanh和sigmoid是非常相似的 优缺点参考sigmoid

leaky relu

从理论上讲，Leaky ReLU 具有 ReLU 的所有优点，而且 Dead ReLU 不会有任何问题，但在实际操作中，尚未完全证明 Leaky ReLU 总是比 ReLU 更好。

参考

深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点