隐藏层之间的深度学习激活功能？

Question

我有点困惑隐藏层之间激活的用途是什么，我知道隐藏层和输出之间的softmax函数是将概率压缩到[0,1]，但隐藏层之间使用sigmoid函数是什么？

Answer 1

目的是非线性行为添加到网络时，没有它可以表示的官能团的数目是低的，如果你没有非线性激活函数，网络是完全线性的，这对于大多数问题并不是很有用。

每个添加非线性激活的图层也会影响网络输出的非线性行为。这是增加更多图层可以提高准确性的一个原因，因为网络可以更好地表示不同的功能。

Answer 2

1.向网络添加非线性表示。

2.请使用Relu，prelu，lrelu代替sigmoid，tanh，因为减少了渐变梯度问题。