RectifiedLinear神经元

rectified linear神经元的激活函数为：

a(z) = \max(0, z)

图像为：

sigmoid和tanh因为 $\sigma'(z)$ 而存在“学得慢”的问题。 rectified linear神经元可以解决这一问题。

[?]这句话没看懂

On the other hand, when the weighted input to a rectified linear unit is negative, the gradient vanishes, and so the neuron stops learning entirely.

在图像识别领域有较好的效果。

Last updated 4 years ago

rectified linear神经元的激活函数为：

a(z) = \max(0, z)

图像为：

sigmoid和tanh因为 $\sigma'(z)$ 而存在“学得慢”的问题。 rectified linear神经元可以解决这一问题。

[?]这句话没看懂

On the other hand, when the weighted input to a rectified linear unit is negative, the gradient vanishes, and so the neuron stops learning entirely.

在图像识别领域有较好的效果。