等式的意义
如果一个神经元的某个weight“学得慢”,可能是因为: 1. 它的参数(上一层的输入)是low-activation的。 2. 它的输出是饱和的(接近0或1)
参数是low-activation的
根据公式四:
\begin{eqnarray} \frac{\partial
C}{\partial w} = a_{\rm in} \delta_{\rm out},
\tag{32}\end{eqnarray}
输出的饱和的
Last updated