tanh神经元
sigmoid神经元存在的问题
已经w的偏导公式为:
已知必定为正,的符号由决定。 可以看书: 的值与k无关 的符号相同 对于一个神经元中所有的w,会同时变大或变小 这是不合理的。
改进的方法:tanh神经元
tanh神经元的激活函数为:
tanh的效果
理论上分析,tanh能弥补sigmoid的不足,效果应该优于sigmoid。 在实践中,并没有明显的证据表明tanh优于sigmoid。
Last updated