tanh神经元
sigmoid神经元存在的问题
已经w的偏导公式为:
已知必定为正,的符号由决定。 可以看书: 的值与k无关 的符号相同 对于一个神经元中所有的w,会同时变大或变小 这是不合理的。
改进的方法:tanh神经元
tanh神经元的激活函数为:
tanh其实只是对sigmoid的变形,其图形为:
tanh和sigmoid的重要区别是,这使的同一个神经元中不同的w的偏导的符号可以不同。
tanh的效果
理论上分析,tanh能弥补sigmoid的不足,效果应该优于sigmoid。 在实践中,并没有明显的证据表明tanh优于sigmoid。
Last updated
Was this helpful?