sigmoid神经元

感知机的缺陷

要使网络有学习的能力,就要求神经元满足以下特点: 权重和偏移的轻微改变,导致网络最终输出的轻微改变。 但感知机神经元不满足这个特点: 权重和偏移的轻微改变,可能会使它自己的输出翻转,导致网络的最终输出不可控。

改进:sigmoid神经元

sigmoid神经元与感知机神经元类似,且满足网络对神经元的要求。

感知机神经元

sigmoid神经元

输入

0,1

[0,1]

输出

0,1

(0,1)

w, b

任意实数

任意实数

function

w*x+b

σ(wx+b)\sigma(w\cdot x+b) σ(z)=11+ez\sigma(z)=\frac{1}{1+e^{-z}}

σ\sigma函数

link

σ(z)=11+ez\sigma(z)=\frac{1}{1+e^{-z}}

它是感知机的平滑版本。 这就意味着小的改变Δw\Delta wΔb\Delta b会导致小的改变Δ\Deltaoutput

同时,Δ\Deltaoutput与Δw\Delta wΔb\Delta b呈线性关系。这也意着可以通过选择Δw\Delta wΔb\Delta b得到想要的Δ\Deltaoutput

激活函数 activation function

sigmoid神经元中的就是激活函数。 激活函数通常用f(*)表示。 可以选择不同的激活函数,这会导致公式(5)是的偏导部分不同。 是最常用的激活函数。因为它在求偏导方法非常友好。

Last updated

Was this helpful?