Last updated 5 years ago
Was this helpful?
令C =C(w),假设目标是最小化函数C 根据得:
只保留前三项,得到C(w+Δw)C(w+\Delta w)C(w+Δw)的近似值:
当Δw=−H−1∇C\Delta w = -H^{-1} \nabla CΔw=−H−1∇C时,不等式右边达到最小值,也近似地认为此时左边也达到最小值。 其中,H称为Hessian矩阵,Hjk=∂2C/∂wj∂wkH_{jk} = \partial^2 C / \partial w_j \partial w_kHjk=∂2C/∂wj∂wk。
因此,基于Hessian技术,w的更新的策略为:
优点:只需要经过非常少的迭代就使C能达到最小值点。 缺点:H−1∇CH^{-1} \nabla CH−1∇C计算困难。