> For the complete documentation index, see [llms.txt](https://windmising.gitbook.io/nielsen-nndl/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://windmising.gitbook.io/nielsen-nndl/introduction-2/qi-ta-ji-shu/2.md).

# momentum技术

Hessian的人优势在于：不仅考虑梯度，还考虑了二阶梯度。\
momentum技术是将Hessian的优势应用于gradient。

引入两个概念：\
1\. velocity(速度)，momentum技术优化的不是位置，而是速度。\
2\. friction(阻力)

gradient的更新规则为：

$$
w \rightarrow w'= w-\eta \nabla C
$$

momentum的更新规则为：

$$
\begin{eqnarray}
v & \rightarrow  & v' = \mu v - \eta \nabla C \tag{107}\\
w & \rightarrow & w' = w+v'.
\tag{108}\end{eqnarray}
$$

u是一个超参数。\
先假设u=1的情况：\
$$\nabla C$$代表力，由力改变速度v，由速度改变w。\
优点：到达最低点的速度非常快\
缺点：到达最低点后会由于惯性冲出去。

再假设u=0的情况： 将1-u看作是阻力，当u=0时表示阻力最大，\
此时算法退化为gradient算法。

可以通过调节u使得算法既保证下降速度，又不会因为惯性而冲出去。

优点：只需要很少量的代码改动就可以把gradient变为momentum。