derivative

导数代表函数增大的方向 在梯度下降法中，参数应该向导数的负方向移动。在梯度上升法中则相反。

临界点

一个函数在某个点上所有偏导都为0，这个点称为临界点(critical point)。 临界点有可能是：

• 极小值点 local/gobal minima

• 极大值点 local/global maxima

• 鞍点（saddle point）

名字	name	附近的点	H矩阵的特征值	横截面
极小值点	local/gobal minima	所有点都比它大	全部为正	所有横截面上都是极小值点
极大值点	local/global maxima	所有点都比它小	全部为负	所有横截面上都是极大值点
鞍点	saddle point	某些点比它大，某些点比它小	有正有负	有的横截面上是极小值，有的横截面上是极大值

问：怎么区分一个临界点是什么类型？ 答：Hessian矩阵。

Hessian矩阵区分临界点的类型

将$f(\theta)$在临界点处按泰勒公式展开并保留到二阶项，得：

$$f(\theta) = f(\theta_0) + (\theta-\theta_0)g + \frac{1}{2}(\theta-\theta_0)^\top H(\theta-\theta_0) + ...$$

已知： H是一个对称矩阵， 由于$\theta$是临界点，一阶导数g为0 令$x=\theta-\theta_0$ 得：

$$f(\theta) = f(\theta_0) + \frac{1}{2}x^\top Hx + ...$$

H正定 $\Rightarrow x^\top Hx > 0 \Rightarrow f(\theta) > f(\theta_0) \Rightarrow \theta_0$是局部极小点。 H负定 $\Rightarrow x^\top Hx < 0 \Rightarrow f(\theta) < f(\theta_0) \Rightarrow \theta_0$是局部极大点。 H[不定] $\Rightarrow x^\top Hx < 0$和$x^\top Hx > 0$都存在 $\Rightarrow f(\theta)$ 和$f(\theta_0)$关系不确定 $\Rightarrow \theta_0$是鞍点。 H非正定或非负定 $\Rightarrow$ 存在$x^\top Hx = 0$的情况 $\Rightarrow f(\theta) $和$f(\theta_0)$关系不确定，取决于被省略的二阶以上的项 $\Rightarrow$ 无法判断$\theta_0$是什么类型的点。

次导数(subderivative)： 设f:I→R是一个实变量凸函数，定义在实数轴上的开区间内。这种函数不一定是处处可导的，例如最经典的例子就是f(x)=|x|，在x=0处不可导。但是，从下图的可以看出，对于定义域内的任何x0，我们总可以作出一条直线，它通过点(x0,f(x0))，并且要么接触f的图像，要么在它的下方。这条直线的斜率称为函数的次导数。 https://blog.csdn.net/qq_39521554/article/details/81877845