第六章：梯度下降法

不是一个机器学习算法 是一种基于搜索的最优化算法 作用：最小化一个损失函数

这个二维平面与前面提到的所有二维平面不同。注意坐标系是什么。

在直线方程中，导数代表斜率 在曲线方程中，导数代表切线斜率 在梯度下降法中，导数代表theta单位变化时，J相应的变化 导数可以代表方向，对应J增大的方向 在梯度下降法中，theta应该向导数的负方向移动 在多维函数中，要对各个方向的分量分别求导，最终得到的方向就是梯度。

注意：并不是所有函数都有唯一的极值点

解决方法： 多次运行，随机化初始化点 梯度下降法的初始点也是一个超参数

线性回归问题，损失函数J具有唯一最优解