梯度下降法的推导过程

感知机的损失函数：

$$L(w, b) = - \sum_{x_i \in M}y_i (w \cdot x_i + b)$$

目标是最小化这个损失函数。

使用梯度下降法求出$L(w,b)$的偏导，使w,b向导数的负方向移动。

$$\begin{cases} \nabla_wL(w,b) = - \sum_{x_i \in M}y_ix_i \\ \nabla_bL(w,b) = - \sum_{x_i \in M}y_i && {2} \end{cases}$$

其中M是错误分类点的集合

由于perceptron使用随机梯度下降法，一次只基于一个点来调整w,b。 假设当前选择的误分类点是$(x_i, y_i)$，那就相当集合M中只有$(x_i, y_i)$这一个点，偏导公式（2）可简化为

$$\begin{cases} \nabla_wL(w,b) = - y_ix_i \\ \nabla_bL(w,b) = - y_i \end{cases}$$

令(w,b)向导数的负方向移动，学习率为$\eta$，得到

$$\begin{cases} w_{new} = w_{old} + \eta y_ix_i \\ b_{new} = b_{old} + \eta y_i \end{cases}$$