> For the complete documentation index, see [llms.txt](https://windmising.gitbook.io/lihang-tongjixuexifangfa/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://windmising.gitbook.io/lihang-tongjixuexifangfa/perceptron2/7.md).

# 梯度下降法的推导过程

在感知机的原始形式中，模型为：

$$
\begin{aligned}
f(x) = sign(w \cdot x + b)   \\
sign(x) =
\begin{cases}
+1, && x \ge 0 \\
-1, && x \lt 0
\end{cases}
\end{aligned}
$$

对应的梯度下降法的偏导公式为：

$$
\begin{cases}
w\_{new} = w\_{old} + \eta y\_ix\_i \\
b\_{new} = b\_{old} + \eta y\_i
\end{cases}
$$

在感知机的对偶形式中，模型演变为：

$$
\begin{aligned}
f(x) = sign(\sum\_{j=1}^m a\_jy\_jx\_j \cdot x + b)   \\
sign(x) =
\begin{cases}
+1, && x \ge 0 \\
-1, && x \lt 0
\end{cases}
\end{aligned}
$$

感知机的对偶模型，实际是把原始模型中的w,b展开为：

$$
\begin{cases}
w = \sum\_{j=1}^m a\_jy\_jx\_j \\
b = \sum\_{j=1}^m a\_jy\_j   && (3)
\end{cases}
$$

对应的梯度下降法的偏导公式中的w则演变为：

$$
\begin{aligned}
(\sum\_{j=1}^m a\_jy\_jx\_j)*{new} = (\sum*{j=1}^m a\_jy\_jx\_j)\_{old} + \eta y\_ix\_i    && {4}
\end{aligned}
$$

对以上公式进一步简化：\
1\. 由于使用的是随机梯度下降法，假设误分类集合M中只有一个点$$(x\_j, y\_j)$$\
2\. 公式（4）左右两边都去掉$$y\_jx\_j$$，得到

$$
\begin{aligned}
(a\_j)*{new} = (a\_j)*{old} + \eta  && {5}
\end{aligned}
$$

公式（3）中的b更新方式不变，与公式（5）结合，得：

$$
\begin{cases}
(a\_j)*{new} = (a\_j)*{old} + \eta \\
b\_{new} = b\_{old} + a\_jy\_j && (6)
\end{cases}
$$