# 梯度下降法的推导过程

在感知机的原始形式中，模型为：

$$
\begin{aligned}
f(x) = sign(w \cdot x + b)   \\
sign(x) = 
\begin{cases}
 +1, && x \ge 0 \\
 -1, && x \lt 0
 \end{cases}
\end{aligned}
$$

对应的梯度下降法的偏导公式为：

$$
\begin{cases}
w_{new} = w_{old} + \eta y_ix_i \\
b_{new} = b_{old} + \eta y_i
\end{cases}
$$

在感知机的对偶形式中，模型演变为：

$$
\begin{aligned}
f(x) = sign(\sum_{j=1}^m a_jy_jx_j \cdot x + b)   \\
sign(x) = 
\begin{cases}
 +1, && x \ge 0 \\
 -1, && x \lt 0
 \end{cases}
\end{aligned}
$$

感知机的对偶模型，实际是把原始模型中的w,b展开为：

$$
\begin{cases}
w = \sum_{j=1}^m a_jy_jx_j \\
b = \sum_{j=1}^m a_jy_j   && (3)
\end{cases}
$$

对应的梯度下降法的偏导公式中的w则演变为：

$$
\begin{aligned}
(\sum_{j=1}^m a_jy_jx_j)_{new} = (\sum_{j=1}^m a_jy_jx_j)_{old} + \eta y_ix_i    && {4}
\end{aligned}
$$

对以上公式进一步简化：\
1\. 由于使用的是随机梯度下降法，假设误分类集合M中只有一个点$$(x_j, y_j)$$\
2\. 公式（4）左右两边都去掉$$y_jx_j$$，得到

$$
\begin{aligned}
(a_j)_{new} = (a_j)_{old} + \eta  && {5}
\end{aligned}
$$

公式（3）中的b更新方式不变，与公式（5）结合，得：

$$
\begin{cases}
(a_j)_{new} = (a_j)_{old} + \eta \\
b_{new} = b_{old} + a_jy_j && (6)
\end{cases}
$$
