学习模型的推导

感知机对偶形式由感知机原始形式变化而来。

在原始形式中，感知机的模型为：

$$\begin{aligned} f(x) = sign(w \cdot x + b) \\ sign(x) = \begin{cases} +1, && x \ge 0 \\ -1, && x \lt 0 \end{cases} && (1) \end{aligned}$$

根据梯度下降法的推导过程可知，当基于一个误分类样本$(x_i, y_i)$作调整时，会这样移动w和b

$$\begin{cases} w_{new} = w_{old} + \eta y_ix_i \\ b_{new} = b_{old} + \eta y_i \end{cases}$$

假设初始(w, b)为0，且对每个样本$(x_i, y_i)$分别作了$a_i$次调整，那么最终的(w, b)为：

$$\begin{cases} w = \sum a_i \eta y_ix_i \\ b = \sum a_iy_i && (2) \end{cases}$$

把公式（2）代入公式（1）得：

$$\begin{aligned} f(x) = sign(\sum_{j=1}^m a_jy_jx_j \cdot x + b) \\ sign(x) = \begin{cases} +1, && x \ge 0 \\ -1, && x \lt 0 \end{cases} \end{aligned}$$