> For the complete documentation index, see [llms.txt](https://windmising.gitbook.io/lihang-tongjixuexifangfa/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://windmising.gitbook.io/lihang-tongjixuexifangfa/perceptron2.md).

# 第2章 感知机 - 对偶形式

对偶形式的基本思想：\
将w和b表示为样本（书中术语为实例）$$x\_i$$和标记$$y\_i$$的线性组合形式，通过求解其系数而求得w和b

但变形之后的感知机就从参数学习算法变成了非参数学习算法。因为它的算法模型中还要用到训练数据集X和y

## 模型

$$
\begin{aligned}
f(x) = sign(\sum\_{j=1}^m a\_jy\_jx\_j \cdot x + b)   \\
sign(x) =
\begin{cases}
+1, && x \ge 0 \\
-1, && x \lt 0
\end{cases}
\end{aligned}
$$

其中，m为样本数，n为样本的特征数

## 策略

感知机的损失函数是一个经验风险函数：

$$
L(w, b) = - \sum\_{x\_i \in M}y\_i (\sum\_{j=1}^m a\_jy\_jx\_j \cdot x\_i + b)
$$

其中M是误分类点的集合

感知机的学习策略是从假设空间中选取使损失函数最小的模型参数a, b

## 算法

学习模型的具体方法\
感知机对偶形式使用随机梯度下降法

$$
\begin{cases}
a\_{new} = a\_{old} + \eta \\
b\_{new} = b\_{old} + \eta y\_i
\end{cases}
$$