第2章 感知机 - 对偶形式

对偶形式的基本思想: 将w和b表示为样本(书中术语为实例)xix_i和标记yiy_i的线性组合形式,通过求解其系数而求得w和b

但变形之后的感知机就从参数学习算法变成了非参数学习算法。因为它的算法模型中还要用到训练数据集X和y

模型

f(x)=sign(j=1majyjxjx+b)sign(x)={+1,x01,x<0\begin{aligned} f(x) = sign(\sum_{j=1}^m a_jy_jx_j \cdot x + b) \\ sign(x) = \begin{cases} +1, && x \ge 0 \\ -1, && x \lt 0 \end{cases} \end{aligned}

其中,m为样本数,n为样本的特征数

策略

感知机的损失函数是一个经验风险函数:

L(w,b)=xiMyi(j=1majyjxjxi+b)L(w, b) = - \sum_{x_i \in M}y_i (\sum_{j=1}^m a_jy_jx_j \cdot x_i + b)

其中M是误分类点的集合

感知机的学习策略是从假设空间中选取使损失函数最小的模型参数a, b

算法

学习模型的具体方法 感知机对偶形式使用随机梯度下降法

{anew=aold+ηbnew=bold+ηyi\begin{cases} a_{new} = a_{old} + \eta \\ b_{new} = b_{old} + \eta y_i \end{cases}

Last updated