对偶形式的基本思想:
将w和b表示为样本(书中术语为实例)xi和标记yi的线性组合形式,通过求解其系数而求得w和b
但变形之后的感知机就从参数学习算法变成了非参数学习算法。因为它的算法模型中还要用到训练数据集X和y
模型
f(x)=sign(j=1∑majyjxj⋅x+b)sign(x)={+1,−1,x≥0x<0 其中,m为样本数,n为样本的特征数
策略
感知机的损失函数是一个经验风险函数:
L(w,b)=−xi∈M∑yi(j=1∑majyjxj⋅xi+b) 其中M是误分类点的集合
感知机的学习策略是从假设空间中选取使损失函数最小的模型参数a, b
算法
学习模型的具体方法
感知机对偶形式使用随机梯度下降法
{anew=aold+ηbnew=bold+ηyi