加法模型

模型

加法模型 additive model

f(x)=m=1Mβmb(x;γm)f(x) = \sum_{m=1}^M\beta_mb(x;\gamma_m)

其中: βmb(x;γm)\beta_mb(x;\gamma_m)是基函数 γm\gamma_m是参数 βm\beta_m是系数

策略

损失函数:

minβm,γmi=1NL(yi,m=1Mβmb(xi;γm))\min_{\beta_m,\gamma_m}\sum_{i=1}^NL(y_i,\sum_{m=1}^M\beta_mb(x_i;\gamma_m))

公式中,N为样本的个数,M为基函数的个数

使用经验风险极小化作为损失函数极小化

算法

前向分步算法 forward algorithm

因为学习的是加法模型,如果能从前向后,每一步只学习一个基函数及其系数,逐渐逼近优化目标函数式(2),那么就可以简化优化的复杂度。 具体地,每步只需要优化如下损失函数:

minβ,γi=1NL(yi,βb(xi;γ))\min_{\beta,\gamma}\sum_{i=1}^NL(y_i,\beta b(x_i;\gamma))

Last updated