加法模型

模型

加法模型 additive model

$$f(x) = \sum_{m=1}^M\beta_mb(x;\gamma_m)$$

其中： $\beta_mb(x;\gamma_m)$是基函数 $\gamma_m$是参数 $\beta_m$是系数

策略

损失函数：

$$\min_{\beta_m,\gamma_m}\sum_{i=1}^NL(y_i,\sum_{m=1}^M\beta_mb(x_i;\gamma_m))$$

公式中，N为样本的个数，M为基函数的个数

使用经验风险极小化作为损失函数极小化

算法

前向分步算法 forward algorithm

因为学习的是加法模型，如果能从前向后，每一步只学习一个基函数及其系数，逐渐逼近优化目标函数式(2)，那么就可以简化优化的复杂度。 具体地，每步只需要优化如下损失函数：

$$\min_{\beta,\gamma}\sum_{i=1}^NL(y_i,\beta b(x_i;\gamma))$$