# 加法模型

## 模型

**加法模型 additive model**

$$
f(x) = \sum_{m=1}^M\beta_mb(x;\gamma_m)
$$

其中：\
$$\beta_mb(x;\gamma_m)$$是基函数\
$$\gamma_m$$是参数\
$$\beta_m$$是系数

## 策略

损失函数：

$$
\min_{\beta_m,\gamma_m}\sum_{i=1}^NL(y_i,\sum_{m=1}^M\beta_mb(x_i;\gamma_m))
$$

公式中，N为样本的个数，M为基函数的个数

使用经验风险极小化作为损失函数极小化

## 算法

**前向分步算法 forward algorithm**

因为学习的是加法模型，如果能从前向后，每一步只学习一个基函数及其系数，逐渐逼近优化目标函数式(2)，那么就可以简化优化的复杂度。\
具体地，每步只需要优化如下损失函数：

$$
\min_{\beta,\gamma}\sum_{i=1}^NL(y_i,\beta b(x_i;\gamma))
$$
