adaboost一种特殊的加法模型

模型

令$a_m$为系数，$G_m(x)$为基函数，则Adaboost的最终分类器是一个加法模型。

$$f(x) = sum_{m=1}^Ma_mG_m(x)$$

策略

令损失函数为指数损失函数 exponential loss function

$$L(y, f(x)) = \exp(-yf(x))$$

令损失函数极小化为经验风险极小化

算法

使用前向分步算法解出的$a_m$与adaboost所使用的$a_m$相同，即

$$a_m = \frac{1}{2}\log \frac{1-e_m}{e_m}$$