adaboost一种特殊的加法模型

模型

令 $a_m$ 为系数， $G_m(x)$ 为基函数，则Adaboost的最终分类器是一个加法模型。

f(x) = sum_{m=1}^Ma_mG_m(x)

令损失函数为指数损失函数 exponential loss function

L(y, f(x)) = \exp(-yf(x))

令损失函数极小化为经验风险极小化

使用前向分步算法解出的 $a_m$ 与adaboost所使用的 $a_m$ 相同，即

a_m = \frac{1}{2}\log \frac{1-e_m}{e_m}

Last updated 4 years ago

令 $a_m$ 为系数， $G_m(x)$ 为基函数，则Adaboost的最终分类器是一个加法模型。

f(x) = sum_{m=1}^Ma_mG_m(x)

令损失函数为指数损失函数 exponential loss function

L(y, f(x)) = \exp(-yf(x))

令损失函数极小化为经验风险极小化

使用前向分步算法解出的 $a_m$ 与adaboost所使用的 $a_m$ 相同，即

a_m = \frac{1}{2}\log \frac{1-e_m}{e_m}