第8章 提升树

提升树（boosting tree） 是以分类树或回归树为基本分类器的提升方法，是统计学习中性能最好的方法之一。

模型

以决策树为基函数的加法模型

$$f_M(x) = \sum_{m=1}^MT(x;\Theta_m)$$

其中： $T(x;\Theta_m)$为决策树 $\Theta_m$为决策树的参数 M为树的个数 没有系数$a_m$

分类问题使用二叉分类树。 回归问题使用二叉回归树。

策略

回归问题 -- 平方误差损失函数 分类问题 -- 指数损失函数 一般决策问题 -- 一般损失函数

算法

第m步的模型是：

$$f_m(x) = f_{m-1}(x) + T(x;\Theta_m)$$

若m为当前模型，通过经验风险极小化确定下一棵决策树的参数为：

$$\hat T(x;\Theta_m) = \arg \min_{\Theta_m}\sum_{i=1}^ML(y_i, f_{m-1}(x) + T(x;\Theta_m))$$