回归问题提升树的推导

基函数为回归数：

$$T(x;\Theta) = \sum_{j=1}^Jc_jI(x \in R_j)$$

前向分步算法为：

$$\begin{aligned} f_o(x) = 0 \\ f_m(x) = f_{m-1}(x) + T(x;\Theta_m), m = 1,2,\cdots,M \\ f_M(x) = \sum_{m=1}^MT(x;\Theta_m) \end{aligned}$$

假设当前模型为$f_{m-1}(x)$，解得第m棵树的参数为：

$$\hat \Theta_m \arg\min_{\Theta_m}\sum_{i=1}^NL(y_i, f_{m-1}(x_i)+T(x;\Theta_m))$$

采用平方误差损失函数：

$$L(y, f(x)) = (y-f(x))^2$$

其损失变为：

$$L(y, f_{m-1}(x)+T(x;\Theta_m)) = (y-f_{m-1}(x)-T(x;\Theta_m))^2$$

当$y-f_{m-1}(x)=T(x;\Theta_m)$时，L最小。 $y-f_{m-1}(x)$称为当前拟合数据的残差(residual)。 直观解释为：新的回归树只是简单地拟合当前模型的残差。