回归问题提升树前向分步算法

输入: 训练数据集T

输出: 提升树fM(x)f_M(x)

过程: 1. 令f0(x)=0f_0(x)=0 2. 对当前m计算残存差:

rmi=yifm1(xi),i=1,2,,Mr_{mi} = y_i - f_{m-1}(x_i), i = 1,2,\cdots,M
  1. 拟合残差rmir_{mi}学习一个回归树,得到T(x;Θm)T(x;\Theta_m)

  2. 更新fm(x)=fm1(x)+T(x;Θm)f_m(x) = f_{m-1}(x) + T(x; \Theta_m)

  3. 重复2-4步M次,得到M个回归树

  4. 得到回归问题提升树:

    fM(x)=m=1MT(x;Θm)f_M(x) = \sum_{m=1}^MT(x; \Theta_m)

Last updated