算法过程

算法8.1 AdaBoost

输入： 训练数据集T={X, y}，X为N个包含n个特征的样本，y取值为-1或1 弱学习算法 输出： 最终分类器G(x)

1. 将训练数据的权值分布初始化为均匀分布 $w_{mi}$代表第m个弱分类器的第i个样本的权重。 则：

   $$w_{1i} = \frac{1}{N}, i=1,2,\cdots,N$$
2. 根据权重$w_m$得到第m个弱分类器：

   $$G_m(x): {\Bbb X} \rightarrow {-1, +1}$$
3. 计算弱分类器$G_m(x)$的加权误分类率，这个误分类率也是带权重计算的。

   $$e_m = \sum_{i=1}^Nw_{mi}I(G_m(x_i) \neq y_i)$$
4. 计算$a_m$，$a_m$代表第m个分类器的重要性：

   $$a_m = \frac{1}{2}\log \frac{1-e_m}{e_m}$$

   其中，log以e为底 误分类率越小，这个弱分类器越有发言权。

5. 更新第m+1个弱分类器中每个样本的权重

   $$w_{m+1,i} = w_{mi}\exp (-a_my_iG_m(x_i))$$

   然后使$w_{m+1,i}$成为一个分布，即满足$\sum_{i=1}^Nw_{m+1,i}=1$ 公式8.4我觉得不对，分母不应该是$Z_m$，而应该是$Z_{m+1}$，而$Z_{m+1}$又依赖于$w_{m+1,i}$的结果，所以要分成两步计算。 $y_iG_m(x_i)$代表对样本i是否分类正确。

6. 回到第2步，生成第m+1个弱分类器。

7. 生成m个弱分类器后，组成一个强分类器

   $$\begin{aligned} f(x) = \sum_{m=1}^Ma_mG_m(x) \\ G(x) = \text {sign}(f(x)) \end{aligned}$$