11-3 Soft Margin和SVM的正则化

hard Margin: 使用这种方法，对下面这张图中的样本，hard SVM会给出这样一根决策边界 hard SVM非常明显地受到一个蓝点的影响，而这个蓝点很有可能是outlier或者是个错误点。 这根决策边界可能是一根更好的决策边界。 而对于下图这样的样本点，线性不可分的情况，hard SVN是无解的。 hard SVM需要更好的容错性。 改进：增加一个宽松量

即允许一些点出现在图中虚线和实线之间的位置。 这里的宽松量不是一个定值，它对每一个样本都是不同的。 同时还要最小化所有的宽松量。 目标函数变成了：

L1正则、L2正则