✏️
LiHang-TongJiXueXiFangFa
  • Introduction
  • 第2章 感知机 - 原始形式
    • 学习策略的推导
    • 梯度下降法的算法过程
    • 梯度下降法的推导过程
    • 梯度下降法的收敛证明
  • 第2章 感知机 - 对偶形式
    • 学习模型的推导
    • 梯度下降法的算法过程
    • 梯度下降法的推导过程
  • 第3章 k近邻算法
    • 模型三要素
    • 构造平衡kd树
    • 用kd树的k近邻搜索
    • kd树的原理与改进
  • 第4章 朴素贝叶斯
    • 模型公式的推导
    • 策略公式的推导
    • 最大似然估计算法过程
    • 贝叶斯估计算法过程
  • 第5章 决策树
    • 决策树的模型
    • 信息增益的算法
    • ID3决策树的生成算法
    • C4.5决策树的生成算法
    • 决策树的剪枝算法
  • 第5章 CART决策树
    • CART树的生成
    • CART树的剪枝
  • 第6章 逻辑回归
    • 二分类逻辑回归模型
    • 多分类逻辑回归模型
  • 第6章 最大熵模型
    • 最大熵的原理
    • 最大熵模型的定义
    • 最大熵的学习过程
    • 根据最大熵的学习过程推导最大熵模型
    • 证明:对偶函数的极大化=模型的极大似然估计
  • 第6章 目标函数最优化问题
    • 改进的迭代尺度法(IIS)
    • IIS算法公式(1)推导
    • A和B的推导
    • 拟牛顿法
  • 第7章 支持向量机
    • 函数间隔与几何间隔
  • 第7章 线性可分SVM
    • 凸二次规划问题推导
    • 支持向量
    • 凸二次规划问题求解
    • 原始问题转换为对偶最优化问题
  • 第7章 线性SVM
    • 原始问题转换为对偶最优化问题
    • 根据 a 求 w 和 b*
    • 支持向量
  • 第7章 非线性SVM
    • 核函数与核技巧
    • 核技巧在SVM中的应用
    • 7.3.2 正定核
    • 常用的核函数
  • 第7章 序列最小最优化算法
    • 选择变量
    • 推导1
    • 推导2
    • 推导3
    • 推导4
    • 推导5:update b
  • 第8章 adaboost
    • 算法过程
    • 训练误差分析
    • 加法模型
    • 前向分步算法
    • adaboost一种特殊的加法模型
  • 第8章 提升树
    • 回归问题提升树的推导
    • 回归问题提升树前向分步算法
    • 一般决策问题梯度提升算法
  • 第9章 EM算法
    • 算法过程
    • Q函数的推导
    • 关于算法的收敛性
    • 高斯混合模型参数估计的EM算法
    • Q函数推导
    • 推导2
  • 第10章 隐马尔可夫模型
    • 定义
    • 概率计算问题 - 直接计算法
    • 概率计算问题 - 前向算法
    • 概率计算问题 - 后向算法
    • 学习问题 - 监督学习
    • 学习问题 - 非监督学习
    • Baum - Welch算法推导
    • 推导1
    • 预测问题 - 近似算法
    • 预测问题 - 维特比算法
    • 维特比算法推导过程
  • 第11章 条件随机场
    • 概率无向图模型
  • 遗留问题
Powered by GitBook
On this page

Was this helpful?

  1. 第7章 序列最小最优化算法

推导4

根据对偶函数的限制条件可知:

0≤a1≤C0≤a2≤C1\begin{aligned} 0 \le a_1 \le C \\ 0 \le a_2 \le C && {1} \end{aligned}0≤a1​≤C0≤a2​≤C​​1​

把a2a_2a2​用a1a_1a1​表示得:

0≤−ξ−a2y2y1≤C2\begin{aligned} 0 \le \frac {-\xi - a_2y_2}{y_1} \le C &&{2} \end{aligned}0≤y1​−ξ−a2​y2​​≤C​​2​

由于$y_1$和$y_2$的取值只能是1或者-1,而1或-1会对不等号的化简影响不同,所以把公式(2)分成4种情况:

  1. y1=y2=1y_1 = y_2 = 1y1​=y2​=1

    −C−ξ≤a2≤−ξa1+a2=−ξ\begin{aligned} -C - \xi \le a_2 \le -\xi \\ a_1+a_2=-\xi \end{aligned}−C−ξ≤a2​≤−ξa1​+a2​=−ξ​

    得:

    −C+a1+a2≤a2new≤a1+a2-C+a_1+a_2 \le a_2^{new} \le a_1 + a_2−C+a1​+a2​≤a2new​≤a1​+a2​
  2. y1=1,y2=−1y_1 = 1, y_2 = -1y1​=1,y2​=−1

    ξ≤a2≤C+ξa2−a1=ξ\begin{aligned} \xi \le a_2 \le C+\xi \\ a_2 - a_1 = \xi \end{aligned}ξ≤a2​≤C+ξa2​−a1​=ξ​

    得:

    a2−a1≤a2new≤C+a2−a1a_2 - a_1 \le a_2^{new} \le C + a_2 - a_1a2​−a1​≤a2new​≤C+a2​−a1​
  3. y1=−1,y2=1y_1 = -1, y_2 = 1y1​=−1,y2​=1

    −ξ≤a2≤C−ξa2−a1=−ξ\begin{aligned} -\xi \le a_2 \le C-\xi \\ a_2 - a_1 = -\xi \end{aligned}−ξ≤a2​≤C−ξa2​−a1​=−ξ​

    得:

    a2−a1≤a2new≤C+a2−a1a_2 - a_1 \le a_2^{new} \le C + a_2 - a_1a2​−a1​≤a2new​≤C+a2​−a1​
  4. y1=y2=−1y_1 = y_2 = -1y1​=y2​=−1

    ξ−C≤a2≤ξa1+a2=ξ\begin{aligned} \xi-C \le a_2 \le \xi \\ a_1 + a_2 = \xi \end{aligned}ξ−C≤a2​≤ξa1​+a2​=ξ​

    得:

    −C+a1+a2≤a2new≤a1+a2-C+a_1+a_2 \le a_2^{new} \le a_1 + a_2−C+a1​+a2​≤a2new​≤a1​+a2​

综合以上结果得: 当y1y2<0时,

max⁡(0,a2−a1)≤a2new≤min⁡(C,C+a2−a1)\max (0, a_2 - a_1) \le a_2^{new} \le \min(C, C + a_2 - a_1)max(0,a2​−a1​)≤a2new​≤min(C,C+a2​−a1​)

当y1y2>0时,

max⁡(0,−C+a1+a2)≤a2new≤min⁡(C,a1+a2)\max (0, -C+a_1+a_2) \le a_2^{new} \le \min(C, a_1 + a_2)max(0,−C+a1​+a2​)≤a2new​≤min(C,a1​+a2​)
Previous推导3Next推导5:update b

Last updated 5 years ago

Was this helpful?