✏️
LiHang-TongJiXueXiFangFa
  • Introduction
  • 第2章 感知机 - 原始形式
    • 学习策略的推导
    • 梯度下降法的算法过程
    • 梯度下降法的推导过程
    • 梯度下降法的收敛证明
  • 第2章 感知机 - 对偶形式
    • 学习模型的推导
    • 梯度下降法的算法过程
    • 梯度下降法的推导过程
  • 第3章 k近邻算法
    • 模型三要素
    • 构造平衡kd树
    • 用kd树的k近邻搜索
    • kd树的原理与改进
  • 第4章 朴素贝叶斯
    • 模型公式的推导
    • 策略公式的推导
    • 最大似然估计算法过程
    • 贝叶斯估计算法过程
  • 第5章 决策树
    • 决策树的模型
    • 信息增益的算法
    • ID3决策树的生成算法
    • C4.5决策树的生成算法
    • 决策树的剪枝算法
  • 第5章 CART决策树
    • CART树的生成
    • CART树的剪枝
  • 第6章 逻辑回归
    • 二分类逻辑回归模型
    • 多分类逻辑回归模型
  • 第6章 最大熵模型
    • 最大熵的原理
    • 最大熵模型的定义
    • 最大熵的学习过程
    • 根据最大熵的学习过程推导最大熵模型
    • 证明:对偶函数的极大化=模型的极大似然估计
  • 第6章 目标函数最优化问题
    • 改进的迭代尺度法(IIS)
    • IIS算法公式(1)推导
    • A和B的推导
    • 拟牛顿法
  • 第7章 支持向量机
    • 函数间隔与几何间隔
  • 第7章 线性可分SVM
    • 凸二次规划问题推导
    • 支持向量
    • 凸二次规划问题求解
    • 原始问题转换为对偶最优化问题
  • 第7章 线性SVM
    • 原始问题转换为对偶最优化问题
    • 根据 a 求 w 和 b*
    • 支持向量
  • 第7章 非线性SVM
    • 核函数与核技巧
    • 核技巧在SVM中的应用
    • 7.3.2 正定核
    • 常用的核函数
  • 第7章 序列最小最优化算法
    • 选择变量
    • 推导1
    • 推导2
    • 推导3
    • 推导4
    • 推导5:update b
  • 第8章 adaboost
    • 算法过程
    • 训练误差分析
    • 加法模型
    • 前向分步算法
    • adaboost一种特殊的加法模型
  • 第8章 提升树
    • 回归问题提升树的推导
    • 回归问题提升树前向分步算法
    • 一般决策问题梯度提升算法
  • 第9章 EM算法
    • 算法过程
    • Q函数的推导
    • 关于算法的收敛性
    • 高斯混合模型参数估计的EM算法
    • Q函数推导
    • 推导2
  • 第10章 隐马尔可夫模型
    • 定义
    • 概率计算问题 - 直接计算法
    • 概率计算问题 - 前向算法
    • 概率计算问题 - 后向算法
    • 学习问题 - 监督学习
    • 学习问题 - 非监督学习
    • Baum - Welch算法推导
    • 推导1
    • 预测问题 - 近似算法
    • 预测问题 - 维特比算法
    • 维特比算法推导过程
  • 第11章 条件随机场
    • 概率无向图模型
  • 遗留问题
Powered by GitBook
On this page

Was this helpful?

  1. 第7章 序列最小最优化算法

推导3

L(a2)=f(1,1)+2f(1,2)+f(2,2)+2∑j=3Nf(1,j)+2∑j=3Nf(2,j)−a1−a2+常数项1\begin{aligned} L(a_2) = f(1,1)+2f(1,2)+f(2,2) \\ +2\sum_{j=3}^Nf(1,j) +2\sum_{j=3}^Nf(2,j) \\ -a_1 - a_2 + \text{常数项}&& {1} \end{aligned}L(a2​)=f(1,1)+2f(1,2)+f(2,2)+2j=3∑N​f(1,j)+2j=3∑N​f(2,j)−a1​−a2​+常数项​​1​

其中:

f(i,j)=aiajyiyjKija1=−ξ−a2y2y1\begin{aligned} f(i, j) = a_ia_jy_iy_jK_{ij} \\ a_1 = \frac {-\xi - a_2y_2}{y_1} \end{aligned}f(i,j)=ai​aj​yi​yj​Kij​a1​=y1​−ξ−a2​y2​​​

KijK_{ij}Kij​是预先计算好的值,也看作是常数

公式(3)对a2a_2a2​求导,并令导数为0,得到a2a_2a2​的值

已知:

∂a1∂a2=∂−ξ−a2y2y1∂a2=−y2y12∂f(1,1)∂a2=∂a12K11∂a1∂a1∂a2=−2K11a1y2y1=2K11y2ξ+2K11a23f(1,2)=a1a2y1y2K12=−ξ−a2y2y1a2y1y2K12=−ξy2K12a2−K12a22∂f(1,2)∂a2=∂(−ξy2K12a2−K12a22))∂a2=−ξy2K12−2K12a24∂f(2,2)∂a2=∂a22K22∂a2=2K22a25∂∑j=3Nf(1,j)∂a2=∂∑j=3Na1ajy1yjK1j∂a1∂a1∂a2=∑j=3Najy1yjK1j(−y2y1)=−y2∑j=3NajyjK1j6∂∑j=3Nf(2,j)∂a2=∂∑j=3Na2ajy2yjK2j∂a2=∑j=3Najy2yjK2j7\begin{aligned} \frac{\partial a_1}{\partial a_2} = \frac{\partial \frac {-\xi - a_2y_2}{y_1}}{\partial a_2} = -\frac{y_2}{y_1} && {2} \\ \frac{\partial f(1,1)}{\partial a_2} = \frac{\partial a_1^2K_{11}}{\partial a_1}\frac{\partial a_1}{\partial a_2} = -2K_{11}a_1\frac{y_2}{y_1} \\ = 2K_{11}y_2\xi + 2K_{11}a_2 && {3} \\ f(1,2) = a_1a_2y_1y_2K_{12} = \frac {-\xi - a_2y_2}{y_1}a_2y_1y_2K_{12} = -\xi y_2K_{12}a_2 - K_{12}a_2^2 \\ \frac{\partial f(1,2)}{\partial a_2} = \frac{\partial (-\xi y_2K_{12}a_2 - K_{12}a_2^2))}{\partial a_2} = -\xi y_2K_{12} - 2K_{12}a_2 && {4} \\ \frac{\partial f(2,2)}{\partial a_2} = \frac{\partial a_2^2K22}{\partial a_2} = 2K_{22}a_2 && {5} \\ \frac{\partial \sum_{j=3}^Nf(1,j)}{\partial a_2} = \frac{\partial \sum_{j=3}^Na_1a_jy_1y_jK_{1j}}{\partial a_1}\frac{\partial a_1}{\partial a_2} \\ = \sum_{j=3}^Na_jy_1y_jK_{1j} (-\frac{y_2}{y_1}) \\ = -y_2\sum_{j=3}^Na_jy_jK_{1j} && {6} \\ \frac{\partial \sum_{j=3}^Nf(2,j)}{\partial a_2} = \frac{\partial \sum_{j=3}^Na_2a_jy_2y_jK_{2j}}{\partial a_2} = \sum_{j=3}^Na_jy_2y_jK_{2j} && {7} \end{aligned}∂a2​∂a1​​=∂a2​∂y1​−ξ−a2​y2​​​=−y1​y2​​∂a2​∂f(1,1)​=∂a1​∂a12​K11​​∂a2​∂a1​​=−2K11​a1​y1​y2​​=2K11​y2​ξ+2K11​a2​f(1,2)=a1​a2​y1​y2​K12​=y1​−ξ−a2​y2​​a2​y1​y2​K12​=−ξy2​K12​a2​−K12​a22​∂a2​∂f(1,2)​=∂a2​∂(−ξy2​K12​a2​−K12​a22​))​=−ξy2​K12​−2K12​a2​∂a2​∂f(2,2)​=∂a2​∂a22​K22​=2K22​a2​∂a2​∂∑j=3N​f(1,j)​=∂a1​∂∑j=3N​a1​aj​y1​yj​K1j​​∂a2​∂a1​​=j=3∑N​aj​y1​yj​K1j​(−y1​y2​​)=−y2​j=3∑N​aj​yj​K1j​∂a2​∂∑j=3N​f(2,j)​=∂a2​∂∑j=3N​a2​aj​y2​yj​K2j​​=j=3∑N​aj​y2​yj​K2j​​​234567​

得:

∂L(a2)∂a2=∂f(1,1)∂a2+2∂f(1,2)∂a2+∂f(2,2)∂a2+2∂∑j=3Nf(1,j)∂a2+2∂∑j=3Nf(2,j)∂a2−∂a1∂a2−1=...8\begin{aligned} \frac{\partial L(a_2)}{\partial a_2} = \frac{\partial f(1,1)}{\partial a_2} + 2\frac{\partial f(1,2)}{\partial a_2} + \frac{\partial f(2,2)}{\partial a_2} + 2\frac{\partial \sum_{j=3}^Nf(1,j)}{\partial a_2} + 2\frac{\partial \sum_{j=3}^Nf(2,j)}{\partial a_2} - \frac{\partial a_1}{\partial a_2} - 1 = {...} && {8} \end{aligned}∂a2​∂L(a2​)​=∂a2​∂f(1,1)​+2∂a2​∂f(1,2)​+∂a2​∂f(2,2)​+2∂a2​∂∑j=3N​f(1,j)​+2∂a2​∂∑j=3N​f(2,j)​−∂a2​∂a1​​−1=...​​8​

令公式(8)等于0,解得的a2a_2a2​为更新后的a2newa_2^{new}a2new​

a2new=a2old+y2(E1−E2)K11+K12−2K12a_2^{new} = a_2^{old} + \frac{y_2(E_1-E_2)}{K_{11}+K_{12}-2K_{12}}a2new​=a2old​+K11​+K12​−2K12​y2​(E1​−E2​)​
Previous推导2Next推导4

Last updated 5 years ago

Was this helpful?