✏️
LiHang-TongJiXueXiFangFa
  • Introduction
  • 第2章 感知机 - 原始形式
    • 学习策略的推导
    • 梯度下降法的算法过程
    • 梯度下降法的推导过程
    • 梯度下降法的收敛证明
  • 第2章 感知机 - 对偶形式
    • 学习模型的推导
    • 梯度下降法的算法过程
    • 梯度下降法的推导过程
  • 第3章 k近邻算法
    • 模型三要素
    • 构造平衡kd树
    • 用kd树的k近邻搜索
    • kd树的原理与改进
  • 第4章 朴素贝叶斯
    • 模型公式的推导
    • 策略公式的推导
    • 最大似然估计算法过程
    • 贝叶斯估计算法过程
  • 第5章 决策树
    • 决策树的模型
    • 信息增益的算法
    • ID3决策树的生成算法
    • C4.5决策树的生成算法
    • 决策树的剪枝算法
  • 第5章 CART决策树
    • CART树的生成
    • CART树的剪枝
  • 第6章 逻辑回归
    • 二分类逻辑回归模型
    • 多分类逻辑回归模型
  • 第6章 最大熵模型
    • 最大熵的原理
    • 最大熵模型的定义
    • 最大熵的学习过程
    • 根据最大熵的学习过程推导最大熵模型
    • 证明:对偶函数的极大化=模型的极大似然估计
  • 第6章 目标函数最优化问题
    • 改进的迭代尺度法(IIS)
    • IIS算法公式(1)推导
    • A和B的推导
    • 拟牛顿法
  • 第7章 支持向量机
    • 函数间隔与几何间隔
  • 第7章 线性可分SVM
    • 凸二次规划问题推导
    • 支持向量
    • 凸二次规划问题求解
    • 原始问题转换为对偶最优化问题
  • 第7章 线性SVM
    • 原始问题转换为对偶最优化问题
    • 根据 a 求 w 和 b*
    • 支持向量
  • 第7章 非线性SVM
    • 核函数与核技巧
    • 核技巧在SVM中的应用
    • 7.3.2 正定核
    • 常用的核函数
  • 第7章 序列最小最优化算法
    • 选择变量
    • 推导1
    • 推导2
    • 推导3
    • 推导4
    • 推导5:update b
  • 第8章 adaboost
    • 算法过程
    • 训练误差分析
    • 加法模型
    • 前向分步算法
    • adaboost一种特殊的加法模型
  • 第8章 提升树
    • 回归问题提升树的推导
    • 回归问题提升树前向分步算法
    • 一般决策问题梯度提升算法
  • 第9章 EM算法
    • 算法过程
    • Q函数的推导
    • 关于算法的收敛性
    • 高斯混合模型参数估计的EM算法
    • Q函数推导
    • 推导2
  • 第10章 隐马尔可夫模型
    • 定义
    • 概率计算问题 - 直接计算法
    • 概率计算问题 - 前向算法
    • 概率计算问题 - 后向算法
    • 学习问题 - 监督学习
    • 学习问题 - 非监督学习
    • Baum - Welch算法推导
    • 推导1
    • 预测问题 - 近似算法
    • 预测问题 - 维特比算法
    • 维特比算法推导过程
  • 第11章 条件随机场
    • 概率无向图模型
  • 遗留问题
Powered by GitBook
On this page
  • 的推导
  • 的推导

Was this helpful?

  1. 第10章 隐马尔可夫模型

推导1

PreviousBaum - Welch算法推导Next预测问题 - 近似算法

Last updated 5 years ago

Was this helpful?

γt(i)\gamma_t(i)γt​(i)的推导

γt(i)\gamma_t(i)γt​(i)代表t时刻状态为i的概率。

用公式表达为:

γt(i)=P(it=qi∣O,λ)=P(it=qi,O∣λ)P(O∣λ)贝叶斯公式,P(A∣B)=P(A,B)P(B)=P(it=qi,O∣λ)∑j=1NP(it=qi,O∣λ)=αt(i)βt(i)∑j=1Nαt(i)βt(i)公式说明1\begin{aligned} \gamma_t(i) & = P(i_t = q_i | O, \lambda) \\ & = \frac{P(i_t = q_i , O| \lambda)}{P(O|\lambda)} & \text{贝叶斯公式,}P(A|B) = \frac{P(A, B)}{P(B)} \\ & = \frac{P(i_t = q_i , O| \lambda)}{\sum_{j=1}^NP(i_t = q_i , O| \lambda)} \\ & = \frac{\alpha_t(i)\beta_t(i)}{\sum_{j=1}^N\alpha_t(i)\beta_t(i)} & \text{公式说明1} \end{aligned}γt​(i)​=P(it​=qi​∣O,λ)=P(O∣λ)P(it​=qi​,O∣λ)​=∑j=1N​P(it​=qi​,O∣λ)P(it​=qi​,O∣λ)​=∑j=1N​αt​(i)βt​(i)αt​(i)βt​(i)​​贝叶斯公式,P(A∣B)=P(B)P(A,B)​公式说明1​

公式说明

  1. 根据和的字义,得:

    αt(i)βt(i)=P(o1,o2,⋯ ,ot,it=qi∣λ)∗P(ot+1,ot+2,⋯ ,oT∣it=qi,λ)=P(o1,o2,⋯ ,ot∣it=qi,λ)∗P(ot+1,ot+2,⋯ ,oT∣it=qi,λ)∗P(it=qi∣λ)=P(O∣it=qi,λ)∗P(it=qi∣λ)=P(O,it=qi∣λ)\begin{aligned} \alpha_t(i)\beta_t(i) & = P(o_1,o_2,\cdots,o_t,i_t=q_i|\lambda) * P(o_{t+1},o_{t+2},\cdots,o_T |i_t=q_i, \lambda) \\ & = P(o_1,o_2,\cdots,o_t|i_t=q_i, \lambda) * P(o_{t+1},o_{t+2},\cdots,o_T |i_t=q_i, \lambda) * P(i_t=q_i|\lambda) \\ & = P(O|i_t=q_i, \lambda) * P(i_t=q_i|\lambda) \\ & = P(O, i_t=q_i| \lambda) \end{aligned}αt​(i)βt​(i)​=P(o1​,o2​,⋯,ot​,it​=qi​∣λ)∗P(ot+1​,ot+2​,⋯,oT​∣it​=qi​,λ)=P(o1​,o2​,⋯,ot​∣it​=qi​,λ)∗P(ot+1​,ot+2​,⋯,oT​∣it​=qi​,λ)∗P(it​=qi​∣λ)=P(O∣it​=qi​,λ)∗P(it​=qi​∣λ)=P(O,it​=qi​∣λ)​

    我的推导方法可能比较笨。

ξt(i,j)\xi_t(i,j)ξt​(i,j)的推导

前向概率αt(i)\alpha_t(i)αt​(i)
后向概率βt(i)\beta_t(i)βt​(i)