✏️
LiHang-TongJiXueXiFangFa
  • Introduction
  • 第2章 感知机 - 原始形式
    • 学习策略的推导
    • 梯度下降法的算法过程
    • 梯度下降法的推导过程
    • 梯度下降法的收敛证明
  • 第2章 感知机 - 对偶形式
    • 学习模型的推导
    • 梯度下降法的算法过程
    • 梯度下降法的推导过程
  • 第3章 k近邻算法
    • 模型三要素
    • 构造平衡kd树
    • 用kd树的k近邻搜索
    • kd树的原理与改进
  • 第4章 朴素贝叶斯
    • 模型公式的推导
    • 策略公式的推导
    • 最大似然估计算法过程
    • 贝叶斯估计算法过程
  • 第5章 决策树
    • 决策树的模型
    • 信息增益的算法
    • ID3决策树的生成算法
    • C4.5决策树的生成算法
    • 决策树的剪枝算法
  • 第5章 CART决策树
    • CART树的生成
    • CART树的剪枝
  • 第6章 逻辑回归
    • 二分类逻辑回归模型
    • 多分类逻辑回归模型
  • 第6章 最大熵模型
    • 最大熵的原理
    • 最大熵模型的定义
    • 最大熵的学习过程
    • 根据最大熵的学习过程推导最大熵模型
    • 证明:对偶函数的极大化=模型的极大似然估计
  • 第6章 目标函数最优化问题
    • 改进的迭代尺度法(IIS)
    • IIS算法公式(1)推导
    • A和B的推导
    • 拟牛顿法
  • 第7章 支持向量机
    • 函数间隔与几何间隔
  • 第7章 线性可分SVM
    • 凸二次规划问题推导
    • 支持向量
    • 凸二次规划问题求解
    • 原始问题转换为对偶最优化问题
  • 第7章 线性SVM
    • 原始问题转换为对偶最优化问题
    • 根据 a 求 w 和 b*
    • 支持向量
  • 第7章 非线性SVM
    • 核函数与核技巧
    • 核技巧在SVM中的应用
    • 7.3.2 正定核
    • 常用的核函数
  • 第7章 序列最小最优化算法
    • 选择变量
    • 推导1
    • 推导2
    • 推导3
    • 推导4
    • 推导5:update b
  • 第8章 adaboost
    • 算法过程
    • 训练误差分析
    • 加法模型
    • 前向分步算法
    • adaboost一种特殊的加法模型
  • 第8章 提升树
    • 回归问题提升树的推导
    • 回归问题提升树前向分步算法
    • 一般决策问题梯度提升算法
  • 第9章 EM算法
    • 算法过程
    • Q函数的推导
    • 关于算法的收敛性
    • 高斯混合模型参数估计的EM算法
    • Q函数推导
    • 推导2
  • 第10章 隐马尔可夫模型
    • 定义
    • 概率计算问题 - 直接计算法
    • 概率计算问题 - 前向算法
    • 概率计算问题 - 后向算法
    • 学习问题 - 监督学习
    • 学习问题 - 非监督学习
    • Baum - Welch算法推导
    • 推导1
    • 预测问题 - 近似算法
    • 预测问题 - 维特比算法
    • 维特比算法推导过程
  • 第11章 条件随机场
    • 概率无向图模型
  • 遗留问题
Powered by GitBook
On this page

Was this helpful?

遗留问题

Previous概率无向图模型

Last updated 5 years ago

Was this helpful?

  1. 公式(7),怎么证明w^0⋅w^opt≥0\hat w_0 \cdot \hat w_{opt} \ge 0w^0​⋅w^opt​≥0?

  2. CS229里面说感知机算法没有数学依据?

  3. 只实际了递归算法,怎么用DP实现?

  4. 为什么算法2步要强调自下而上计算g(t)?既然要把所有的a求出来,先算哪个结点的a应该不影响结果。

  5. [A(δ∣w)A(\delta|w)A(δ∣w)和B(δ∣w)B(\delta|w)B(δ∣w)推导] A(δ∣w)A(\delta|w)A(δ∣w)的推导 () 公式(3)怎么推导到公式(4)

  6. [A(δ∣w)A(\delta|w)A(δ∣w)和B(δ∣w)B(\delta|w)B(δ∣w)推导] () B(δ∣w)B(\delta|w)B(δ∣w)的推导 一次只优化其中一个变量δi\delta_iδi​,而固定其它变量δj,i≠j\delta_j,i \neq jδj​,i=j,得: 【?】是一只优化一个wiw_iwi​还是一个δi\delta_iδi​? 【?】如果是只优化一个wiw_iwi​,为什么不能直接假设其它δj=0\delta_j=0δj​=0? 【?】如果是只优化一个δi\delta_iδi​,为什么算法6.1步骤2-(b)只更新一个wiw_iwi​?

  7. 算法没看懂

  8. 7.1.3存在性和w的唯一性没看懂

  9. 公式(5)代入公式(3)怎么得到公式(6)

  10. 公式(5)怎么得到公式(6)

  11. 这一节从3开始就看不懂了,很多术语不懂 13."感知机学习算法的原始形式和对偶形式与第7章中支持向量机学习算法的原始形式和对偶形式相对应。" 感知机中的对偶与后面算法中的对偶是怎么对应的?

  12. [高斯混合模型的Q函数推导]过程有几一些地方没看懂()

  13. 9.4节,数据基础不够,看不懂。先去补补数学基础吧。

  14. 的初值是怎么来的?

梯度下降法的收敛证明
决策树的剪枝算法
CART树的剪枝
https://windmising.gitbook.io/lihang-tongjixuexifangfa/option/10
https://windmising.gitbook.io/lihang-tongjixuexifangfa/option/10
拟牛顿法
线性可分SVM
原始问题转换为对偶最优化问题
训练误差分析
7.3.2 正定核
https://windmising.gitbook.io/lihang-tongjixuexifangfa/em/5
后向算法