> For the complete documentation index, see [llms.txt](https://windmising.gitbook.io/lihang-tongjixuexifangfa/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://windmising.gitbook.io/lihang-tongjixuexifangfa/maximum/5.md).

# 最大熵的学习过程

最大熵模型的学习 = 求解最大熵模型 = 带约束的最优化模型 = 无约束最优化的对偶问题

定义：\
K：y可能的取值数

1. 列出已知的求最大熵公式和限制条件：

   $$
   \begin{aligned}
   H(P) = -\sum\_{k=1}^KP(y\_k)\log y\_k \\
   \max H(P)
   condition\_0: (\cdots = \cdots)  \\
   \cdots \\
   condition\_n
   \end{aligned}
   $$
2. 将求最大值问题改写成求最小值问题。将condition换一种写法

   $$
   \begin{aligned}
   \min -H(P) \\
   f\_0: \cdots - \cdots = 0 \\
   \cdots \\
   f\_n: \cdots - \cdots = 0
   \end{aligned}
   $$
3. 定义[拉格朗日函数](https://www.jianshu.com/p/47986a0b1bf1)

   $$
   L(P, w) = -H(P) + \sum\_i^nw\_if\_i
   $$
4. “第一步是把 \alpha， \beta当做常数，求\theta\_p(x)。”在这里就是把L(P, w)对每个$$y\_k$$求偏导，并这些偏导= 0

   $$
   \frac{\partial L(P, w)}{\partial y\_k} = 1 + \log P(y\_k) + \sum\_i^n w\_i \frac{\partial f\_i}{\partial y\_k} = 0
   $$
5. 根据第4步得到K个等式。通过这K个等式，解出$$P(y\_1), \cdots, P(y\_K)$$，这些值都是用w表达的式子
6. 代入$$P(y\_1), \cdots, P(y\_K)$$到第3步中的$$L(P, w)$$，将得到新的$$L(P, w)$$  
7. 将新的$$L(P, w)$$分别为所有的w求导，并令这些偏导为0  

   $$
   \frac{\partial L(P, w)}{\partial w\_n} = 0
   $$
8. 根据7得出n个等式，计算这些等式，解得w  
9. 把w代入5，得到所有的P(y)，也可以跳过第8步，直接计算出P(y)