最大熵的学习过程

最大熵模型的学习 = 求解最大熵模型 = 带约束的最优化模型 = 无约束最优化的对偶问题

定义： K：y可能的取值数

1. 列出已知的求最大熵公式和限制条件：

   $$\begin{aligned} H(P) = -\sum_{k=1}^KP(y_k)\log y_k \\ \max H(P) condition_0: (\cdots = \cdots) \\ \cdots \\ condition_n \end{aligned}$$
2. 将求最大值问题改写成求最小值问题。将condition换一种写法

   $$\begin{aligned} \min -H(P) \\ f_0: \cdots - \cdots = 0 \\ \cdots \\ f_n: \cdots - \cdots = 0 \end{aligned}$$
3. 定义拉格朗日函数

   $$L(P, w) = -H(P) + \sum_i^nw_if_i$$
4. “第一步是把 \alpha， \beta当做常数，求\theta_p(x)。”在这里就是把L(P, w)对每个$y_k$求偏导，并这些偏导= 0

   $$\frac{\partial L(P, w)}{\partial y_k} = 1 + \log P(y_k) + \sum_i^n w_i \frac{\partial f_i}{\partial y_k} = 0$$
5. 根据第4步得到K个等式。通过这K个等式，解出$P(y_1), \cdots, P(y_K)$，这些值都是用w表达的式子

6. 代入$P(y_1), \cdots, P(y_K)$到第3步中的$L(P, w)$，将得到新的$L(P, w)$

7. 将新的$L(P, w)$分别为所有的w求导，并令这些偏导为0

   $$\frac{\partial L(P, w)}{\partial w_n} = 0$$
8. 根据7得出n个等式，计算这些等式，解得w

9. 把w代入5，得到所有的P(y)，也可以跳过第8步，直接计算出P(y)