A和B的推导

$A(\delta|w)$是$L(w+\delta) - L(w)$的下界：

令： $f_i$：$f_i(x,y)$

$A(\delta|w)$的推导

证明：

$$L(w+\delta) - L(w) = \sum_{x,y}\tilde P(x,y)\sum_{i=1}^n\delta_if_i - \sum_x\tilde P(x) \log \frac{Z_{w+\delta}(x)}{Z_w(x)}$$

当a>0时，$-\log a \ge 1-a$，得：

$$(1) \ge \sum_{x,y}\tilde P(x,y)\sum_{i=1}^n\delta_if_i + \sum_x\tilde P(x)(1-\frac{Z_{w+\delta}(x)}{Z_w(x)}) = \sum_{x,y}\tilde P(x,y)\sum_{i=1}^n\delta_if_i + \sum_x\tilde P(x) - \sum_x\tilde P(x)\frac{Z_{w+\delta}(x)}{Z_w(x)})$$

根据$\tilde P(x)$可知$\sum_x\tilde P(x)=1$，得：

$$(2) = \sum_{x,y}\tilde P(x,y)\sum_{i=1}^n\delta_if_i + 1 - \sum_x\tilde P(x)\frac{Z_{w+\delta}(x)}{Z_w(x)})$$

根据【？】，得：

$$(3) = \sum_{x,y}\tilde P(x,y)\sum_{i=1}^n\delta_if_i(x,y) + 1 - \sum_x\tilde P(x)\sum_yP_w(y|x)\exp \sum_{i=1}^n\delta_if_i(x,y)$$

即$A(\delta|w)$

$B(\delta|w)$的推导

一次只优化其中一个变量$\delta_i$，而固定其它变量$\delta_j,i \neq j$，得： 【？】是一只优化一个$w_i$还是一个$\delta_i$？ 【？】如果是只优化一个$w_i$，为什么不能直接假设其它$\delta_j=0$？ 【？】如果是只优化一个$\delta_i$，为什么算法6.1步骤2-(b)只更新一个$w_i$？

后面的推导不难，只是这一块没想通，就不往下记了。