cross-entropy的数学意义

熵 香农熵的定义：

$$H(x) = -\sum_jp_i\log p_i$$

交叉熵的形式：

$$H(x) = -\sum_jp_i\log q_i$$

交叉熵是信息论中的一个概念。它是一种对“意外”的度量。 需要求得的是：$x \rightarrow y = y(x)$ 实际求得的是：$x \rightarrow a = a(x)$ 将a理解为y=1的概率，1-a为y=0的概率。 a越接近真实，“意外”越低，反之“意外”越高。

信息论中关于什么是“意外”有明确的定义。