expectation_variance

期望

离散型变量期望：

$$E_{x\sim P}[f(x)] = \sum_x P(x)f(x)$$

连续型变量期望：$E_{x\sim P}[f(x)] = \int p(x)f(x)dx$

方差

$$Var(f(x)) = E[(f(x) - E[f(x)])^2]$$

标准差=$\sqrt \text{方差}$

协方差

两个变量线性相关性的强度以及这些变量的尺度

$$Cov(f(x),g(x)) = E[(f(x)-E[f(x)])(g(x)-E[g(x)])]$$

意义（没看懂）：

1. 绝对值很大：变量值变化很大，距离各自均值很远

2. 负的：一个变量倾向于取得相对较大的值，另一个变量倾向于取得相对较小的值。反之亦然。

3. 为0：没有线性关系，但不一定独立

协方差矩阵

$$\begin{aligned} x \in R^n\\ Cov(X)_{i,j} = Cov(X_i, X_j) \text{方阵}\\ Cov(X)_{i,i} = Var(X_i) \end{aligned}$$