bayes

频率派统计 VS 贝叶斯统计

以“最大似然估计”为代表的频率派统计和以“最大后验估计”为代表的贝叶斯统计是从两个不同的角度来看概率问题。

什么是定值
什么是随机变量
怎样求$\theta$

频率派统计

参数$\theta$是一个未知的定值

以$\theta$为参数的x是随机变量,符合某种分布。

x的分布是由$\theta$的决定的。不同的$\theta$会得到不同的分布。目标是寻找一个满足要求的$\theta$。这个要求就是“$\theta$对应的分布中,样本x出现的概率最大”。

贝叶斯统计

x是一组已知的定值

参数$\theta$是随机变量,符合某种分布。关于$\theta$的分布有两种:先验分布$P(\theta)$、后验分布$P(\theta

x)$

后面很多都没看懂。

最大似然估计 VS 最大后验估计

最大似然估计是基于最大似然点的点估计 最大后验估计是基于先验估计和最大后验点的点估计

根据贝叶斯公式: 后验估计$P(\theta|x)$ = 先验证估计$P(\theta)$ * $P(\theta|x)$ 类上一节类似点,先使对数似然最大的$\theta$:

θMAP=argmaxθP(θx)=argmaxθlogP(xθ)+logP(θ)\theta_{MAP} = \arg\max_\theta P(\theta|x) = \arg\max_\theta \log P(x|\theta) + \log P(\theta)

后面的看不懂了。

Last updated