✍️
mathematics_basic_for_ML
  • README
  • README
    • Summary
    • Geometry
      • EulerAngle
      • Gimbal lock
      • Quaternion
      • RiemannianManifolds
      • RotationMatrix
      • SphericalHarmonics
    • Information
      • Divergence
      • 信息熵 entropy
    • LinearAlgebra
      • 2D仿射变换(2D Affine Transformation)
      • 2DTransformation
      • 3D变换(3D Transformation)
      • ComplexTransformation
      • Conjugate
      • Hessian
      • IllConditioning
      • 逆变换(Inverse transform)
      • SVD
      • det
      • eigendecomposition
      • 矩阵
      • norm
      • orthogonal
      • special_matrix
      • trace
      • vector
    • Mathematics
      • Complex
      • ExponentialDecay
      • average
      • calculus
      • convex
      • derivative
      • 距离
      • function
      • space
      • Formula
        • euler
        • jensen
        • taylor
        • trigonometric
    • Numbers
      • 几何级数
      • SpecialNumbers
    • NumericalComputation
      • ConstrainedOptimization
      • GradientDescent
      • Newton
      • Nominal
      • ODE_SDE
      • Preprocessing
    • Probability
      • bayes
      • distribution
      • expectation_variance
      • 贝叶斯公式
      • functions
      • likelihood
      • mixture_distribution
      • 一些术语
      • probability_distribution
Powered by GitBook
On this page
  • 频率派统计 VS 贝叶斯统计
  • 最大似然估计 VS 最大后验估计

Was this helpful?

  1. README
  2. Probability

bayes

PreviousProbabilityNextdistribution

Last updated 2 years ago

Was this helpful?

频率派统计 VS 贝叶斯统计

以“最大似然估计”为代表的频率派统计和以“最大后验估计”为代表的贝叶斯统计是从两个不同的角度来看概率问题。

什么是定值
什么是随机变量
怎样求$\theta$

频率派统计

参数$\theta$是一个未知的定值

以$\theta$为参数的x是随机变量,符合某种分布。

x的分布是由$\theta$的决定的。不同的$\theta$会得到不同的分布。目标是寻找一个满足要求的$\theta$。这个要求就是“$\theta$对应的分布中,样本x出现的概率最大”。

贝叶斯统计

x是一组已知的定值

参数$\theta$是随机变量,符合某种分布。关于$\theta$的分布有两种:先验分布$P(\theta)$、后验分布$P(\theta

x)$

后面很多都没看懂。

最大似然估计 VS 最大后验估计

最大似然估计是基于最大似然点的点估计 最大后验估计是基于先验估计和最大后验点的点估计

根据贝叶斯公式: 后验估计$P(\theta|x)$ = 先验证估计$P(\theta)$ * $P(\theta|x)$ 类上一节类似点,先使对数似然最大的$\theta$:

θMAP=arg⁡max⁡θP(θ∣x)=arg⁡max⁡θlog⁡P(x∣θ)+log⁡P(θ)\theta_{MAP} = \arg\max_\theta P(\theta|x) = \arg\max_\theta \log P(x|\theta) + \log P(\theta)θMAP​=argθmax​P(θ∣x)=argθmax​logP(x∣θ)+logP(θ)

后面的看不懂了。