✍️
mathematics_basic_for_ML
  • README
  • README
    • Summary
    • Geometry
      • EulerAngle
      • Gimbal lock
      • Quaternion
      • RiemannianManifolds
      • RotationMatrix
      • SphericalHarmonics
    • Information
      • Divergence
      • 信息熵 entropy
    • LinearAlgebra
      • 2D仿射变换(2D Affine Transformation)
      • 2DTransformation
      • 3D变换(3D Transformation)
      • ComplexTransformation
      • Conjugate
      • Hessian
      • IllConditioning
      • 逆变换(Inverse transform)
      • SVD
      • det
      • eigendecomposition
      • 矩阵
      • norm
      • orthogonal
      • special_matrix
      • trace
      • vector
    • Mathematics
      • Complex
      • ExponentialDecay
      • average
      • calculus
      • convex
      • derivative
      • 距离
      • function
      • space
      • Formula
        • euler
        • jensen
        • taylor
        • trigonometric
    • Numbers
      • 几何级数
      • SpecialNumbers
    • NumericalComputation
      • ConstrainedOptimization
      • GradientDescent
      • Newton
      • Nominal
      • ODE_SDE
      • Preprocessing
    • Probability
      • bayes
      • distribution
      • expectation_variance
      • 贝叶斯公式
      • functions
      • likelihood
      • mixture_distribution
      • 一些术语
      • probability_distribution
Powered by GitBook
On this page

Was this helpful?

  1. README
  2. LinearAlgebra

special_matrix

PreviousorthogonalNexttrace

Last updated 2 years ago

Was this helpful?

奇异矩阵:有0特征值的矩阵。

(半)正定/负定矩阵:是用来描述对称矩阵的。

正定矩阵
半正定矩阵
负定矩阵
半负定矩阵

对于任意非零向量x

$x\top Hx > 0$

$x\top Hx \ge 0$

$x\top Hx < 0$

$x\top Hx \le 0$

所有特征值

正

非负

负

非正

问:为什么所有特征值为正的对称矩阵一定是正定的? 答:令v是H的一个特征向量且v是单位向量,$\lambda$是v对应的特征值,可以算出:$v^\top H v = \lambda$ 令v1、v2是H的两个特征向量且v1、v2都是单位向量且v1、v2相互正交,并令x=a1v1+a2v2,可以算出$x^\top Hx = a_1^2\lambda_1 + a_2^2\lambda_2$ 继续拓展,任意向量x可以用H的所有特征向量的某种线性组合。 假设$x=a_1v_1 + a_2v_2 + ... + a_n v_n$,则$x\top Hx = a_1^2\lambda_1 + a_2^2\lambda_2 + ... + a_n^2\lambda_n$

Jacobian矩阵:在向量分析中,雅可比矩阵是函数的一阶偏导数以一定方式排列成的矩阵。 假设F:Rm→RnF:R_m\rightarrow R_nF:Rm​→Rn​是一个从n维欧氏空间映射到到m维欧氏空间的函数。这个函数由m个实函数组成:y1(x1,x2,⋯ ,xm),y2(x1,x2,⋯ ,xm),⋯ ,yn(x1,x2,⋯ ,xm)y_1(x_1,x_2,\cdots,x_m),y_2(x_1,x_2,\cdots,x_m),\cdots,y_n(x_1,x_2,\cdots,x_m)y1​(x1​,x2​,⋯,xm​),y2​(x1​,x2​,⋯,xm​),⋯,yn​(x1​,x2​,⋯,xm​)。这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵,这个矩阵就是所谓的雅可比矩阵:

[∂y1∂x1⋯∂y1∂xn⋮⋱⋮∂ym∂x1⋯∂ym∂xn]\begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \cdots & \frac{\partial y_1}{\partial x_n} \\ \vdots & \ddots & \vdots \\ \frac{\partial y_m}{\partial x_1} & \cdots & \frac{\partial y_m}{\partial x_n} \\ \end{bmatrix}​∂x1​∂y1​​⋮∂x1​∂ym​​​⋯⋱⋯​∂xn​∂y1​​⋮∂xn​∂ym​​​​

另一种解释为:n维的向量x对m维的向量y的偏导为m*n的Jacobian矩阵。