Moment Generating Functions, Characteristic Functions, and Distribution Theory

Hyacehila
  2025-11-18 13:52:54 2025-11-18 13:52:54 Created      

母函数与矩母函数

在高等概率论开始之前，我们将初等概率论中的一些比较复杂的内容进行一些回顾，事实上概率的生成函数理论允许我们把概率问题转化为分析问题思考 对某些问题的证明将起到很好的简化作用

母函数的定义与性质

母函数是为了引入概率分布的另一种表示方法 来简化一些研究

对于那些只取非负整值的随机变量（比如二项分布，伯努利分布，泊松分布等）我们称为整值随机变量 对于这一类随机变量 母函数可以起到一定的辅助研究的作用（他的核心是一种形式幂级数，每一项的系数体现了序列的全部信息）

母函数的定义为

G(t)=∑k=0∞pktk=p0+p1t+…+pntn+…G(t)=\sum_{k=0}^\infty p_kt^k=p_0+p_1t+\ldots+p_nt^n+\ldots

容易看出来 G(t)=E(tpk)G(t)=E(t^{p_k})

根据级数的性质我们知道 母函数有下列性质

  • 母函数和分布列相互唯一确定
  • G(1)=1G(1)=1
  • E(X)=G′(1)\mathrm{E}(X)=G^{\prime}(1)
  • Var(X)=G′′(1)+G′(1)(1−G′(1))\mathrm{Var}(X)=G^{\prime\prime}(1)+G^{\prime}(1)\left(1-G^{\prime}(1)\right)
  • 对于两个独立随机变量 设他们的母函数为GX1(t),GX2(t)G_{X_1}(t),G_{X_2}(t) 则根据离散卷积公式有 他们的和的母函数满足GX(t)=GX1+X2(t)=GX1(t)×GX2(t)G_X(t)=G_{X_1+X_2}(t)=G_{X_1}(t)\times G_{X_2}(t)

矩母函数定义和性质

母函数只能用于离散型随机变量，特征函数涉及复积分不方便操作（他的优点就是永远存在）

这里我们介绍矩母函数（Moment Generating Function）理论 他在处理很多和随机变量相关的问题上有不少的优点 所谓的矩母 意味着他可以生成矩

随机变量XX的矩母函数定义如下

MX(t)=E[etX]={∫−∞+∞etxf(x)dx,X 具有密度函数 f(x);∑i=0∞etxiρ(xi),X 具有分布律 p(x).M_X(t)=E[\mathrm{e}^{tX}]=\begin{cases}\int_{-\infty}^{+\infty}\mathrm{e}^{tx}f(x)\mathrm{d}x,X\text{ 具有密度函数 }f(x);\\\\\sum_{i=0}^{\infty}\mathrm{e}^{tx_i}\rho\left(x_i\right),X\text{ 具有分布律 }p(x).\end{cases}

我们给出一些常用的性质

  • 矩母函数MX(t)M_X(t)和随机变量XX 唯一确定
  • 如果随机变量X,YX,Y相互独立 那么MX+Y(t)=MX(t)MY(t)M_{X+Y}(t)=M_{X}(t)M_{Y}(t)
  • 如果Y=aX+bY=aX+b 那么MY(t)=ebtMX(at)M_Y(t)=e^{bt}M_{X}(at)
  • 矩母函数可以用来求原点矩 E(Xn)=MX(n)(0)E(X^{n})=M_{X}^{(n)}(0)
  • M(1)=1M(1)=1 这一点和母函数一样

简单的应用

这里会介绍一些应用和他们的值得学习的证明技巧

正态分布的矩母函数

MX(t)=E[etX]=∫−∞∞etx12πσe−(x−μ)22σ2dx=e(μt+12σ2t2)∫−∞∞12πσe−[x−(μ+σ2t)]22σ2dx=e(μt+12σ2t2),\begin{aligned} M_{X}\left(t\right) =E\left[e^{tX}\right] \\ &=\int_{-\infty}^{\infty}e^{tx}\frac{1}{\sqrt{2\pi\sigma}}e^{-\frac{\left(x-\mu\right)^{2}}{2\sigma^{2}}}dx \\ &=e^{\left(\mu t+\frac{1}{2}\sigma^{2}t^{2}\right)}\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{\left[x-\left(\mu+\sigma^{2}t\right)\right]^{2}}{2\sigma^{2}}}dx \\ &=e^{\left(\mu t+\frac{1}{2}\sigma^{2}t^{2}\right)}, \end{aligned}

这里面涉及的积分技巧是通过构造了一个概率密度函数（无关常数放外面），他的积分是1 这样简化了积分问题 这个思路非常的常见 以后还会再次用到 根据前面给出的性质四 我们知道E(X)=μ    E(X2)=μ2+σ2,Var(X)=σ2E(X)=\mu ~~~~E(X^{2})=\mu^{2}+\sigma^{2},Var(X)=\sigma^{2}

Gamma分布的矩母函数

f(x)=βαΓ(α)xα−1e−βx,x>0,  Γ(α)=∫0∞yα−1e−ydy易知Γ(12)=π,Γ(1)=1,Γ(α+1)=αΓ(α),Γ(n+1)=n!\begin{gathered}f(x)=\frac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x},x>0,~~\Gamma(\alpha)=\int_0^\infty y^{\alpha-1}e^{-y}dy\\\text{易知}\Gamma(\frac12)=\sqrt{\pi},\Gamma(1)=1,\Gamma(\alpha+1)=\alpha\Gamma(\alpha),\Gamma(n+1)=n!\end{gathered}

这是Gamma分布的形式表示 还有一些比较重要的性质叙述

M(t)=∫0∞βαΓ(α)xα−1e−βxetxdx=(ββ−t)αM(t)=\int_0^\infty\frac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x}e^{tx}dx=(\frac\beta{\beta-t})^\alpha

还是前面的构造了概率密度函数的思路 借助他我们很容易确定E[X]=M′(0)=αβ,进而Var(X)=αβ2E[X]=M^{^{\prime}}(0)=\frac\alpha\beta,\quad\text{进而}Var(X)=\frac\alpha{\beta^2} 注意α=1\alpha=1的时候，他就是指数分布f(x)=ke−kxf(x)=ke^{-kx}

二项分布的矩母函数与母函数

M(t)=E[etX]=∑k=0netkCnkpk(1−p)n−k=∑k=0nCnk(pet)k(1−p)n−k=(pet+1−p)n\begin{aligned} M(t)& =E[e^{tX}]=\sum_{k=0}^ne^{tk}C_n^kp^k(1-p)^{n-k} \\ &=\sum_{k=0}^nC_n^k(pe^t)^k(1-p)^{n-k} \\ &=(pe^t+1-p)^n \end{aligned}

思路没变,也可以说这里使用的经典的二项展开式 容易计算得到

E[X]=np,E[X2]=M′′(0)=n(n−1)p2+np,Var(X)=np(1−p)E[X]=np,\quad E[X^{2}]=M^{^{\prime\prime}}(0)=n(n-1)p^{2}+np,\quad Var(X)=np(1-p)

对应有母函数为

MX(t)=E(etX)=(1−p+pet)nM_{X}(t)=E\left(e^{t X}\right)=\left(1-p+p e^{t}\right)^{n}

泊松分布的矩母函数与母函数

M(t)=E[etX]=∑k=0∞etke−λλkk!=e−λ∑k=0∞(λet)kk!=e−λeλet=e[λ(et−1)]\begin{aligned} M(t)& =E[e^{tX}]=\sum_{k=0}^\infty\frac{e^{tk}e^{-\lambda}\lambda^k}{k!} \\ &=e^{-\lambda}\sum_{k=0}^\infty\frac{(\lambda e^t)^k}{k!}=e^{-\lambda}e^{\lambda e^t} \\ &=e^{[\lambda(e^{t}-1)]} \end{aligned}

也可以说我们使用的经典的幂级数展开式 容易计算得到

E[X]=λ,E[X2]=M′′(0)=λ+λ2,Var(X)=λE[X]=\lambda,\quad E[X^2]=M^{^{\prime\prime}}(0)=\lambda+\lambda^2,\quad Var(X)=\lambda

对应有母函数为

MX(t)=E(etX)=eλ(et−1)M_{X}(t)=E\left(e^{t X}\right)=e^{\lambda\left(e^{t}-1\right)}

卡方分布的矩母函数

令Z1,Z2,⋯ ,Zn 以及Z 是独立同分布的标准正态分布随机变量,且X=Z12+Z22+⋯+Zn2,则我们称X服从卡方分布\begin{aligned}&\text{令}Z_1,Z_2,\cdots,Z_n\text{ 以及}Z\text{ 是独立同分布的标准正态分布随机变量,}\\&\text{且}X=Z_1^2+Z_2^2+\cdots+Z_n^2\text{,则我们称X服从卡方分布}\end{aligned}

容易知道

MX(t)=[MZ2(t)]n=(E[etZ2])nM_X(t)=[M_{Z^2}(t)]^n=(E[e^{tZ^2}])^n

进行如下计算

E[etZ2]=12π∫−∞∞etz2e−z22dz=12π∫−∞∞e−z22σ2dz(σ2=(1−2t)−1)=(1−2t)−12\begin{aligned} E[e^{tZ^2}]& =\frac1{\sqrt{2\pi}}\int_{-\infty}^\infty e^{tz^2}e^{-\frac{z^2}2}dz \\ &=\frac1{\sqrt{2\pi}}\int_{-\infty}^\infty e^{-\frac{z^2}{2\sigma^2}}dz\quad(\sigma^2=(1-2t)^{-1}) \\ &=(1-2t)^{-\frac12} \end{aligned}

还是经典的构造手段，我们得到了一阶矩母函数 再进行求nn次方就是需要求的矩母函数

E[X]=n,E[X2]=n(n+2),Var(X)=2nE[X]=n,\quad E[X^2]=n(n+2),\quad Var(X)=2n

我们直接带入正态分布的密度函数就能完成这部分的计算

一个例子

计算积分

(1)∫−∞∞(2x2+2x+3)e−(x2+2x+3)dx,(2)∫0∞(4x2+5x+6)e−(2x+1)dx.\begin{aligned}&(1)\int_{-\infty}^\infty(2x^2+2x+3)e^{-(x^2+2x+3)}dx\text{,}\\&(2)\int_0^\infty(4x^2+5x+6)e^{-(2x+1)}dx.\end{aligned}

两个问题的思路是一样的，都是需要构造分布 借助矩表示原有的积分，然后用简单的方法得到矩 来进行表示 其核心还是在于构造分布 (1) =e−2∫−∞+∞(2x2+2x+3)e−(x+1)22(12)2dx=e^{-2}\int_{-\infty}^{+\infty}\left(2x^{2}+2x+3\right)e^{-\frac{(x+1)^{2}}{2\left(\frac{1}{\sqrt{2}}\right)^{2}}}dx 现构造出我们需要的密度函数

=πe−2(2E(x2)+2E(x)+3)=\sqrt{\pi}e^{-2}\left(2E(x^2)+2E(x)+3\right)

这是根据原点矩的定义得到的 带入原点矩就可以得到最后的答案

第二题是完全一模一样的思路，只是换成构造Gamma分布函数 或者说 指数分布函数

多元矩母函数

多元矩母函数定义：假设 X=(X1,…,Xn)′X = (X_1, \ldots, X_n)' 是一个具有 nn 维密度 f(x1,…,xn)f(x_1, \ldots, x_n) 的 n×1n \times 1 随机向量。XX 的多元矩母函数定义为：

ψX1,…,Xn(t1,…,tn)=E(et1X1+…+tnXn)=∫−∞∞⋯∫−∞∞et1x1+…+tnxnf(x1,…,xn) dx1…dxn=E(et′X) \begin{aligned} \psi_{X_1,\ldots,X_n}(t_1, \ldots, t_n) &= E(e^{t_1 X_1 + \ldots + t_n X_n}) \\ &= \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} e^{t_1 x_1 + \ldots + t_n x_n} f(x_1, \ldots, x_n) \, dx_1 \ldots dx_n \\ &= E(e^{t' X}) \end{aligned}

其中 t=(t1,…,tn)′t = (t_1, \ldots, t_n)' 且 X=(X1,…,Xn)′X = (X_1, \ldots, X_n)'

多元矩母函数的性质

设 X=(X1,…,Xn)′X = (X_1, \ldots, X_n)' 且 t=(t1,…,tn)′t = (t_1, \ldots, t_n)'，多元矩母函数 ψX(t)\psi_X(t) 具有以下性质：

  1. ψX(0)=1\psi_X(0) = 1
  2. 如果 X1,…,XnX_1, \ldots, X_n 是独立的，则：ψX(t)=∏i=1nψXi(ti) \psi_X(t) = \prod_{i=1}^{n} \psi_{X_i}(t_i) 其中 ψXi(ti)\psi_{X_i}(t_i) 是 XiX_i 的一元矩母函数。
  3. 可以通过对多元矩母函数求导获得矩：∂k1+⋯+kn∂t1k1⋯∂tnknψX(t1,…,tn)∣t1=⋯=tn=0=E(X1k1⋯Xnkn) \left. \frac{\partial^{k_1 + \cdots + k_n}}{\partial t_1^{k_1} \cdots \partial t_n^{k_n}} \psi_X(t_1, \ldots, t_n) \right|_{t_1 = \cdots = t_n = 0} = E(X_1^{k_1} \cdots X_n^{k_n}) 例如，当 n=2n = 2 时，X=(X1,X2)′X = (X_1, X_2)'，我们有：∂5∂t12∂t23ψX(t1,t2)∣t1=t2=0=E(X12X23) \left. \frac{\partial^5}{\partial t_1^2 \partial t_2^3} \psi_X(t_1, t_2) \right|_{t_1 = t_2 = 0} = E(X_1^2 X_2^3)
  4. 通过将不在边际分布中的 XjX_j 对应的 tjt_j 设为 0，可获得 XX 的任何边际分布的矩母函数。例如，当 n=4n = 4 时，X=(X1,X2,X3,X4)′X = (X_1, X_2, X_3, X_4)'，ψX(t1,t2,t3,t4)\psi_X(t_1, t_2, t_3, t_4) 是 XX 的多元矩母函数。则 ψX1,X3(t1,t3)=ψX(t1,0,t3,0)\psi_{X_1,X_3}(t_1, t_3) = \psi_X(t_1, 0, t_3, 0)，ψX1(t1)=ψX(t1,0,0,0)\psi_{X_1}(t_1) = \psi_X(t_1, 0, 0, 0) 等。
  5. 多元特征函数定义为 ϕX(t)=E(eit′X)\phi_X(t) = E(e^{it'X})，其中 i=−1i = \sqrt{-1}。特征函数总是对任何随机变量或向量存在，但矩母函数对某些随机变量可能不存在。因此，特征函数在证明某些结果时比矩母函数更有用。特征函数与矩母函数的关系为：ϕX(t1,…,tn)=ψX(it1,…,itn) \phi_X(t_1, \ldots, t_n) = \psi_X(it_1, \ldots, it_n)

特征函数

正如前面研究的,我们需要找一个对任何随机变量或向量存在的函数来刻画随机变量与随机向量.

引入

我们在数学分析中介绍过函数傅立叶变化 形式为

φ(t)=∫−∞∞eitxp(x)dx\varphi\left(t\right)=\int_{-\infty}^{\infty}e^{itx}p\left(x\right)dx

如果p(x)p(x)是一个密度函数 那么我们知道 φ(t)=E(eitX)\varphi(t)=E\left(e^{itX}\right)

这就是我们这里要研究的特征函数的问题 它是非常多概率问题的优秀处理工具 可以简化运算和思考

特征函数的定义

复随机变量的定义形式为 Z=Z(w)=X(w)+iY(w)Z=Z\left(w\right)=X\left(w\right)+iY\left(w\right) 他有着和普通的实值随机变量接近的性质 只是所有的运算结果范围变成了复数

定义：设XX是一个随机变量 称

ϕ(t)=E(eitX)=∫−∞∞eitx dF(x) \phi(t) = E(e^{itX}) = \int_{-\infty}^{\infty} e^{itx} \, dF(x)

是XX的特征函数, 我们知道 XX的特征函数总是存在 无论随机变量的形式如何.并且分布函数由其特征函数唯一确定。

离散型随机变量的特征函数为

φ(t)=∑k=1∞eitxkpk\varphi\left(t\right)=\sum_{k=1}^{\infty}\mathrm{e}^{\mathrm{i}tx_{k}}p_{k}

连续型随机变量的特征函数为

φ(t)=∫−∞∞eitxp(x)dx\varphi\left(t\right)=\int_{-\infty}^{\infty}e^{itx}p\left(x\right)dx

特征函数也唯一的依赖与分布函数 我们也可以称其为分布的特征函数

特征函数本质上是概率测度的Fourier变换，即

Φμ(θ):=∫Rneiθxμ( dx)=∫Rcos⁡(θx)μ(dx)+i∫Rnsin⁡(θx)μ(dx)\Phi_{\mu}(\theta):=\int_{\mathbb{R}^{n}} e^{\mathrm{i} \theta x} \mu(\mathrm{~d} x)=\int_{\mathbb{R}} \cos (\theta x) \mu(\mathrm{d} x)+\mathrm{i} \int_{\mathbb{R}^{n}} \sin (\theta x) \mu(\mathrm{d} x)

根据我们在前面介绍的关于期望与积分的基础能看出，这和我们的初等定义不矛盾。

常用分布的特征函数

单点分布

φ(t)=eita\varphi\left(t\right)=e^{ita}

其中的aa是密度函数取11的点

0-1分布

φ(t)=peit+q\varphi\left(t\right)=pe^{it}+q

二项分布

φ(t)=(pejt+q)n\varphi\left(t\right)=\left(pe^{jt}+q\right)^{n}

泊松分布

φ(t)=∑k=0∞eiktλkk!e−λ=e−λeλeit=eλ(eit−1).\varphi\left(t\right)=\sum_{k=0}^{\infty}e^{ikt}\frac{\lambda^{k}}{k!}e^{-\lambda}=e^{-\lambda}e^{\lambda e^{it}}=e^{\lambda\left(e^{it}-1\right)}.

均匀分布

φ(t)=∫abeitxb−adx=eibt−eiatit(b−a).\varphi\left(t\right)=\int_{a}^{b}\frac{e^{itx}}{b-a}dx=\frac{e^{ibt}-e^{iat}}{it\left(b-a\right)}.

标准正态分布

φ(t)=e−t22\varphi\left(t\right)=e^{-\frac{t^2}{2}}

指数分布

φ(t)=(1−itλ)−1\varphi\left(t\right)=\left(1-\frac{it}{\lambda}\right)^{-1}

正态分布

φ(t)=eiμt−σ2t22\varphi\left(t\right)=e^{i\mu t-\frac{\sigma^{2}t^{2}}2}

Gamma分布

φ(t)=(λλ−jt)r\varphi\left(t\right)=\left(\frac\lambda{\lambda-jt}\right)^r

特征函数的性质

  • φ(0)=1,∣φ(t)∣≤φ(0)\varphi(0)=1,|\varphi(t)|\leq\varphi(0)
  • φ(−t)=φˉ(t)\varphi(-t)=\bar{\varphi}(t)
  • Y=aX+bY=aX+b 则φY(t)=eibtφX(at)\varphi_Y(t)=e^{ibt}\varphi_X(at)
  • Z=X+YZ=X+Y 且相互独立 则 φZ(t)=φX(t)φY(t)\varphi_Z(t)=\varphi_X(t)\varphi_Y(t)
  • φ(k)(0)=ikE[Xk]\varphi^{(k)}(0)=i^kE[X^k] 如果矩存在 并且特征函数可导

定理（逆转公式）：F(x)F(x) 是分布函数 φ(t)\varphi(t) 是特征函数 则有

F(x2)−F(x1)=lim⁡r→∞12π∫−rre−ix1−e−ix2itφ(t)dt.F\left(x_{2}\right)-F\left(x_{1}\right)=\lim_{r\to\infty}\frac{1}{2\pi}\int_{-r}^{r}\frac{e^{-ix_{1}}-e^{-ix_{2}}}{it}\varphi\left(t\right)dt.

根据逆转公式 我们可以从特征函数唯一的导出分布函数 这意味着 特征函数和分布函数相互唯一确定

多元特征函数

多元特征函数定义 : 若随机向量 (ξ1,…,ξn)(\xi_1, \ldots, \xi_n) 的分布函数为 F(x1,…,xn)F(x_1, \ldots, x_n)，其特征函数定义为：

ϕ(t1,…,tn)=E(ei(t1ξ1+…+tnξn))=∫−∞∞⋯∫−∞∞ei(t1x1+…+tnxn) dF(x1,…,xn) \phi(t_1, \ldots, t_n) = E(e^{i(t_1 \xi_1 + \ldots + t_n \xi_n)}) = \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} e^{i(t_1 x_1 + \ldots + t_n x_n)} \, dF(x_1, \ldots, x_n)

唯一性定理：分布函数 F(x1,…,xn)F(x_1, \ldots, x_n) 由其特征函数唯一决定。

多元特征函数的性质：

  1. ϕ(t1,…,tn)\phi(t_1, \ldots, t_n) 在 Rn\mathbb{R}^n 中一致连续，且 ∣ϕ(t1,…,tn)∣≤ϕ(0,…,0)=1|\phi(t_1, \ldots, t_n)| \leq \phi(0, \ldots, 0) = 1
  2. 如果 (ξ1,…,ξn)(\xi_1, \ldots, \xi_n) 的特征函数为 ϕ(t1,…,tn)\phi(t_1, \ldots, t_n)，则 η=a1ξ1+…+anξn=a′ξ\eta = a_1 \xi_1 + \ldots + a_n \xi_n = a' \xi 的特征函数为：ϕη(t)=ϕ(a1t,…,ant)=ϕ(ta) \phi_\eta(t) = \phi(a_1 t, \ldots, a_n t) = \phi(ta)
  3. 若 E(ξ1k1⋯ξnkn)E(\xi_1^{k_1} \cdots \xi_n^{k_n}) 存在，则：∂k1+⋯+kn∂t1k1⋯∂tnknϕ(t1,…,tn)∣t1=…=tn=0=ik1+⋯+knE(ξ1k1⋯ξnkn) \left. \frac{\partial^{k_1 + \cdots + k_n}}{\partial t_1^{k_1} \cdots \partial t_n^{k_n}} \phi(t_1, \ldots, t_n) \right|_{t_1 = \ldots = t_n = 0} = i^{k_1 + \cdots + k_n} E(\xi_1^{k_1} \cdots \xi_n^{k_n})
  4. 若 ξj\xi_j 的特征函数为 ϕξj(tj)\phi_{\xi_j}(t_j)，j=1,2,…,nj = 1, 2, \ldots, n，则随机变量 ξ1,…,ξn\xi_1, \ldots, \xi_n 相互独立的充要条件为：ϕ(t1,…,tn)=ϕξ1(t1)⋯ϕξn(tn) \phi(t_1, \ldots, t_n) = \phi_{\xi_1}(t_1) \cdots \phi_{\xi_n}(t_n)
  5. 若以 ϕ(t1,…,tn,u1,…,um)\phi(t_1, \ldots, t_n, u_1, \ldots, u_m)，ϕ(t1,…,tn)\phi(t_1, \ldots, t_n) 及 ϕ(u1,…,um)\phi(u_1, \ldots, u_m) 分别记随机向量 (ξ1,…,ξn)(\xi_1, \ldots, \xi_n)，(η1,…,ηm)(\eta_1, \ldots, \eta_m) 和 (ξ1,…,ξn,η1,…,ηm)(\xi_1, \ldots, \xi_n, \eta_1, \ldots, \eta_m) 的特征函数，则 (ξ1,…,ξn)(\xi_1, \ldots, \xi_n) 与 (η1,…,ηm)(\eta_1, \ldots, \eta_m) 独立的充要条件是：对一切实数 t1,…,tnt_1, \ldots, t_n 及 u1,…,umu_1, \ldots, u_m 有：ϕ(t1,…,tn,u1,…,um)=ϕ(t1,…,tn)ϕ(u1,…,um) \phi(t_1, \ldots, t_n, u_1, \ldots, u_m) = \phi(t_1, \ldots, t_n) \phi(u_1, \ldots, u_m)
  6. 若 Y=AX+bY = AX + b，则随机向量 YY 的特征函数为：ϕY(t)=E(eit′(AX+b))=eit′bϕX(A′t) \phi_Y(t) = E(e^{it'(AX + b)}) = e^{it'b} \phi_X(A't)

特征函数视角下的多元正态分布

多元正态分布定义

定义：假设 X=(X1,…,Xn)′X = (X_1, \ldots, X_n)'。若 XX 具有密度函数：

f(x)=(2π)−n/2∣Σ∣−1/2exp⁡{−12(x−μ)′Σ−1(x−μ)} f(x) = (2\pi)^{-n/2} |\Sigma|^{-1/2} \exp\left\{ -\frac{1}{2} (x - \mu)' \Sigma^{-1} (x - \mu) \right\}

则称 XX 具有均值为 μ\mu、协方差矩阵为 Σ\Sigma 的 nn 维多元正态分布。

等价定义：假设 X=(X1,…,Xn)′X = (X_1, \ldots, X_n)'。若 XX 具有矩母函数：

ψX(t)=exp⁡{t′μ+12t′Σt} \psi_X(t) = \exp\left\{ t'\mu + \frac{1}{2} t' \Sigma t \right\}

或者特征函数：

ϕX(t)=exp⁡{it′μ−12t′Σt} \phi_X(t) = \exp\left\{ it'\mu - \frac{1}{2} t' \Sigma t \right\}

则称 XX 具有均值为 μ\mu、协方差矩阵为 Σ\Sigma 的 nn 维多元正态分布，记作 X∼Nn(μ,Σ)X \sim N_n(\mu, \Sigma)。 想要证明这个问题,需要从Y∼Nn(0,I)Y \sim N_n(0, I) 的特征函数出发,使用变换X=Σ1/2Y+μX = \Sigma^{1/2} Y + \mu 变形特征函数,就可以得到上面的形式.

多元正态分布的性质

  1. 线性变换：若 X∼Nn(μ,Σ)X \sim N_n(\mu, \Sigma)，则 Y=AX+b∼Nn(Aμ+b,AΣA′)Y = AX + b \sim N_n(A\mu + b, A\Sigma A') 证明：YY 的特征函数为：

    ϕY(t)=E(eit′(AX+b))=eit′bϕX(A′t)=eit′bexp⁡{i(A′t)′μ−12(A′t)′Σ(A′t)}=exp⁡{it′(Aμ+b)−12t′(AΣA′)t} \begin{aligned} \phi_Y(t) &= E(e^{it'(AX + b)}) = e^{it'b} \phi_X(A't) \\ &= e^{it'b} \exp\left\{ i(A't)'\mu - \frac{1}{2} (A't)' \Sigma (A't) \right\} \\ &= \exp\left\{ it'(A\mu + b) - \frac{1}{2} t' (A\Sigma A') t \right\} \end{aligned}

    因此 Y∼Nn(Aμ+b,AΣA′)Y \sim N_n(A\mu + b, A\Sigma A')。

  2. 独立正态变量的线性组合：假设 X1,…,XkX_1, \ldots, X_k 是独立的，且每个 Xi∼Nn(μi,Σi)X_i \sim N_n(\mu_i, \Sigma_i)，i=1,…,ki = 1, \ldots, k。假设 a1,…,aka_1, \ldots, a_k 是标量，定义：

    Y=a1X1+…+akXk Y = a_1 X_1 + \ldots + a_k X_k

    则 Y∼Nn(μ∗,Σ∗)Y \sim N_n(\mu^*, \Sigma^*)，其中 μ∗=∑i=1kaiμi\mu^* = \sum_{i=1}^{k} a_i \mu_i 且 Σ∗=∑i=1kai2Σi\Sigma^* = \sum_{i=1}^{k} a_i^2 \Sigma_i。这可以通过使用矩母函数来证明。

  3. 边际分布：若 X∼Nn(μ,Σ)X \sim N_n(\mu, \Sigma)，将 XX 分块为 X=(X1X2)X = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix}，其中 X1X_1 是 r×1r \times 1，X2X_2 是 (n−r)×1(n-r) \times 1。将 μ\mu 分块为 μ=(μ1μ2)\mu = \begin{pmatrix} \mu_1 \\ \mu_2 \end{pmatrix}，其中 μ1\mu_1 是 r×1r \times 1，μ2\mu_2 是 (n−r)×1(n-r) \times 1。类似地将 Σ\Sigma 分块为：

    Σ=(Σ11Σ12Σ21Σ22) \Sigma = \begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix}

    其中 Σ11\Sigma_{11} 是 r×rr \times r，Σ12\Sigma_{12} 是 r×(n−r)r \times (n-r)，Σ21=Σ12′\Sigma_{21} = \Sigma_{12}' 是 (n−r)×r(n-r) \times r，Σ22\Sigma_{22} 是 (n−r)×(n−r)(n-r) \times (n-r)。X1X_1 的边际分布为 X1∼Nr(μ1,Σ11)X_1 \sim N_r(\mu_1, \Sigma_{11})。这可以通过在 X2X_2 对应的 tjt_j 处放入零来使用矩母函数证明。

  4. 条件分布：若 X∼Nn(μ,Σ)X \sim N_n(\mu, \Sigma)，使用 3) 中的分块，则：

    X1∣X2=x2∼Nr(μ1+Σ12Σ22−1(x2−μ2),Σ11.2) X_1 | X_2 = x_2 \sim N_r\left( \mu_1 + \Sigma_{12} \Sigma_{22}^{-1} (x_2 - \mu_2), \Sigma_{11.2} \right)

    其中 Σ11.2=Σ11−Σ12Σ22−1Σ21\Sigma_{11.2} = \Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}。

  5. 独立性条件：若 X∼Nn(μ,Σ)X \sim N_n(\mu, \Sigma)，将 XX 分块为 X=(X1X2)X = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix}，其中 X1X_1 是 r×1r \times 1，X2X_2 是 (n−r)×1(n-r) \times 1。将 μ\mu 分块为 μ=(μ1μ2)\mu = \begin{pmatrix} \mu_1 \\ \mu_2 \end{pmatrix}，其中 μ1\mu_1 是 r×1r \times 1，μ2\mu_2 是 (n−r)×1(n-r) \times 1。类似地将 Σ\Sigma 分块为：

    Σ=(Σ11Σ12Σ21Σ22) \Sigma = \begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix}

    其中 Σ11\Sigma_{11} 是 r×rr \times r，Σ12\Sigma_{12} 是 r×(n−r)r \times (n-r)，Σ21=Σ12′\Sigma_{21} = \Sigma_{12}' 是 (n−r)×r(n-r) \times r，Σ22\Sigma_{22} 是 (n−r)×(n−r)(n-r) \times (n-r)。则 X1X_1 和 X2X_2 独立当且仅当 Σ12=0\Sigma_{12} = 0。

  6. 完整特征：如果 X∼Nn(μ,Σ)X \sim N_n(\mu, \Sigma)，则 XX 的所有边际分布、条件分布以及 XX 的分量的线性组合都是多元正态分布。

    注意：上述定理的逆命题不成立。例如，如果所有边际分布都是多元正态分布，这并不意味着联合分布是多元正态分布。

  7. 唯一性：多元正态分布完全由其均值向量和协方差矩阵表征。这意味着一旦指定了均值向量和协方差矩阵，MVN 的密度和矩母函数就完全确定了。

  8. 对称性：如果 X∼Nn(μx,Σx)X \sim N_n(\mu_x, \Sigma_x) 且 Y∼Nm(μy,Σy)Y \sim N_m(\mu_y, \Sigma_y)，XX 和 YY 独立，则：

    (XY)∼Nn+m(μ,Σ) \begin{pmatrix} X \\ Y \end{pmatrix} \sim N_{n+m}(\mu, \Sigma)

    其中 μ=(μxμy)\mu = \begin{pmatrix} \mu_x \\ \mu_y \end{pmatrix} 且 Σ=(Σx00′Σy)\Sigma = \begin{pmatrix} \Sigma_x & 0 \\ 0' & \Sigma_y \end{pmatrix}。

  9. 中心性：如果 X∼Nn(μ,Σ)X \sim N_n(\mu, \Sigma)，则 E(X)=mode(X)=median(X)=μE(X) = \text{mode}(X) = \text{median}(X) = \mu。

识别多元正态分布

定理：假设 X=(X1,…,Xn)′X = (X_1, \ldots, X_n)' 具有形式为：

f(x)=cexp⁡{−Q/2} f(x) = c \exp\{-Q/2\}

的密度，其中 exp⁡{−Q/2}∝exp⁡{−12(x−μ)′Σ−1(x−μ)}\exp\{-Q/2\} \propto \exp\left\{ -\frac{1}{2} (x - \mu)' \Sigma^{-1} (x - \mu) \right\} 且 cc 是归一化常数。则 X∼Nn(μ,Σ)X \sim N_n(\mu, \Sigma)。

示例：假设 X=(X1,X2)′X = (X_1, X_2)' 具有形式为 f(x)=cexp⁡{−Q/2}f(x) = c \exp\{-Q/2\} 的密度，其中 Q=x12+2x1x2+4x22+2x1Q = x_1^2 + 2x_1 x_2 + 4x_2^2 + 2x_1。XX 的分布是什么？

我们知道 XX 必须是多元正态分布。要找到 E(X)E(X)，我们有：

∂Q∂x1=2x1+2x2+2=0∂Q∂x2=2x1+8x2=0 \begin{aligned} \frac{\partial Q}{\partial x_1} &= 2x_1 + 2x_2 + 2 = 0 \\ \frac{\partial Q}{\partial x_2} &= 2x_1 + 8x_2 = 0 \end{aligned}

解这些方程得到 x1=−4/3x_1 = -4/3 和 x2=1/3x_2 = 1/3。因此 μ=(−4/3,1/3)′\mu = (-4/3, 1/3)'。

要找到 Σ−1\Sigma^{-1} 的元素，我们查看 QQ 中的二次项。令：

Σ−1=(σ(11)σ(12)σ(12)σ(22)) \Sigma^{-1} = \begin{pmatrix} \sigma^{(11)} & \sigma^{(12)} \\ \sigma^{(12)} & \sigma^{(22)} \end{pmatrix}

因此：

x′Σ−1x=(x1,x2)(σ(11)σ(12)σ(12)σ(22))(x1,x2)′=σ(11)x12+2σ(12)x1x2+σ(22)x22 x' \Sigma^{-1} x = (x_1, x_2) \begin{pmatrix} \sigma^{(11)} & \sigma^{(12)} \\ \sigma^{(12)} & \sigma^{(22)} \end{pmatrix} (x_1, x_2)' = \sigma^{(11)} x_1^2 + 2\sigma^{(12)} x_1 x_2 + \sigma^{(22)} x_2^2

对于我们的问题，σ(11)=1\sigma^{(11)} = 1，2σ(12)=22\sigma^{(12)} = 2 且 σ(22)=4\sigma^{(22)} = 4。因此：

Σ−1=(1114) \Sigma^{-1} = \begin{pmatrix} 1 & 1 \\ 1 & 4 \end{pmatrix}

对 Σ−1\Sigma^{-1} 求逆得到：

Σ=(4/3−1/3−1/31/3) \Sigma = \begin{pmatrix} 4/3 & -1/3 \\ -1/3 & 1/3 \end{pmatrix}

检查线性项，我们有：

−2Σ−1μ=−2(1114)(−4/31/3)=−2(−10)=(20) -2\Sigma^{-1}\mu = -2 \begin{pmatrix} 1 & 1 \\ 1 & 4 \end{pmatrix} \begin{pmatrix} -4/3 \\ 1/3 \end{pmatrix} = -2 \begin{pmatrix} -1 \\ 0 \end{pmatrix} = \begin{pmatrix} 2 \\ 0 \end{pmatrix}

所以 −2x′Σ−1μ=2x1-2x'\Sigma^{-1}\mu = 2x_1，这是 QQ 中的线性项。因此：

X∼N2((−4/31/3),(4/3−1/3−1/31/3)) X \sim N_2\left( \begin{pmatrix} -4/3 \\ 1/3 \end{pmatrix}, \begin{pmatrix} 4/3 & -1/3 \\ -1/3 & 1/3 \end{pmatrix} \right)

特征函数视角下的三大分布

卡方分布

定义：随机变量 XX 被称为具有 nn 个自由度的中心卡方分布（写作 X∼χ2(n)X \sim \chi^2(n)），如果 XX 具有密度：

f(x)=1Γ(n/2)(12)n/2xn/2−1e−x/2 f(x) = \frac{1}{\Gamma(n/2)} \left(\frac{1}{2}\right)^{n/2} x^{n/2 - 1} e^{-x/2}

其中 Γ(α)=∫0∞yα−1e−ydy\Gamma(\alpha) = \int_0^\infty y^{\alpha - 1} e^{-y} dy。

随机变量 XX 的矩母函数 (MGF) ψX(t)\psi_X(t) 定义为：

ψX(t)=E(etX)=∫−∞∞etxf(x)dx \psi_X(t) = E(e^{tX}) = \int_{-\infty}^{\infty} e^{tx} f(x) dx

如果 XX 是离散的，则积分被求和替代。

定理：如果 X∼χ2(n)X \sim \chi^2(n)，则 ψX(t)=(1−2t)−n/2\psi_X(t) = (1 - 2t)^{-n/2}。

定理：假设 Z1,…,ZnZ_1, \ldots, Z_n 是独立同分布的 N(0,1)N(0, 1) 随机变量。定义：

X=∑i=1nZi2 X = \sum_{i=1}^{n} Z_i^2

则 X∼χ2(n)X \sim \chi^2(n)。

非中心卡方分布

定义：设 Z1,…,ZnZ_1, \ldots, Z_n 是独立的，Zi∼N(μi,1)Z_i \sim N(\mu_i, 1)。则 W=∑i=1nZi2W = \sum_{i=1}^{n} Z_i^2 具有 nn 个自由度、非中心参数 γ=12∑i=1nμi2\gamma = \frac{1}{2} \sum_{i=1}^{n} \mu_i^2 的非中心卡方分布。我们写作 W∼χ2(n,γ)W \sim \chi^2(n, \gamma)。

非中心卡方分布在假设检验中出现，特别是在对线性模型中备择假设下检验统计量分布感兴趣的情况下。

定理：假设 Y1,…,YnY_1, \ldots, Y_n 是独立的，Yi∼N(μi,σ2)Y_i \sim N(\mu_i, \sigma^2)，i=1,…,ni = 1, \ldots, n。定义：

X=1σ2∑i=1nYi2 X = \frac{1}{\sigma^2} \sum_{i=1}^{n} Y_i^2

则 X∼χ2(n,γ)X \sim \chi^2(n, \gamma)，其中 γ=12σ2∑i=1nμi2\gamma = \frac{1}{2\sigma^2} \sum_{i=1}^{n} \mu_i^2。

非中心卡方分布的性质：

  1. 如果 X∼χ2(n,γ)X \sim \chi^2(n, \gamma)，则：

    ψX(t)=(1−2t)−n/2exp⁡{2γt1−2t} \psi_X(t) = (1 - 2t)^{-n/2} \exp\left\{ \frac{2\gamma t}{1 - 2t} \right\}

    这可以通过使用非中心卡方密度的定义并交换积分和求和的顺序来证明。

  2. 如果 X∼χ2(n,γ)X \sim \chi^2(n, \gamma)，则 E(X)=n+2γE(X) = n + 2\gamma 且 Var(X)=2n+8γ\text{Var}(X) = 2n + 8\gamma。这可以使用 1) 中的矩母函数证明。

  3. 如果 X∼χ2(n,γ)X \sim \chi^2(n, \gamma) 且 γ=0\gamma = 0，则这对应于具有 nn 个自由度的中心卡方随机变量。即，X∼χ2(n,0)=χ2(n)X \sim \chi^2(n, 0) = \chi^2(n)。

t分布

定义：假设 X∼N(0,1)X \sim N(0, 1)，Y∼χ2(n)Y \sim \chi^2(n)，且 XX 和 YY 独立。定义随机变量：

T=XY/n T = \frac{X}{\sqrt{Y/n}}

则 TT 被称为具有 nn 个自由度的 t 分布。我们写作 T∼t(n)T \sim t(n)。

非中心 t 分布：假设 X∼N(μ,1)X \sim N(\mu, 1) 且 Y∼χ2(n)Y \sim \chi^2(n)，且 XX 和 YY 独立。定义随机变量：

W=XY/n W = \frac{X}{\sqrt{Y/n}}

则 WW 被称为具有 nn 个自由度、非中心参数 μ\mu 的非中心 t 分布。我们写作 W∼t(n,μ)W \sim t(n, \mu)。如果 μ=0\mu = 0，则 WW 简化为具有 nn 个自由度的中心 t 分布。

F分布

定义：假设 X1∼χ2(n1,γ1)X_1 \sim \chi^2(n_1, \gamma_1) 且 X2∼χ2(n2,γ2)X_2 \sim \chi^2(n_2, \gamma_2)，且 X1X_1 和 X2X_2 独立。定义随机变量：

F=X1/n1X2/n2 F = \frac{X_1 / n_1}{X_2 / n_2}

则 FF 被称为具有 (n1,n2)(n_1, n_2) 个自由度、非中心参数 (γ1,γ2)(\gamma_1, \gamma_2) 的双重非中心 F 分布。我们写作 F∼F(n1,n2,γ1,γ2)F \sim F(n_1, n_2, \gamma_1, \gamma_2)。

a) 如果 γ2=0\gamma_2 = 0，则 FF 被称为非中心 F 分布。我们表示为F∼F(n1,n2,γ1)F \sim F(n_1, n_2, \gamma_1)

b) 如果 γ1=0\gamma_1 = 0 且 γ2=0\gamma_2 = 0，则 FF 被称为中心 F 分布。我们表示为 F∼F(n1,n2)F \sim F(n_1, n_2)。

中心 F 分布在嵌套线性模型的假设检验中出现。在这种情况下，原假设下检验统计量的分布通常具有中心 F 分布。非中心 F 分布来自备择假设下检验统计量的分布。备择假设下检验统计量的分布对于功效计算很重要。

F 分布的性质：如果 F∼F(n1,n2,γ)F \sim F(n_1, n_2, \gamma)，则：

a) E(F)=n2(n1+2γ)n1(n2−2)E(F) = \frac{n_2(n_1 + 2\gamma)}{n_1(n_2 - 2)}，n2>2n_2 > 2

b) Var(F)=2(n2n1)2(n1+2γ)2+(n1+4γ)(n2−2)(n2−2)2(n2−4)\text{Var}(F) = 2 \left(\frac{n_2}{n_1}\right)^2 \frac{(n_1 + 2\gamma)^2 + (n_1 + 4\gamma)(n_2 - 2)}{(n_2 - 2)^2 (n_2 - 4)}，n2>4n_2 > 4

通过在 a) 和 b) 中设置 γ=0\gamma = 0，可获得中心 F 的均值和方差公式。

  • Title: Moment Generating Functions, Characteristic Functions, and Distribution Theory
  • Author: Hyacehila
  • Created at : 2025-11-18 13:52:54
  • Link: https://hyacehila.github.io//blog/2025/11/18/moment-generating-characteristic-functions-distribution-theory-notes/
  • License: This work is licensed under CC BY-NC-SA 4.0.
Comments
On this page
Moment Generating Functions, Characteristic Functions, and Distribution Theory
  1. 母函数与矩母函数
    1. 母函数的定义与性质
    2. 矩母函数定义和性质
    3. 简单的应用
    4. 一个例子
    5. 多元矩母函数
  2. 特征函数
    1. 引入
    2. 特征函数的定义
    3. 常用分布的特征函数
    4. 特征函数的性质
    5. 多元特征函数
  3. 特征函数视角下的多元正态分布
    1. 多元正态分布定义
    2. 多元正态分布的性质
    3. 识别多元正态分布
  4. 特征函数视角下的三大分布
    1. 卡方分布
    2. 非中心卡方分布
    3. t分布
    4. F分布