概率论与数理统计4 随机变量的数字特征

分类:Probability And Mathematical Statistics, 发布于:2019-04-18 22:30:00, 更新于:2019-04-26 19:47:45。 评论

表征随机变量性质的量叫做随机变量的数字特征

4.1 数学期望

一、数学期望的定义

定义4.1 设离散型随机变量$X$的分布律为$P(X = x_i) = p_i$,若级数$\sum\limits_{i = 1}^{+\infty}|x_i|p_i$收敛,则称$\sum\limits_{i = 1}^{+\infty}x_ip_i$$X$数学期望,记为$EX$,即 $$EX = \sum\limits_{i = 1}^{+\infty}x_ip_i$$

定义4.2 设连续型随机变量$X$的密度为$p(x)$,若积分$\int\limits_{-\infty}^{+\infty} |x|p(x) \text{d}x < \infty$,则定义$X$数学期望$$EX = \int\limits_{-\infty}^{+\infty} xp(x) \text{d}x$$

随机变量的数学期望可简称为期望期望值。由于数学期望是由其随机变量的概率分布唯一确定的,故也称为分布的数学期望。数学期望$EX$反映了随机变量$X$的平均,所以也称为均值。若$\sum\limits_{i = 1}^{+\infty}|x_i|p_i$$\int\limits_{-\infty}^{+\infty} |x|p(x) \text{d}x$发散,则称随机变量$X$数学期望不存在。(如Cauchy分布的期望不存在。)

定义4.3$X$有概率$P$,若$m \in \mathbb{R}$,使得$P(X \geqslant m) \geqslant \dfrac{1}{2}$,而且$P(X \leqslant m) \geqslant \dfrac{1}{2}$,则称$m$$X$中位数

二、常见分布的数学期望

0-1分布 $B(p)$

$$EX = 0 \cdot (1-p) + 1 \cdot p = p$$

常见的两点分布随机变量有随机事件的示性函数。设$A$为一事件,称随机变量$I_A$为事件$A$示性函数(indicator function),若 $$I_A = \begin{cases} 1, &A\text{发生} \\ 0, &A\text{不发生}\end{cases}$$$I_A$服从两点分布,且$P(I_A = 1) = P(A)$,故期望为$EI_A = P(A)$

二项分布 $B(n, p)$

$$EX = np$$

泊松分布 $P(\lambda)$

$$p(x) = \dfrac{\lambda^k}{k!}e^{-\lambda}, \ \ \ EX = \lambda$$

均匀分布 $U[a, b]$

$$EX = \dfrac{a+b}{2}$$

指数分布 $e(\lambda)$

$$p(x) = \lambda e^{-\lambda x}, \ \ \ EX = \dfrac{1}{\lambda}$$

$\Gamma$分布 $G(\lambda, r)$

$$p(x) = \dfrac{\lambda^r}{\Gamma(r)}x^{r-1}e^{-\lambda x}, \ \ \ EX = \dfrac{r}{\lambda}$$

正态分布 $N(\mu, \sigma^2)$

$$p(x) = \dfrac{1}{\sqrt{2\pi}\sigma} \exp\left\lbrace -\dfrac{(x - \mu)^2}{2\sigma^2} \right\rbrace, \ \ \ EX = \mu$$

标准正态分布$N(0, 1)$的期望为$0$

三、随机变量函数的数学期望

定理4.1 若随机变量$X$的函数$Y = g(X)$也是一个随机变量,设$g(X)$的数学期望存在,则下面结论成立:

  1. $X$为离散型随机变量,其分布率为$P(X = x_k) = p_k$,则$Y$的数学期望为 $$EY = \sum\limits_{k=1}^{+\infty}g(x_k)p_k$$
  2. $X$为连续型随机变量,其密度为$p(x)$,则 $$EY = \int\limits_{-\infty}^{+\infty} g(x)p(x) \text{d}x$$

定理4.2 设随机向量$(X, Y)$的函数$Z = g(X, Y)$是一个随机变量,且期望存在,则下面结论成立:

  1. $(X, Y)$为离散型随机变量,其联合分布率为$P(X = x_i, Y = y_j) = p_{ij}$,则 $$EZ = \sum\limits_{i=1}^{+\infty} \sum\limits_{j=1}^{+\infty} g(x_i, y_j)p_{ij}$$
  2. $(X, Y)$为连续型随机变量,其密度为$p(x, y)$,则 $$EZ = \int\limits_{-\infty}^{+\infty} \int\limits_{-\infty}^{+\infty} g(x, y)p(x, y) \text{d}x\text{d}y$$

四、数学期望的性质

  1. 对常数$a, b$,若$a \leqslant X \leqslant B$,则$a \leqslant EX \leqslant B$。特别地,$E(a) = a$;当$X \geqslant 0$时,$EX \geqslant 0$
  2. 线性性质:若$X_1, \dots, X_n$的数学期望都存在,则 $$E(c_1X_1 + \cdots c_nX_n) = c_1EX_1 + \cdots c_nEX_n$$
  3. $X_1, \dots, X_n$相互独立,则 $$E(X_1 \cdots X_n) = EX_1 \cdot \cdots \cdot EX_n$$

4.2 方差与矩

一、方差的定义

定义4.4$EX^2 < +\infty$,则称$E(X - EX)^2$为随机变量$X$方差,记为$D(X)$$\text{Var}(X)$,即$D(X) = E(X - EX)^2$。而称$\sigma(X) = \sqrt{D(X)}$$X$均方差标准差

对离散型随机变量, $$D(X) = \sum\limits_{k=1}^{+\infty}(x_k - EX)^2 p_k$$ 对离散型随机变量, $$D(X) = \int\limits_{-\infty}^{+\infty} (x - EX)^2 p(x) \text{d}x$$

命题 4.1 $D(X) = EX^2 - (EX)^2$.

由于方差被随机变量的分布唯一确定,故也称为分布的方差

二、常见分布的方差

0-1分布 $B(p)$

$$D(X) = pq = p(1-p)$$

示性函数$I_A$的方差为$D(I_A) = P(A)P(\bar{A})$

二项分布 $B(n, p)$

$$D(X) = npq = np(1-p)$$

泊松分布 $P(\lambda)$

$$D(X) = \lambda$$

均匀分布 $U[a, b]$

$$D(X) = \dfrac{(b-a)^2}{12}$$

指数分布 $e(\lambda)$

$$D(X) = \lambda^{-2}$$

$\Gamma$分布 $G(\lambda, r)$

$$D(X) = r\lambda^{-2}$$

正态分布 $N(\mu, \sigma^2)$

$$D(X) = \sigma^2$$

三、方差的性质

  1. 常数的方差为$0$,即$D(a) = 0$。反之,若一个随机变量$X$的方差为$0$,则$P(X = EX) = 1$
  2. $a, b$为任意有限常数,$X$的方差存在,则 $$D(aX + b) = a^2D(X)$$
  3. 对任意方差存在的随机变量$X$$Y$,其和或差的方差依然有限,且 $$D(X \pm Y) = D(X) + D(Y) \pm 2E[(X - EX)(Y - EY)]$$ 特别地,当$X$$Y$独立时,$D(X \pm Y) = D(X) + D(Y)$。一般地,若$n$个随机变量独立,则 $$D(X_1 + \cdots + X_n) = D(X_1) + \cdots D(X_n)$$
  4. (切比雪夫不等式)设随机变量$X$的期望$EX$和方差$DX$均存在,则任意的$\varepsilon > 0$$$P(\vert X - EX \vert \geqslant \varepsilon) \leqslant \dfrac{DX}{\varepsilon^2}$$

$X_1, \dots, X_n$$n$个独立的随机变量,$\bar{X} = \dfrac{1}{n}\sum X_i$表示样本均值,则称$X_i - \bar{X}$为第$i$个样本的样本偏差。随机变量$S^2 = \dfrac{1}{n-1} \sum(X_i - \bar{X})^2$称为样本方差

四、矩

定义 4.5 对随机变量$X$和非负整数$k$,若$E(\vert X \vert^k) < \infty$,则称$EX^k$$X$$k$阶原点矩,简称$k$阶矩;若$E(\vert X - EX \vert^k) < \infty$,则称$E(X - EX)^k$$X$$k$阶中心矩

于是,$X$的一阶矩是$X$的期望,二阶中心距是$X$的方差。若已知$X$的均值$EX$$X$的方差$DX$,则$X$的二阶矩$EX^2$可由下面公式计算得到: $$EX^2 = DX + (EX)^2$$

4.3 协方差与相关系数

一、协方差

定义 4.6 对随机变量$X$$Y$,若$E|X|$$E|Y|$$E|(X-EX)(Y-EY)|$都有限,则定义$E[(X-EX)(Y-EY)]$$X$$Y$协方差,记为$\text{cov}(X, Y)$,即 $$\text{cov}(X, Y) = E[(X - EX) (Y - EY)]$$

有了协方差的概念,随机变量和或差的方差公式就可以表示成 $$D(X \pm Y) = D(X) + D(Y) \pm 2\text{cov}(X, Y)$$ 进而,对任意$n$个随机变量$X_1, \dots, X_n$,有 $$D(X_1 + \dots + X_n) = \sum\limits_{k=1}^{n} D(X_k) + 2 \sum\limits_{1 \leqslant i < j \leqslant n} \text{cov}(X_i, X_j)$$

在协方差的计算方面还经常会用到下面的公式: $$\text{cov}(X, Y) = E(XY) - EX \cdot EY$$

协方差的性质:

  1. $X$$Y$独立,则$\text{cov}(X, Y) = 0$
  2. 方差是特殊的协方差:$\text{cov}(X, X) = DX$
  3. 对称性:$\text{cov}(X, Y) = \text{cov}(Y, X)$
  4. 对常数$a, b, c_1, c_2 \in \mathbb{R}$,有$\text{cov}(aX + c_1, bY + c_2) = ab \text{cov}(X, Y)$
  5. $X_1$$X_2$$Y$的二阶矩有限,则$\text{cov}(X_1 + X_2, Y) = \text{cov}(X_1, Y) + \text{cov}(X_2, Y)$

定理 4.3(Cauchy-Schwarz不等式) 设随机变量$X$$Y$的二阶矩有限,则下面不等式成立: $$[\text{cov}(X, Y)]^2 \leqslant DX \cdot DY$$ 等号成立的充要条件是存在不全为$0$的常数$a$$b$,使得 $$P\left( a(X - EX) + b(Y - EY) = 0 \right) = 1$$

二、相关系数

定义 4.7 设随机变量$X$$Y$的二阶矩有限,且$D(X) > 0$$D(Y) > 0$,则称 $$\dfrac{\text{cov}(X, Y)}{\sqrt{(D(X)D(Y))}}$$$X$$Y$相关系数,记为$\rho_{XY}$或者$\text{corr}(X, Y)$

考虑$X$$Y$的标准化随机变量$X^* = \dfrac{X - EX}{\sqrt{D(X)}}$$Y^* = \dfrac{Y - EY}{\sqrt{D(Y)}}$,则 $$\text{cov}(X^*, Y^*) = \dfrac{\text{cov}(X, Y)}{\sqrt{(D(X)D(Y))}} = \rho_{XY}$$ 由此可见相关系数是它们的标准化随机变量的协方差。

由Cauchy-Schwarz不等式知相关系数$\rho_{XY}$满足下列性质:

  1. $\vert \rho_{XY} \vert \leqslant 1$
  2. $\vert \rho_{XY} \vert = 1$的充要条件是$D(X) > 0$$D(Y) > 0$,且存在不全为0的常数$a, b, c \in \mathbb{R}$,使得$P(cX + aY = b) = 1$,即$X$$Y$以概率1具有线性关系。

$\rho_{XY} > 0$,称$X$$Y$正相关;若$\rho_{XY} < 0$,则称$X$$Y$负相关$\vert \rho_{XY} \vert$越大,表明$X$$Y$之间线性关系越密切,反之表示两者之间线性关系越弱。若$\rho_{XY} = 0$,则称$X$$Y$线性无关不相关

$X$$Y$独立时,$\text{cov}(X, Y) = 0$,所以$X$$Y$不相关,但反之却不一定成立。

评论