4 随机变量的数字特征

概率论与数理统计

4 随机变量的数字特征

表征随机变量性质的量叫做随机变量的数字特征。

4.1 数学期望

一、数学期望的定义

定义4.1 设离散型随机变量$X$的分布律为$P(X = x_i) = p_i$，若级数$\sum\limits_{i = 1}^{+\infty}|x_i|p_i$收敛，则称$\sum\limits_{i = 1}^{+\infty}x_ip_i$为$X$的数学期望，记为$EX$，即 $$EX = \sum\limits_{i = 1}^{+\infty}x_ip_i$$

定义4.2 设连续型随机变量$X$的密度为$p(x)$，若积分$\int\limits_{-\infty}^{+\infty} |x|p(x) \text{d}x < \infty$，则定义$X$的数学期望为 $$EX = \int\limits_{-\infty}^{+\infty} xp(x) \text{d}x$$

随机变量的数学期望可简称为期望或期望值。由于数学期望是由其随机变量的概率分布唯一确定的，故也称为分布的数学期望。数学期望$EX$反映了随机变量$X$的平均，所以也称为均值。若$\sum\limits_{i = 1}^{+\infty}|x_i|p_i$或$\int\limits_{-\infty}^{+\infty} |x|p(x) \text{d}x$发散，则称随机变量$X$的数学期望不存在。（如Cauchy分布的期望不存在。）

定义4.3 设$X$有概率$P$，若$m \in \mathbb{R}$，使得$P(X \geqslant m) \geqslant \dfrac{1}{2}$，而且$P(X \leqslant m) \geqslant \dfrac{1}{2}$，则称$m$为$X$的中位数。

二、常见分布的数学期望

0-1分布 $B(p)$

$$EX = 0 \cdot (1-p) + 1 \cdot p = p$$

常见的两点分布随机变量有随机事件的示性函数。设$A$为一事件，称随机变量$I_A$为事件$A$的示性函数(indicator function)，若 $$I_A = \begin{cases} 1, &A\text{发生} \\ 0, &A\text{不发生}\end{cases}$$ 则$I_A$服从两点分布，且$P(I_A = 1) = P(A)$，故期望为$EI_A = P(A)$。

二项分布 $B(n, p)$

$$EX = np$$

泊松分布 $P(\lambda)$

$$p(x) = \dfrac{\lambda^k}{k!}e^{-\lambda}, \ \ \ EX = \lambda$$

均匀分布 $U[a, b]$

$$EX = \dfrac{a+b}{2}$$

指数分布 $e(\lambda)$

$$p(x) = \lambda e^{-\lambda x}, \ \ \ EX = \dfrac{1}{\lambda}$$

$\Gamma$分布 $G(\lambda, r)$

$$p(x) = \dfrac{\lambda^{r}}{\Gamma ( r )}x^{r-1}e^{-\lambda x}, \ \ \ EX = \dfrac{r}{\lambda}$$

正态分布 $N(\mu, \sigma^2)$

$$p(x) = \dfrac{1}{\sqrt{2\pi}\sigma} \exp\left\lbrace -\dfrac{(x - \mu)^2}{2\sigma^2} \right\rbrace, \ \ \ EX = \mu$$

标准正态分布$N(0, 1)$的期望为$0$。

三、随机变量函数的数学期望

定理4.1 若随机变量$X$的函数$Y = g(X)$也是一个随机变量，设$g(X)$的数学期望存在，则下面结论成立：

若$X$为离散型随机变量，其分布率为$P(X = x_k) = p_k$，则$Y$的数学期望为 $$EY = \sum\limits_{k=1}^{+\infty}g(x_k)p_k$$
若$X$为连续型随机变量，其密度为$p(x)$，则 $$EY = \int\limits_{-\infty}^{+\infty} g(x)p(x) \text{d}x$$

定理4.2 设随机向量$(X, Y)$的函数$Z = g(X, Y)$是一个随机变量，且期望存在，则下面结论成立：

若$(X, Y)$为离散型随机变量，其联合分布率为$P(X = x_i, Y = y_j) = p_{ij}$，则 $$EZ = \sum\limits_{i=1}^{+\infty} \sum\limits_{j=1}^{+\infty} g(x_i, y_j)p_{ij}$$
若$(X, Y)$为连续型随机变量，其密度为$p(x, y)$，则 $$EZ = \int\limits_{-\infty}^{+\infty} \int\limits_{-\infty}^{+\infty} g(x, y)p(x, y) \text{d}x\text{d}y$$

四、数学期望的性质

对常数$a, b$，若$a \leqslant X \leqslant B$，则$a \leqslant EX \leqslant B$。特别地，$E(a) = a$；当$X \geqslant 0$时，$EX \geqslant 0$。
线性性质：若$X_1, \dots, X_n$的数学期望都存在，则 $$E(c_1X_1 + \cdots c_nX_n) = c_1EX_1 + \cdots c_nEX_n$$
若$X_1, \dots, X_n$相互独立，则 $$E(X_1 \cdots X_n) = EX_1 \cdot \cdots \cdot EX_n$$

4.2 方差与矩

一、方差的定义

定义4.4 若$EX^2 < +\infty$，则称$E(X - EX)^2$为随机变量$X$的方差，记为$D(X)$或$\text{Var}(X)$，即$D(X) = E(X - EX)^2$。而称$\sigma(X) = \sqrt{D(X)}$为$X$的均方差或标准差。

对离散型随机变量， $$D(X) = \sum\limits_{k=1}^{+\infty}(x_k - EX)^2 p_k$$ 对离散型随机变量， $$D(X) = \int\limits_{-\infty}^{+\infty} (x - EX)^2 p(x) \text{d}x$$

命题 4.1 $D(X) = EX^2 - (EX)^2$.

由于方差被随机变量的分布唯一确定，故也称为分布的方差。

二、常见分布的方差

0-1分布 $B(p)$

$$D(X) = pq = p(1-p)$$

示性函数$I_A$的方差为$D(I_A) = P(A)P(\bar{A})$。

二项分布 $B(n, p)$

$$D(X) = npq = np(1-p)$$

泊松分布 $P(\lambda)$

$$D(X) = \lambda$$

均匀分布 $U[a, b]$

$$D(X) = \dfrac{(b-a)^2}{12}$$

指数分布 $e(\lambda)$

$$D(X) = \lambda^{-2}$$

$\Gamma$分布 $G(\lambda, r)$

$$D(X) = r\lambda^{-2}$$

正态分布 $N(\mu, \sigma^2)$

$$D(X) = \sigma^2$$

三、方差的性质

常数的方差为$0$，即$D(a) = 0$。反之，若一个随机变量$X$的方差为$0$，则$P(X = EX) = 1$。
设$a, b$为任意有限常数，$X$的方差存在，则 $$D(aX + b) = a^2D(X)$$
对任意方差存在的随机变量$X$和$Y$，其和或差的方差依然有限，且 $$D(X \pm Y) = D(X) + D(Y) \pm 2E[(X - EX)(Y - EY)]$$ 特别地，当$X$和$Y$独立时，$D(X \pm Y) = D(X) + D(Y)$。一般地，若$n$个随机变量独立，则 $$D(X_1 + \cdots + X_n) = D(X_1) + \cdots D(X_n)$$
（切比雪夫不等式）设随机变量$X$的期望$EX$和方差$DX$均存在，则任意的$\varepsilon > 0$， $$P(\vert X - EX \vert \geqslant \varepsilon) \leqslant \dfrac{DX}{\varepsilon^2}$$

设$X_1, \dots, X_n$为$n$个独立的随机变量，$\bar{X} = \dfrac{1}{n}\sum X_i$表示样本均值，则称$X_i - \bar{X}$为第$i$个样本的样本偏差。随机变量$S^2 = \dfrac{1}{n-1} \sum(X_i - \bar{X})^2$称为样本方差。

四、矩

定义 4.5 对随机变量$X$和非负整数$k$，若$E(\vert X \vert^k) < \infty$，则称$EX^k$为$X$的$k$阶原点矩，简称$k$阶矩；若$E(\vert X - EX \vert^k) < \infty$，则称$E(X - EX)^k$为$X$的$k$阶中心矩。

于是，$X$的一阶矩是$X$的期望，二阶中心距是$X$的方差。若已知$X$的均值$EX$和$X$的方差$DX$，则$X$的二阶矩$EX^2$可由下面公式计算得到： $$EX^2 = DX + (EX)^2$$

4.3 协方差与相关系数

一、协方差

定义 4.6 对随机变量$X$和$Y$，若$E|X|$，$E|Y|$和$E|(X-EX)(Y-EY)|$都有限，则定义$E[(X-EX)(Y-EY)]$为$X$和$Y$的协方差，记为$\text{cov}(X, Y)$，即 $$\text{cov}(X, Y) = E[(X - EX) (Y - EY)]$$

有了协方差的概念，随机变量和或差的方差公式就可以表示成 $$D(X \pm Y) = D(X) + D(Y) \pm 2\text{cov}(X, Y)$$ 进而，对任意$n$个随机变量$X_1, \dots, X_n$，有 $$D(X_1 + \dots + X_n) = \sum\limits_{k=1}^{n} D(X_k) + 2 \sum\limits_{1 \leqslant i < j \leqslant n} \text{cov}(X_i, X_j)$$

在协方差的计算方面还经常会用到下面的公式： $$\text{cov}(X, Y) = E(XY) - EX \cdot EY$$

协方差的性质：

若$X$和$Y$独立，则$\text{cov}(X, Y) = 0$。
方差是特殊的协方差：$\text{cov}(X, X) = DX$。
对称性：$\text{cov}(X, Y) = \text{cov}(Y, X)$。
对常数$a, b, c_1, c_2 \in \mathbb{R}$，有$\text{cov}(aX + c_1, bY + c_2) = ab \text{cov}(X, Y)$。
若$X_1$，$X_2$和$Y$的二阶矩有限，则$\text{cov}(X_1 + X_2, Y) = \text{cov}(X_1, Y) + \text{cov}(X_2, Y)$。

定理 4.3（Cauchy-Schwarz不等式）设随机变量$X$和$Y$的二阶矩有限，则下面不等式成立： $$[\text{cov}(X, Y)]^2 \leqslant DX \cdot DY$$ 等号成立的充要条件是存在不全为$0$的常数$a$和$b$，使得 $$P\left( a(X - EX) + b(Y - EY) = 0 \right) = 1$$

二、相关系数

定义 4.7 设随机变量$X$和$Y$的二阶矩有限，且$D(X) > 0$，$D(Y) > 0$，则称 $$\dfrac{\text{cov}(X, Y)}{\sqrt{(D(X)D(Y))}}$$ 为$X$和$Y$的相关系数，记为$\rho_{XY}$或者$\text{corr}(X, Y)$。

考虑$X$和$Y$的标准化随机变量$X^* = \dfrac{X - EX}{\sqrt{D(X)}}$和$Y^* = \dfrac{Y - EY}{\sqrt{D(Y)}}$，则 $$\text{cov}(X^*, Y^*) = \dfrac{\text{cov}(X, Y)}{\sqrt{(D(X)D(Y))}} = \rho_{XY}$$ 由此可见相关系数是它们的标准化随机变量的协方差。

由Cauchy-Schwarz不等式知相关系数$\rho_{XY}$满足下列性质：

$\vert \rho_{XY} \vert \leqslant 1$；
$\vert \rho_{XY} \vert = 1$的充要条件是$D(X) > 0$，$D(Y) > 0$，且存在不全为0的常数$a, b, c \in \mathbb{R}$，使得$P(cX + aY = b) = 1$，即$X$和$Y$以概率1具有线性关系。

若$\rho_{XY} > 0$，称$X$和$Y$正相关；若$\rho_{XY} < 0$，则称$X$和$Y$负相关。$\vert \rho_{XY} \vert$越大，表明$X$和$Y$之间线性关系越密切，反之表示两者之间线性关系越弱。若$\rho_{XY} = 0$，则称$X$和$Y$线性无关或不相关。

当$X$和$Y$独立时，$\text{cov}(X, Y) = 0$，所以$X$和$Y$不相关，但反之却不一定成立。