第三章 随机向量及其分布

分类:Probability And Mathematical Statistics, 发布于:2019-04-07 18:20:20, 更新于:2019-04-19 00:09:40。 评论

定义3.1 若随机向量$X_1, \dots, X_n$定义在同一个样本空间$\Omega$上,则称$(X_1, \dots, X_n)$为一个$n$维随机向量(变量)

3.1 二维随机变量及其分布函数

一、二维离散型随机变量

定义3.3 设随机向量$(X, Y)$的所有可能取值为$(x_i, y_j)$,假设当$i \neq k, j \neq l$时,$x_i \neq x_k, y_j \neq y_l$,则$P(X = x_i, Y = y_i) = p_{ij}$称为随机向量$(X, Y)$联合分布率(联合概率分布)

联合分布率$\{p_{ij}\}$具有下列性质:

  • $p_{ij} \geqslant 0$
  • $\sum\limits_{i = 1}^{+\infty}\sum\limits_{j=1}^{+\infty} p_{ij} = 1$

重要的二元离散型分布有多项分布和多元超几何分布,分别是二项分布和超几何分布在二元场合的推广。

多项分布

$$P(X_1 = k_1, X_2 = k_2) = \dfrac{n!}{k_1!k_2! (n-k_1-k_2)!} p_1^{k_1} p_2^{k_2} (1 - p_1 - p_2)^{n - k_1 - k_2}​$$

其中$k_1 + k_2 \leqslant n$,记为$(X_1, X_2) \sim M(n; p_1, p_2, \dots)$

多元超几何分布

$$P(X_1 = n_1, X_2 = n_2) = \dfrac{C_{N_1}^{n_1} C_{N_2}^{n_2} C_{N - N_1 - N_2}^{n - n_1 - n_2}}{C_N^n}​$$

定义3.4 对任意的实数$x, y$,称二元函数$F(x, y) = P(X \leqslant x, Y \leqslant y)$为随机向量$(X, Y)$(联合)分布函数,记为$(X, Y) \sim F(x, y)$

分布函数可由分布率表示:

$$F(x, y) = \sum\limits_{x_i \leqslant x, y_j \leqslant y} p_{ij}$$

反之,分布率也唯一由其分布函数决定:假设$(x_i)$$(y_j)$分别为递增序列,则

$$p_{ij} = F(x_i, y_j) - F(x_i, y_{j-1}) - F(x_{i-1}, y_j) + F(x_{i-1}, y_{j-1})$$

二元分布函数满足下列性质:

  • 单调性
  • $0 \leqslant F(x, y) \leqslant 1$
  • 右连续性
  • 对任意实数$x_1 \leqslant x_2$, $y_1 \leqslant y_2$,有$$F(x_2, y_2) - F(x_1, y_2) - F(x_2, y_1) + F(x_1, y_1) \geqslant 0$$

$F_X(x) = P(X \leqslant x) = \lim\limits_{y \rightarrow + \infty} P(X \leqslant x, Y \leqslant y) =: F(x, +\infty)$$F_Y(y) = \lim\limits_{x \rightarrow +\infty}F(x, y)$$F_X(x)$$F_Y(y)$分别称为$(X, Y)$关于$X$$Y$边缘分布函数。联合分布唯一决定边缘分布;但反过来边缘分布不能决定联合分布。

二、二维连续型随机向量

定义3.5 设二维随机向量$(X, Y)$的分布函数为$F(x, y)$,若存在非负可积二元函数$p(x, y)$,对于任意的$x, y \in \mathbb{R}$,有

$$F(x, y) = \int_{-\infty}^x \int_{-\infty}^y p(u, v) \text{d}u \text{d}v,$$

则称$(X, Y)$二维连续型随机向量,而称$p(x, y)$$(X, Y)$的一个联合概率密度函数,简称为联合密度

联合概率密度函数具有以下性质:

  • 非负性
  • 二维积分为1
  • $G​$为平面上任一区域,则$$P((X, Y) \in G) = \iint\limits_G p(x, y) \text{d}x \text{d}y​$$
  • $p(x, y)$在点$(x_0, y_0)$处连续,则$$\dfrac{\partial^2 F(x, y)}{\partial x \partial y} \Bigr\vert_{(x_0, y_0)} = p(x_0, y_0)$$

$X$的边缘分布为

$$F_X(x) = \int_{-\infty}^x \int_{-\infty}^{+\infty} p(u, v) \text{d}u \text{d}v​$$

可见$X$也是一个连续型的随机变量,其密度函数为$p_X(x) = \int_{-\infty}^{+\infty} p(x, v) \text{d}v$。同理,$Y$也是连续性的。称$p_X(x)$$p_Y(y)$分别为$(X, Y)$关于$X$$Y$的边缘密度函数,简称为$X$$Y$的边缘密度函数。连续型随机向量的各分量是连续型的随机变量;但反过来,若每个分量都是连续型的,该向量不一定是连续型的。

二维均匀分布

$$p(x, y) = \begin{cases} \dfrac{1}{(b-a)(d-c)}, &(x, y) \in [a, b] \times [c, d], \\ 0, &(x, y) \notin [a, b] \times [c, d].\end{cases}$$

二维正态分布

$$p(x, y) = \dfrac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1 - \rho^2}} \exp \left\lbrace -\dfrac{1}{2 (1-\rho^2)} \left[ \left( \dfrac{x-\mu_1}{\sigma_1} \right)^2 - 2\rho \left( \dfrac{x-\mu_1}{\sigma_1} \right) \left( \dfrac{y-\mu_2}{\sigma_2} \right) + \left( \dfrac{y-\mu_2}{\sigma_2} \right)^2 \right] \right\rbrace$$

其中$\mu_1,\mu_2 \in \mathbb{R}$$\sigma_1, \sigma_2 > 0$$|\rho| < 1$均为常数,则称$(X, Y)$服从二元正态分布,记为$(X, Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)​$

在下面的式子中,令$u = \dfrac{x - \mu_1}{\sigma_1}$$v = \dfrac{y - \mu_2}{\sigma_2}$,则$X$的边缘密度为

$$ p_X(x) = \dfrac{1}{\sqrt{2\pi}\sigma_1} \exp \left\lbrace \dfrac{(x - \mu_1)^2}{2\sigma_1^2} \right\rbrace​$$

由此可见$X \sim N(\mu_1, \sigma_1^2)​$。同样的,$Y \sim N(\mu_2, \sigma_2^2)​$,其边缘密度函数为

$$ p_Y(y) = \dfrac{1}{\sqrt{2\pi}\sigma_2} \exp \left\lbrace -\dfrac{(y - \mu_2)^2}{2\sigma_2^2} \right\rbrace$$

三、$n$维随机向量及其分布

(此部分内容就是上面的扩展,略)

3.2 条件分布

一、离散型随机向量的条件概率分布

$$P(Y = y_j | X = x_i) = \dfrac{P(X = x_i, Y = y_i)}{P(X = x_i)} = \dfrac{p_{ij}}{p_{i\cdot}}$$

重写得到概率的乘法公式:

$$P(X = x_i, Y = y_i) = P(Y = y_j | X = x_i) P(X = x_i)$$

进而$Y$的边际分布有全概率公式表达式

$$P(Y = y_j) = \sum\limits_{i = 1}^{+\infty} P(Y = y_j, X = x_i) P(X = x_i)$$

二、连续性随机向量的条件概率

$$F_{Y|X=x}(y) = P(Y \leqslant y | X = x) = \int_{-\infty}^{y} \dfrac{p(x, v)}{p_X(x)} \text{d}v​$$

称为在条件$X=x$的条件下,$Y$的条件分布函数。条件分布$F_{Y|X=x}(y)$有密度函数,记为

$$p_{Y|X=x}(y) = \dfrac{p(x, y)}{p_X(x)}$$

密度函数的乘法公式

$$p(x, y) = p_{Y|X=x}(y) p_X(x)$$

3.3 随机变量的独立性

定义3.10$X_1, \dots , X_n$是离散型随机变量,若对任意的$x_1, \dots, x_n$

$$P(X_1 = x_1, \dots, X_n = x_n) = P(X_1 = x_1) \cdots P(X_n = x_n)$$

则称随机变量$X_1, \dots , X_n$相互独立

$X​$$Y​$独立时,在给定$X​$的条件下,$Y​$的条件分布率为$Y​$的无条件分布律,即

$$P(Y = y_j | X = x_j) = \dfrac{p_{ij}}{p_{i \cdot}} = p_{\cdot j} = P(Y = y_j)​$$

定理3.1$X_1, \dots, X_n​$相互独立,若函数$Y_1 = g_1(X_1, \dots, X_m)​$$Y_2 = g_2(X_{m+1}, \dots, X_n)​$仍然也是随机变量,其中$1 \leqslant m < n​$,则$Y_1​$$Y_2​$独立。

定义3.11$n$维随机变量$(X_1, \dots, X_n)$的联合密度函数为$p(x_1, \dots, x_n)$,而$X_i$的边缘密度函数为$p_i(x_i)$,如果$p(x_1, \dots, x_n) = p_1(x_1) \cdots p_n(x_n)$,则称随机变量$X_1, \dots, X_n$相互独立。

定理3.2 随机变量$X$$Y$独立的充要条件是:对于任意的$x, y \in \mathbb{R}$

$$P(X \leqslant x, Y \leqslant y) = P(X \leqslant x) P(Y \leqslant y)$$

$F(x, y) = F_X(x) F_Y(y)$

定理3.3$(X, Y)​$有联合密度函数$p(x, y)​$,则$X​$$Y​$独立的充要条件是,存在函数$g_1(x)​$$g_2(y)​$,使得

$$p(x, y) = g_1(x) g_2(y)$$

3.4 二维随机向量函数的分布

一、二维离散型随机向量函数的分布

$(X, Y)$是一个二维离散型随机向量,其联合分布律为 $$P(X = x_i, Y = y_i) = p_{ij}, \ \ i, j = 1, 2, \cdots$$$Z = g(X, Y)$是一个随机变量,则$Z$至多可取整数个值,于是它也是离散型的随机变量。设$Z$的所有可能取值集合为$\{ z_k \}$,则其分布律可以表示成 $$P(Z = z_k) = P(g(X, Y) = z_k) = \sum_{g(x_i, y_j) = z_k} p_{ij}$$

下面介绍几种特殊的变换$Z = g(X, Y)$的分布律的计算公式:

1. 随机变量和的分布

$Z + X + Y$,则$Z$的所有可能取值的集合为$\{ z_k : \exists i, j, z_k = x_i + y_j \}$,其分布律为$P(Z = z_k) = \sum_{x_i} P(X = x_i, Y = z_k - x_i)$。特别的,当$X$$Y$独立时,$P(Z = z_k) = \sum_{x_i}P(X = x_i)P(Y = z_k - x_i)$,这个公式称为卷及公式

两个独立的泊松随机变量的和仍然是一个泊松随机变量,且和的参数是两个随机变量参数的和。事实上,若$X_i$相互独立,且$X_i$服从参数为$\lambda_i$的泊松分布,则 $$X_1 + \cdots + X_n \sim P(\lambda_1 + \cdots \lambda_n)$$

多项分布随机向量分量的和服从二项分布。

$Z = X - Y$$Z$的分布律可以看成是随机变量$X$$-Y$的和的分布律。故随机变量差的分布律为 $$P(Z = z_k) = \sum_{y_j} P(X = z_k + y_j, Y = y_j)$$

随机变量商的分布

$P(Y = 0) = 0$$Z = \dfrac{X}{Y}$,则$Z$的取值集合为$\left\lbrace z_k : \exists i, j, z_k = \dfrac{x_i}{y_j} \right\rbrace$。其分布律为 $$P(Z = z_k) = \sum_{y_j}P(X = z_k \cdot y_j, Y = y_j)$$

同理,随机变量乘积的分布律可以看成是$X$$Y^{-1}$的商的分布律。

二、二维连续型随即向量函数的分布

对于二维连续型随即向量$(X, Y)$,若已知联合密度函数,而且关于$X$$Y$的函数$Z = g(X, Y)$也是连续型的随机变量,要计算$Z$的密度函数时,一般可以先考虑$Z$的分布函数 $$F_Z(z) = P(Z \leqslant z) = P(g(X, Y) \leqslant z) = \iint\limits_{g(x, y) \leqslant z} p(x, y) \text{d}x \text{d}y$$ 然后再对分布函数$F_Z(z)$求导即可。

瑞利分布:$X$$Y$独立切同分布于$N(0, 1)$$Z = \sqrt{X^2 + Y^2}$的密度函数为 $$p_Z(z) = \begin{cases} ze^{-z^2/2}, & z \geqslant 0; \\ 0, & z < 0. \end{cases}$$

和的分布

$(X, Y)$有联合密度函数$p(x, y)$$Z = X + Y$,则$Z$是一个连续型的随机变量,其密度函数为 $$p_Z(z) = \int\limits_{-\infty}^{+\infty}p(x, z - x) \text{d}x$$ 特别的,当$X$$Y$独立,且$X$有密度函数$p_X(x)$$Y$有密度函数$p_Y(y)$时,$Z$的密度函数为 $$p_Z(z) = \int\limits_{-\infty}^{+\infty}p_X(x)p_Y(z - x) \text{d}x$$ 这个等式称为$p_X(x)$$p_Y(y)$卷积公式

商的分布

$(X, Y)$有联合密度函数$p(x, y)$$Y \neq 0$,定义$Z = \dfrac{X}{Y}$,则$Z$是一个连续型的随机变量,其密度函数为 $$p_Z(z) = \int\limits_{-\infty}^{+\infty} |y| p(zy, y) \text{d}y$$

最大(小)值的分布

$X$$Y$相互独立,且分别有分布函数$F_X(x)$$F_Y(y)$,定义$M = \max(X, Y)$$N = \min(X, Y)$,则$M$的分布函数为 $$F_M(z) = F_X(z) F_Y(z)$$ $N$的分布函数为 $$F_N(z) = 1 - (1 - F_X(z)) (1 - F_Y(z))$$

进而,若$X$$Y$都是连续型随机变量,则$M$$N$也都是连续型的随机变量,密度函数分别为 $$p_M(z) = p_X(z)F_Y(z) + F_X(z)p_Y(z)$$ $$p_N(z) = p_X(z)(1 - F_Y(z)) + (1 - F_X(z))p_Y(z)$$

特别的,若$X_1, \dots, X_n$同分布,设其公共分布函数为$F$,密度函数为$f$,则最大值和最小值的分布为: $$F_M(z) = \left( F(z) \right)^n, \ \ \ F_N(z) = 1 - \left( 1 - F(z) \right)^n$$ 其密度函数为 $$p_M(z) = n\left(F(z)\right)^{n-1}p(z), \ \ \ p_N(z) = n\left(1-F(z)\right)^{n-1}p(z)$$

两个函数的联合分布

设随机变量$U$$V$都是$(X, Y)$的函数,$U = g(X, Y)$$V = h(X, Y)$,且$g$$h$满足下列条件

  1. 存在唯一的逆变换 $$\begin{cases}x = x(u, v), \\ y = y(u, v).\end{cases}$$
  2. 存在连续的一阶偏导数,且Jacobi行列式 $$J(u, v) = \left\vert \begin{matrix} \dfrac{\partial x}{\partial u} & \dfrac{\partial x}{\partial v} \\ \dfrac{\partial y}{\partial u} & \dfrac{\partial y}{\partial v} \end{matrix} \right\vert \neq 0$$

$(U, V)$的联合分布为 $$F_{(U, V)}(u, v) = P(U \leqslant u, V \leqslant v) = \iint\limits_{g(x, y) \leqslant u, h(x, y) \leqslant v} p(x, y) \text{d}x \text{d}y$$

代入逆函数替换得 $$F_{(U, V)}(u, v) = \int\limits_{-\infty}^{v} \int\limits_{-\infty}^{u} p\left(x(z_1, z_2), y(z_1, z_2)\right) \left\vert J(z_1, z_2) \right\vert \text{d}z_1 \text{d}z_2$$

从而$(U, V)$的联合密度函数为 $$l(u, v) = p\left(x(u, v), y(u, v)\right) \left\vert J(u, v) \right\vert$$

评论