概率论与数理统计5 极限理论

分类:Probability And Mathematical Statistics, 发布于:2019-05-01 12:46:56, 更新于:2019-05-01 15:42:17。 评论

5.1 大数定律

定义 5.1$X_1, X_2, \dots, X_n$为一列随机变量,若存在随机变量$X$,使得任意给定的$\varepsilon > 0$$$\lim_{n \rightarrow +\infty} P(\vert X_n - X \vert \geqslant \varepsilon) = 0,$$ 或等价的, $$\lim_{n \rightarrow +\infty} P(\vert X_n - X \vert < \varepsilon) = 1,$$ 则称随机变量序列$\{X_n\}$依概率收敛于随机变量$X$,记为$X_n \overset{P}{\longrightarrow} X$

定义 5.2 对随机变量序列$\{X_n\}$,若任意的$\varepsilon > 0$,有 $$\lim_{n \rightarrow +\infty} P \left( \left\vert \dfrac{1}{n} \sum_{k=1}^n X_k - \dfrac{1}{n} \sum_{k=1}^n EX_k \right\vert \geqslant \varepsilon \right) = 0,$$ 或者 $$\lim_{n \rightarrow +\infty} P \left( \left\vert \dfrac{1}{n} \sum_{k=1}^n X_k - \dfrac{1}{n} \sum_{k=1}^n EX_k \right\vert < \varepsilon \right) = 1,$$ 则称$\{X_n\}$服从大数定律

$\{X_n\}$服从大数定律当且仅当$\dfrac{1}{n} \sum_{k=1}^n (X_k - EX_k) \overset{P}{\longrightarrow} 0$

定理 5.1 (切比雪夫大数定律) 设$\{X_n\}$为两两互不相关的随机变量序列,又存在常数$C > 0$,使得对每个随机变量$X_k$$D(X_k) \leqslant C$$k = 1, 2, \dots$,则$\{X_n\}$服从大数定律。

定理 5.2$\{X_n\}$为一列独立同分布的随机变量,设其满足$EX_n = \mu$$D(X_n) = \sigma^2 < +\infty$,则$\{X_n\}$服从大数定律。即对任意的$\varepsilon > 0$$$\lim_{n \rightarrow +\infty} P\left(\left\vert \dfrac{1}{n} \sum_{k=1}^n X_k - \mu \right\vert \geqslant \varepsilon \right) = 0,$$ 也就是说,$\dfrac{1}{n} \sum_{k=1}^n X_k \overset{P}{\longrightarrow} \mu = EX_k$

定理 5.3 (Bernoulli大数定律) 设$\mu_n$$n$重Bernoulli试验中事件$A$发生的次数,$p$为事件$A$在每次试验中发生的概率,则任意的$\varepsilon > 0$$$\lim_{n \rightarrow +\infty} P\left( \left\vert \dfrac{\mu_n}{n} - p \right\vert \geqslant \varepsilon \right) = 0,$$ 即事件$A$发生的频率$\dfrac{\mu_n}{n}$依概率收敛到$A$发生的概率$p$

5.2 中心极限定理

定义 5.3$\{X_n\}$为一列相互独立的随机变量序列,又$EX_k = \mu_k$$D(X_k) = \sigma^2$均存在,$k = 1, 2, \dots$。考虑标准化随机变量列 $$Y_n^* = \dfrac{\sum\limits_{k=1}^n X_k - \sum\limits_{k=1}^n EX_k}{\sqrt{\sum\limits_{k=1}^n D(X_k)}} = \dfrac{\sum\limits_{k=1}^n X_k - \sum\limits_{k=1}^n \mu_k}{\sqrt{\sum\limits_{k=1}^n \sigma^2_k}},$$ 若对$x \in (-\infty, +\infty)$,一致地有 $$\lim_{n \rightarrow +\infty} P(Y_n^* \leqslant x) = \dfrac{1}{\sqrt{2\pi}} \int_{-\infty}^x e^{-\frac{t^2}{2}} \text{d}t = \Phi(x),$$ 则称$\{X_n\}$服从中心极限定理

定理 5.4 (列维-林德伯格中心极限定理) 设$\{X_n\}$为独立同分布的随机变量序列,$EX_n = \mu$$D(X_n) = \sigma^2$都存在,则任意的$x \in (-\infty, +\infty)$,一致地有 $$\lim_{n \rightarrow +\infty} P \left( \dfrac{\sum\limits_{k=1}^n X_k - n\mu}{\sqrt{n\sigma^2}} \leqslant x \right) = \dfrac{1}{\sqrt{2\pi}} \int_{-\infty}^x e^{-\frac{t^2}{2}} \text{d}t = \Phi(x),$$$\{X_n\}$服从中心极限定理。

定理 5.5$\{X_n\}$是独立随机变量列,$\mu_n = E(X_n)$$\sigma_n^2 = D(X_n)$$B_n^2 = \sigma_1^2 + \sigma_2^2 + \cdots + \sigma_n^2$。若对任何$\tau > 0$,成立 $$\lim_{n \rightarrow +\infty} \dfrac{1}{B_n^2} \sum_{k=1}^n E \left[ (X_k - \mu_k)^2 I_{\{\vert X_k - \mu_k \vert > \tau B_n \}} \right] = 0,$$ 定义随机变量$X_n^* = \sum\limits_{k=1}^n \dfrac{X_k - \mu_k}{B_n}$,则任意的实数$x$$$\lim_{n \rightarrow +\infty} P(X_n^* \leqslant x) = \dfrac{1}{\sqrt{2\pi}} \int_{-\infty}^x e^{-\frac{t^2}{2}} \text{d}t = \Phi(x).$$

评论