概率论与数理统计笔记

人生, 是从不充分的证据开始, 引出完美结论的一种艺术。——Samuel Bulter

参考资料

• https://github.com/ChanceQZ/Statistics-note
• https://www.cnblogs.com/Renyi-Fan/p/13938385.html
• 在线公式编辑网站：https://editor.codecogs.com/

事件与概率

随机试验和随机事件

• 随机现象

  自然界中的 客观现象, 当人们观测它时, 所得结果不能预先确定, 而仅仅是多种可能结果之一

• 随机试验

  随机现象的实现和对它某个特征的观测

• 基本事件

  随机试验中的每个单一结果, 犹如分子中的原子, 在化学反应中不可再分

  e.g. 硬币抛 3 次, 有 2^3=8 种结果：正正正、正正反、正反正……这 8 种可能结果的每一个都是基本事件

• 随机事件

  简称事件, 在随机试验中我们所关心的、可能出现的各种结果, 它由 一个或若干个基本事件 组成

• 样本空间

  随机试验中所有基本事件所构成的集合, 通常用 $\Omega$ 或 $S$ 表示

  e.g. 掷一枚骰子, 观察出现的点数, 则 $ \Omega = {1,2,3,4,5,6} $

• 必然事件（$\Omega$）

  在试验中一定会发生的事件

• 不可能事件（$\phi$）

  在试验中不可能发生的事件

根据随机现象做随机试验, 随机试验产生随机事件, 随机事件由基本事件组成, 所有基本事件构成样本空间

事件的运算

• 子事件 $A \subset B$

  事件 $A$ 发生蕴含事件 $B$ 一定发生, 则事件 $A$ 称为事件 $B$ 的子事件
  若 $A \subset B$, 且 $B \subset A$, 则称事件 $A$ 与事件 $B$ 相等, 记为 $A=B$

• 事件的和（$A \cup B$）

  事件 $A$ 和事件 $B$ 中 至少有一个发生 称为事件 $A$ 和事件 $B$ 的和

• 事件的积（$A \cap B$）

  事件 $A$ 和事件 $B$ 同时发生称为 $A$ 和事件 $B$ 的积
  如果 $A\cap B=\phi$, 则称 $A$ 和 $B$ 不相容, 即事件 $A$ 和 $B$ 不能同时发生

• 对立事件 $A^c$（或 $\overline{A}$）

  $A$ 不发生这一事件称为事件 $A$ 的对立事件（或余事件）

• 事件 $A$ 和事件 $B$ 的差（$A-B$）

  事件 $A$ 发生而事件 $B$ 不发生这一事件称为事件 $A$ 和事件 $B$ 的差, 或等价于 $AB^c$

• De Morgan 对偶法则及其推广

  $$ \overline{A\cup B}=\overline{A}\cap \overline{B}, $$

  $$ \overline{A\cap B}=\overline{A}\cup \overline{B} $$

  上式可推广到 $n$ 个事件：

  $$ \overline{\bigcup_{i=1}^{n}A_i}=\bigcap_{i=1}^{n}\overline{A_i}, $$

  $$ \overline{\bigcap_{i=1}^{n}A_i}=\bigcup_{i=1}^{n}\overline{A_i}, $$

概率的定义

概率是 随机事件 发生的可能性大小的数字表征, 其值在 [0,1] 之间, 即 概率是事件的函数

古典概率

设一个试验有 N 个等可能的结果, 而事件 $E$ 恰包含其中的 $M$ 个结果, 则事件 $E$ 的概率, 记为 $P(E)$, 定义为

$$ P(E)=M/N $$

或

$$ P(E)=#(M) / #(N), $$

其中, $#(M)$ 为事件 $M$ 中基本事件的个数

古典概型有两个条件：

• 有限性, 试验结果只有有限个（记为 $n$）
• 等可能性, 每个基本事件发生的可能性相同

古典概率可引申出“几何概率”

几何概率模型 与线段、平面、立体有关的模型 一张桌子，一个质子扔到左边部分的的概率是 $1/2$

概率的统计定义

古典概率的两个条件 往往不能满足, 但可以将事件的随机试验独立反复做 $n$ 次（Bernouli 试验）
设事件 $A$ 发生了 $n_A$ 次, 称比值 $\frac{n_A}{n}$ 为事件 $A$ 发生的频率, 当 $n$ 越来越大时, 频率会在某个值 p 附近波动, 且波动越来越小, 这个值 p 就定义为事件 $A$ 的概率。该学派为 频率派

不能写为 $lim_{n\rightarrow{\infty}}\frac{n_A}{n}=p$
因为 $\frac{n_A}{n}$ 不是 $n$ 的函数

频率和概率的关系 频率需要做大量的实验才能逼近概率 只要次数 $n$ 足够大，就可以说频率是概率的近似

主观概率

主观概率可以理解为一种 心态或倾向性, 一是根据其经验和知识, 二是根据其利害关系
该学派在金融和管理有大量的应用, 这一学派称为 Bayes 学派

概率的公理化定义

对概率运算规定一些简单的基本法则：

• 设 $A$ 是随机事件, 则 $0 \leq P(A) \leq 1$

• 设 $\Omega$ 为必然事件, 则 $P(\Omega)=1$

• 若事件 $A$ 和 $B$ 不相容, 则 $P(A\cup B)=P(A)+P(B)$

  可推广至无穷：$$P(\bigcup_{i=1}^{n}A_i)=\sum_{i=1}^{\infty}P(A_i)$$.

一般情况下:

$$ \begin{aligned} &P(A\cup B)=P(A)+P(B)-P(AB) \ &P(A\cup B \cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC) \ &P(\overline{A})=1-P(A) \ &P(A-B)=P(A)-P(AB) \end{aligned} $$

古典概率计算

排列组合

• 选排列

  从 $n$ 个不同元素中取 r 个不同取法（$1\leq r\leq n$）
  $P^{n}_{r}=n(n-1)…(n-r+1)$

• 重复排列

  从 $n$ 个不同元素中可重复地取 r 个不同取法（$1\leq r\leq n$）
  $P^{n}_{r}=n^r$

• 组合

  同选排列, 但不考虑次序, $\binom{n}{r}=\frac{P^{n}_{r}}{r!}$

排列英文为 Permutation, 组合英文为 Combination
$0!$ 为 1。当 r 不是非负整数时, 记号 $r!$ 没有意义
一些书中将组合写成 $C_{n}^{r}$ 或 $C_{r}^{n}$, 更通用的是 $\binom{n}{r}$

其他公式

• 组合系数 $\binom{n}{r}$ 又常称为二项式系数

  $$ (a+b)^n=\sum_{i=0}^{n}\binom{n}{r}a^i b^{n-1} $$

• $n$ 个相异物件分成 k 堆, 各堆物件数分为 $r_1, …, r_k$ 的方法是

  $$ n!/(r_1!…r_k!) $$

条件概率

条件概率就是知道了 一定信息 下得到的随机事件的概率
设事件 $A$ 和 $B$ 是随机试验 $\Omega$ 中的两个事件, $P(B)>0$, 称

$$ P(A|B)=\frac{P(AB)}{P(B)} $$

为事件 $B$ 发生条件下事件 $A$ 发生的条件概率

事实上, 我们所考虑的概率都是在一定条件下计算的, 因为随机试验就是在一定条件下进行的

条件概率 样本空间发生了变化 $P(A|B)$ 不同于 $P(AB)$，而是 $P(AB)/P(B)$ $P(A|B)$ 表示 $B$ 发生的情况下，$A$ 发生的概率 例子：今天家里买了水果，让你猜猜是什么水果，直接猜测的话概率可能很低，因为有可能苹果、提子、梨、桃等等，不过现在假如是一个特定季节，且告诉你水果的颜色，那么某种水果的概率就会增加。所以给定条件后，会导致事件发生的概率发生变化

联合概率和条件概率 联合概率侧重于同时发生 条件概率侧重于一个先发生，另一个后发生

$$ P(AB) = AB/S \ P(A|B) = AB/B \ \text{注意分子相同，但是分母的样本空间是不一样的} $$

条件概率性质

给定 $A$ 发生, $P(A)>0$

• $0 \leq P(B|A) \leq 1$
• $0 \leq P(\Omega|A) = 1$
• 若 $B_1 \cap B_2 = \phi _1$, 则 $P(B_1 \cup B_2 | A) = P(B_1|A) + P(B_2|A)$, 可推广至无穷

乘法定理

由 $P(A|B)=\frac{P(AB)}{P(B)} \Rightarrow P(AB)=P(A|B)P(B)$, 可推广至

$$ P(A_1 A_2 …A_n)=P(A_1)P(A_2|A_1)…P(A_n|A_1…A_{n-1}) $$

右边看似麻烦, 其实容易算, 左边看似简单, 但是难算

事件之间不一定独立的时候

$$ P(AB) = P(B)P(A|B) = P(A)P(B|A) \ P(ABC) = P(A)P(A|B)P(C|AB) $$

全概率

设 $B_1,B_2,…B_n$ 是样本空间 $\Omega$ 中的 两两不相容 的一组事件, 即$B_i B_j=\phi$, $i\neq j$
且满足 $\bigcup_{i=1}^{n}B_i = \Omega$, 则称 $B_1,B_2,…B_n$ 是样本空间 $\Omega$ 的一个分割（又称为 完备事件群, 英文为 partition）

设 ${B_1,B_2,…B_n}$ 是样本空间 $\Omega$ 的一个分割, $A$ 为 $\Omega$ 的一个事件, 则

$$ P(A)=\sum_{i=1}^{n}P(A|B_i)P(B_i) $$

推导：

$$ \begin{aligned} P(A) & = P(A \cap \Omega) \ & = P(A \cap \sum_{i=1}^{n}B_i) \ & = P(\sum_{i=1}^{n}AB_i) \ & = \sum_{i=1}^{n}P(AB_i) \ & = \sum_{i=1}^{n}P(A|B_i)P(B_i) \ & = \sum_{i=1}^{n}P(A|B_i)P(B_i) \end{aligned} $$

有时不易直接计算事件 $A$ 的概率, 但是在每个 $B_i$ 上 $A$ 的条件概率容易求出

全概率公式 $P(B|A_{i})$ 即各个 $A_{i}$ 中的 $B$ 全部拼起来 白话就是：由因溯果，已知达到某个目的有很多方法，问能到达目的的概率是多少；或者造成某个结果有很多原因，问造成这个结果的概率是多少

Bayes 公式

设 ${B_1, B_2, …B_n}$ 是样本空间的一个分割, $A$ 为 $\Omega$ 中的一个事件, $P(B_i)>0$, $i=1,2,…,n$, $P(A)>0$, 则

$$ P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)} $$

当有 因果关系互换 时必须用 Bayes 公式

贝叶斯公式

$$ P(AB) = P(B)P(A|B) = P(A)P(B|A) $$

由来是乘法公式 白话就是：由果溯因，已知结果，问导致这个结果的第 $i$ 个原因的概率是多少

事件的独立性

设 $A$, $B$ 是随机试验中的两个事件, 若满足 $P(AB)=P(A)P(B)$, 则称事件 $A$ 和 $B$ 相互独立
判断事件的独立, 应该是 从实际出发, 如果能够判断事件 $B$ 的发生与否对事件 $A$ 的发生与否不产生影响, 则事件 $A$, $B$ 即为独立

设 $\widetilde{A}$ 表示事件 $A$ 发生和不发生之一, $\widetilde{B}$ 表示事件 $B$ 发生和不发生之一
有独立性的定义可推至 $P(\widetilde{A}\widetilde{B})=P(\widetilde{A})P(\widetilde{B})$（一共有四个等式）。可推广至：

$$ P(\widetilde{A}_1\widetilde{A}_2…\widetilde{A}_n)=P(\widetilde{A}_1)…P(\widetilde{A}_n) $$

上面有 $2^n$ 个等式

独立（independent）和不相容（exclusive）是不同的两个概念, 前者有公共部分, 后者没有公共部分, 独立一定相容

独立、互不相容 独立（可以同时发生）：$P(AB) = P(A)P(B) > 0$ 互不相容（不可能同时发生）：$P(A+B) = P(A) + P(B)$，其中右边的 $-P(AB) = 0$ 省略了 应用：多元线性回归中的概率公式推导，就是用的事件之间的独立性

$$ P(A_{1}A_{2}…A_{n})=P(A_{1})P(A_{2})…P(A_{n}) $$

$X$, $Y$ 不相关和 $X$, $Y$ 独立 不相关：指的是 $X$, $Y$ 线性不相关 独立：指的是 $X$, $Y$ 之间没有任何关系，包括线性关系，非线性关系 $X$, $Y$ 独立可以推出则 $X$, $Y$ 不相关

伯努利公式 投骰子，有 $5/6$ 的概率投出小于 $6$ 的点数，问投 $100$ 次从未投到 $6$ 的概率是多少？ $P_{100} = (5/6)^{100} = …$

重要公式与结论

$$ \begin{aligned} &\ P(\overline{A})=1-P(A)\ \ &\ P(A \cup B)=P(A)+P(B)-P(AB)\ \ &\ P(A\cup B \cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)\ \ &\ P(A-B)=P(A)-P(AB)\ \ &\ P(A\overline{B})=P(A)-P(AB),P(A)=P(AB)+P(A\overline{B}),\ &\ P(A\cup B)=P(A)+P(\overline{A}B)=P(AB)+P(A\overline{B})+P(\overline{A}B)\ \ &\ P(\overline{A}1|B)=1-P(A_1|B),P(A_1\cup A_2|B)=P(A_1|B)+P(A_2|B)-P(A_1A_2|B)\ &\ P(A_1A_2|B)=P(A_1|B)P(A_2|A_1B)\ \ &\ 若A_1,A_2,…A_n相独立, 则P(\bigcap{i=1}^{n}A_i)=\prod_{i=1}^{n}P(A_i), \ P(\bigcup_{i=1}^{n}A_i)=\prod_{i=1}^{n}(1-P(A_i)) \end{aligned} $$

随机变量及其分布

随机变量的概念

• 随机变量（Random variable）

  值随机会而定的变量, 研究随机试验的一串事件
  可按维数分为一维、二维至多维随机变量
  按性质可分为 离散型随机变量 以及 连续型随机变量

什么是随机变量？ 将事件与数值联系起来 表示随机试验各种结果的实值单值函数，可以用数学分析的方法来研究随机现象

• 分布（Distribution）

  事件之间的联系, 用来计算概率

• 示性函数（Indication function）

  $$ I_A(\omega) = \begin{cases} 1& \omega \in A \ 0& \text{反之} \end{cases} $$

  事件 $A$ 有随机变量 $I_A$ 表示出来, $I_A$ 称为事件 $A$ 的示性函数

离散型随机变量及其分布

• 离散型随机变量

  设 $X$ 为一随机变量, 如果 $X$ 只取有限个或可数个值, 则称 $X$ 为一个（一维）离散型随机变量。

离散随机变量 抛硬币：

• 概率函数

  设 $X$ 为一随机变量, 其全部可能值为 ${a_1, a_2,…}$, 则 $p_i=P(X=a_i),i=1,2,…$ 称为 $X$ 的概率函数。

• 概率分布

  离散型随机变量的概率分布可以用分布表来表示：

  可能值	$a_1$	$a_2$	…	$a_i$	…
  概率	$p_1$	$p_2$	…	$p_i$	…

• 概率分布函数

  • 定义

    设 $X$ 为一随机变量, 则函数 $F(X)=P(X\leq x)\quad(-\infty<x<\infty)$, 称为 $X$ 的分布函数

    这里并未限定 $X$ 为离散型的, 它对任何随机变量都有定义

  • 性质

    $F(x)$ 是单调非降的：当 $x_1<x_2$ 时, 有 $F(x_1)\leq F(X_2)$
    当 $x \rightarrow \infty$ 时, $F(x)\rightarrow1$
    当 $x \rightarrow-\infty$ 时, $F(x)\rightarrow0$

  • 离散型随机变量分布函数

    $$ \begin{aligned} & F(X) = P(X\leq x) = \sum_{{i|a_i\leq x}}p_i \ & p_i = P(X=i) = F(i)-F(i-1) \end{aligned} $$

• 二项分布（Bionomial distribution）

  • 定义

    设某事件 $A$ 在一次试验中发生的概率为 $p$, 先把试验独立地重复 n 次, 以 $X$ 记 $A$ 在这 n 次试验中发生的次数, 则 $X$ 取值 $0,1,…,n$, 且有

    $$ P(X=k)=\binom{n}{k}p^k(1-p)^{n-k},\quad k=0,1,…,n $$

    称 $X$ 服从二项分布, 记为 $X\sim B(n,p)$

  • 服从二项分布的条件

    1、各次试验的条件是稳定的, 即事件 $A$ 的概率 $p$ 在各次试验中保持不变
    2、各次试验的独立性

    抛硬币，要么正面，要么反面（两种情况）

• 泊松分布（Poisson distribution）

  • 定义

    设随机变量 $X$ 的概率分布为

    $$ P(X=i)=\frac{\lambda^i}{i!}e^{-\lambda},\quad i=0,1,2,…,\quad\lambda>0 $$

    则称 $X$ 服从参数为 $\lambda$ 的 Poisson 分布, 并记 $X\sim P(\lambda)$

  • 特点

    可以描述稀有事件发生概率
    若 $X\sim B(n,p)$, 其中 $n$ 很大, $p$ 很小, 而 $np=\lambda$ 不太大时（一般 $n>30,np\leq5$）, 则 $X$ 的分布接近泊松分布 $P(\lambda)$

    **推导：**若事件 $A\sim B(n,p)$, 且 $n$ 很大, $p$ 很小, 而 $np=\lambda$ 不太大时, 设 $\lambda=np$,

    $$ \begin{aligned} P(X=i)&=\lim_{n\rightarrow \infty}\binom{n}{i}(\frac{\lambda}{n})^i(1-\frac{\lambda}{n})^{n-i}\ &=\lambda^i\lim_{n\rightarrow \infty}\frac{\binom{n}{i}}{n^i}\lim_{n\rightarrow \infty}(1-\frac{\lambda}{n})^{n-i}\ &=\lambda^i e^{-\lambda}\lim_{n\rightarrow \infty}\frac{n(n-1)(n-2)…(n-i+1)}{i!n^i}\ &=\lambda^i e^{-\lambda}\lim_{n\rightarrow \infty}\frac{(1-\frac{1}{n})(1-\frac{2}{n})…(1-\frac{i-1}{n})}{i!}\ &=\frac{\lambda^i}{i!}e^{-\lambda} \end{aligned} $$

    是二项分布的极限情况
    一个产品已知有平均 4 个缺陷，将一个产品分为 10 个间隔（需要使得每个间隔仅能存在一个缺陷，故只有间隔无穷小的时候能满足所有情况），求一个产品中出现 0、1、2、…、n 个缺陷的概率，这些概率构成的分布即泊松分布
    要求事件发生独立同分布，两次时间发生互不影响

可以通过 无限细分的二项分布 推出来，求极限的话就是得到的结果就是泊松分布

$$ P(X=k) = \frac{\lambda^{k}}{k!} e^{-\lambda} $$

描述人群每分钟闯红灯的情况

• 超几何分布 从 $a$ 个白球和 $b$ 个黑球中抽取 $n$ 个球，那么以 $X$ 表示抽取出的白球的数目，它的分布律满足超几何分布 近似计算，$N$ 很大，$n/N$ 很小时可以转换成泊松分布？？？？？

• 01 分布

• 几何分布 前 $k-1$ 次均没发生，但是第 $k$ 次发生

• 二项分布 近似计算，当 $n>100$ 且 $np \leqslant 10$ 时，可以转换成泊松分布 $lambda=np$ ？？？？？

离散型随机变量函数的分布 已知 $X$ 的分布，求 $Y=3X+5$ 和 $Z=X^{2}$ 的分布

连续型随机变量及其分布

• 连续型随机变量

  设 $X$ 为一随机变量, 如果 $X$ 不仅有无限个而且有不可数个值, 则称 $X$ 为一个连续型随机变量

• 概率密度函数

  • 定义

    设连续型随机变量 $X$ 有概率分布函数 $F(x)$, 则 $F(x)$ 的导数 $f(x)=F’(x)$ 称为 $X$ 的概率密度函数

  • 性质

    • 对于所有的 $-\infty<x<+\infty$, 有 $f(x)\ge 0$；
    • $\int_{-\infty}^{+\infty}f(x)dx=1$；
    • 对于任意的 $-\infty<a\leq b<+\infty$, 有 $P(a\leq X\leq b)=F(b)-F(a)=\int_{a}^{b}f(x)dx$.

  注：
  对于任意的 $-\infty<x<+\infty$, 有 $P(X=x)=\int_{x}^{x}f(u)du=0$.
  假设有总共一个单位的质量连续地分布在 $a\leq x\leq b$ 上, 那么 $f(x)$ 表示在点 $x$ 的质量密度且 $\int_{c}^{d}f(x)dx$ 表示在区间 $[c, d]$ 上的全部质量

概率密度函数的某一个 $x$ 对应的值的意义是什么？ $x$ 对应的 $y$ 并不是概率的大小，因为 某个点的概率为 $0$ $x$ 对应的 $y$ 的值是取 $x$ 附近的概率值的大小，$P{x<X<x+\Delta x} \approx f(x)\Delta x$

• 概率分布函数

  设 $X$ 为一连续型随机变量, 则

  $$ F(x)=\int_{-\infty}^xf(u)du,\quad-\infty<x<+\infty $$

• 概率分布图
  曲线下方的面积为 1，横坐标是随机变量，纵坐标是概率密度

• 正态分布（Normal distribution）

  • 定义

    如果一个随机变量具有概率密度函数

    $$ f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},\quad -\infty<x<+\infty $$

    其中 $-\infty<\mu<+\infty,\ \sigma^2>0$, 则称 $X$ 为正态随机变量, 并记为 $X\sim N(\mu,\sigma^2)$.特别地, $\mu=0,\sigma=1$ 的正态分布称为标准正态分布。用 $\Phi(x)$ 和 $\phi(x)$ 表示标准正态分布 $N(0,1)$ 的分布函数和密度函数。

  • 性质

    • 正态分布的密度函数是以 $x=\mu$ 为对称轴的对称函数, $\mu$ 称为位置参数, 密度函数在 $x=\mu$ 处达到最大值, 在 $(-\infty,\mu)$ 和 $(\mu,+\infty)$ 内严格单调。
    • $\sigma$ 的大小决定了密度函数的陡峭程度, 通常称 $\sigma$ 为正态分布的形状参数。
    • 若 $X\sim N(\mu,\sigma^2)$, 则 $Y=(X-\mu)/\sigma\sim N(0,1)$.
    • $\Phi(-k)=1-\Phi(k)$

  • 密度和分布函数图

分布函数 $F(x) = P(X \leqslant x)$ 对离散型和连续型都成立，但是具体对离散型和连续型的求法不一样

• 指数分布（Exponential distribution）

  • 定义

    若随机变量 $X$ 具有概率密度函数

    $$ f(x)= \begin{cases} \lambda e^{-\lambda x}& x>0 \ 0& x\leq 0 \end{cases} =\lambda e^{-\lambda x}I_{(0,\infty)}(x) $$

    其中 $\lambda >0$ 为常数, 则称 $X$ 服从参数为 $\lambda$ 的指数分布。

  • 概率分布函数

    $$ F(x) = \begin{cases} 1-e^{-\lambda x} & x>0 \ 0 & x\leq 0 \end{cases} =(1-e^{-\lambda x})I_{(0,\infty)}(x) $$

  • 性质

    无后效性, 即无老化, 用来描述寿命（如元件等）的分布
    “无老化”就是说在时刻 $x$ 正常工作的条件下, 其失效率总保持为某个常数 $\lambda>0$, 与 $x$ 无关, 可表示为

    $$ P(x\leq X\leq x+h|X>x)/h=\lambda\quad(h\rightarrow0) $$

    证明：

    $$ \begin{aligned} &\lim_{h\rightarrow0}\frac{P(x\leq X\leq x+h|X>x)}{h}\ =&\lim_{h\rightarrow0}\frac{P(x\leq X\leq x+h,X>x)}{P(X>x)h}\ =&\lim_{h\rightarrow0}\frac{P(x< X\leq x+h)}{P(X>x)h}\ =&\lim_{h\rightarrow0}\frac{-e^{-\lambda t}|^{x+h}{x}}{-e^{-\lambda t}|^{\infty}{x}h}\ =&\lim_{h\rightarrow0}\frac{e^{-\lambda x}-e^{-\lambda x-\lambda h}}{e^{-\lambda x}h}\ =&\lim_{h\rightarrow0}\frac{1-\frac{1}{e^{xh}}}{h}\ =&\lim_{h\rightarrow0}\lambda e^{-\lambda h}\ =&\lambda \end{aligned} $$

    $\lambda$ 为失效率, 失效率越高, 平均寿命就越小

  • 密度函数

指数分布 $X \sim \text{Exp}(\lambda)$

$$ F(x; \lambda) = \begin{cases} \ 1-e^{-\lambda x} &, x \geqslant 0 \ \ 0 &, x < 0 \end{cases} $$

应用：半导体器件的抽验方案都是采用指数分布；还用来描述大型复杂系统（如计算机）的平均故障间隔时间 MTBF 的失效分布

• 指数分布
  $P(Y \gt t)=e^{-\lambda t}$
  $P(x=0, t)=\frac{(\lambda t)^{0}}{0!} e^{-\lambda t}=e^{-\lambda t}$

• 均匀分布（Uniform distribution）

  • 定义

    设 $a<b$, 如果分布 $F(x)$ 具有密度函数

    $$ f(x)= \begin{cases} \frac{1}{b-a} & a\leq x\leq b \ 0 & 其它 \end{cases} =\frac{1}{b-a}I_{(a,b)}(x) $$

    则该分布为区间 $[a,b]$ 上的均匀分布

  • 概率分布函数

    $$ F(x) = \begin{cases} 0 & x\leq a \ \frac{x-a}{b-a} & a<x\leq b\ 1 & x>b \end{cases} $$

  • 性质

    $\forall R(c,d) \subset R(a,b),\ P(c<X<d)=\frac{d-c}{b-a}$

连续型随机变量函数的分布 设随机变量 $X$ 的概率密度函数为 $f_{X(x)}$，并假设 $y=g(x)$ 及其 一阶导数是连续 函数，则 $Y=g(X)$ 是连续型随机变量，现在来求 $Y$ 的概率密度函数 $f_{Y(x)}$ 第一步：建立随机变量 $Y$ 的分布函数 $F_{Y(x)}$ 与 $X$ 的分布函数 $F_{X(x)}$ 之间的关系，或者求出随机变量 $Y$ 的分布函数 $F_Y(x)$ 第二步：对 $F_{Y(x)}$ 求导便得 $f_{Y(x)}$ 例子 设随机变量 $X$ 的概率密度函数为 $f_{X(x)}$，$Y=3X+2$，求 $Y$ 的概率密度函数 $f_{Y(x)}$ 1、建立随机变量 $Y$ 的概率分布函数 $F_{Y(x)}$ 与 $X$ 的概率分布函数 $F_{X(x)}$ 之间的关系：

$$ F_{Y(x)} = P{Y \leqslant x} = P{3X+2 \leqslant x} = P{X \leqslant (x-2)/3} = F_{X((x-2)/3)} $$

2、两边求导：

$$ f_{Y(x)} = 1/3*f_{X((x-2)/3)} $$

3、如果知道 $f_{X(x)}$，直接将它替换成 $f_{Y(x)}$ 即可，例如若

$$ f_{X(x)} = 1/4，(0 \leqslant x \leqslant 4) $$

那么对应的

$$ f_Y(x)=1/3*1/4，(0 \leqslant (x-2)/3 \leqslant 4) $$

分布函数 $F(x)$ 和概率密度函数 $f(x)$ 的关系 分布函数 求导 是概率密度函数 概率密度函数 积分 是分布函数 概率密度函数积分是求面积，那么自然结果是分布函数

多维随机变量（随机向量）

二维随机变量及其分布函数 设 $E$ 是随机试验，其样本空间为 $Ω$，$X$、$Y$是定义在 $Ω$ 上试验 $E$ 的两个随机变量 称以 $x$、$y$ 为分量的向量 $(X,Y)$ 为试验 $E$ 的二维随机变量，或称二维随机向量 比如研究人的身高体重，身高体重就是 $(X,Y)$ 向量 设 $x$、$y$ 为任意实数，二元函数 $F(x,y) = P{X \leqslant x,Y \leqslant y}$ 称为 二维随机变量 $(X,Y)$ 的分布函数，或称为 $X$ 与 $Y$ 的 联合分布函数

$F(X,Y)$ 的值即左下角区域的 面积

• 随机向量

  设 $X={X_1,…,X_n}$, 如果每个 $X_i$ 都是一个随机变量, $i=1,…,n$, 则称 $X$ 为 $n$ 维随机变量或者随机向量

• 离散型随机向量的分布

  如果每一个 $X_i$ 都是一个离散型随机变量, $i=1,…,n$, 则称 $X={X_1,…,X_n}$ 为一 $n$ 维离散型随机变量
  设 $X_i$ 的所有可能取值为 ${a_{i1},a{i2},…},\quad i=1,…,n$, 则称

  $$ p(j_1,…,j_n)=P(X_1=a_{1j_1},…,X_n=a_{nj_n}),\quad j_1,…,j_n=1,2,… $$

  为 $n$ 维随机变量 $X$ 的概率函数, 这也是其联合分布。

  其具有下列性质：

  • $p(j_1,…,j_n)\geq0,\quad j_i=1,2,…,\quad i=1,2,…,n;$
  • $\sum_{j_1,…,j_n}p(j_1,…,j_n)=1.$

  对于高维离散型随机变量, 一般不使用分布函数

• 多项式分布

  • 定义

    设 $A_1,A_2,…,A_n$ 是某一试验之下的完备事件群, 分别以 $p_1,p_2,…,p_n$ 记事件 $A_1,A_2,…,A_n$ 的概率, 则 $p_i\geq 0,\quad p_1+…+p_n=1$
    将试验独立地重复 $N$ 次, 以 $X_i$ 记在这 $N$ 次试验中事件 $A_i$ 出现的次数 $(i=1,…,n)$, 则 $X=(X_1,…,X_n)$为一个 $n$ 维随机向量
    该分布记作 $M(N;p_1,…,p_n)$

  • 概率分布函数

    $P(X_1=k_1,X_2=k_2,…,X_n=k_n)=\frac{N!}{k_1!k_2!…k_n!}p_1^{k_1}p_2^{k_2}….p_n^{k_n}$

• 连续型随机向量的分布

  $X={X_1,…,X_n}$为 $n$ 维连续型随机变量, 如果存在 $\R^n$ 上的非负函数 $f(x_1,…,x_n)$
  使得对任意的$-\infty < a_1 \leq b_1 < +\infty,…,-\infty < a_n \leq b_n < +\infty$, 有

  $$ P(a_1\leq X_1 \leq b_1,…,a_n\leq X_n\leq b_n)=\int_{a_n}^{b_n} …\int_{a_1}^{b_1}f(x_1,…,x_n)dx_1…dx_n $$

  则称为 $f$ 为 $X$ 的概率密度函数。有

  $$ P(a_1\leq X_1 \leq b_1,…,a_n\leq X_n\leq b_n)=F(x_1,…,x_n) $$

  则称为 $F$ 为 $X$ 的（联合）分布函数。其中分布函数 $F(X_1,…,X_n)$ 具有下述性质：

  • $F(x_1,…,x_n)$ 单调非降；
  • 对任意的 $1\leq j \leq n$, 有 $\lim_{x_j\rightarrow-\infty F(x_1,…,x_n)}=0$；
  • $\lim_{x_1\rightarrow\infty,…,x_n\rightarrow\infty}F(x_1,…,x_n)=1$

• 边缘分布

  因为 $X$ 的每个分量 $X_i$ 都是一维随机变量, 故它们都有各自的分布 $F_i\ (i=1,…,n)$, 这些都是一维分布, 称为随机向量 $X$ 或其分布 $F$ 的边缘分布。

  • 离散型随机向量

    行和与列和就是边缘分布。即固定某个 $x_i$, 即可计算边缘分布, 故有

    $$ p_X(x_i)=P(X=x_i)=\sum_{j}^{m}P(X=x_i,Y=y_j)=\sum_{j}^{m}p_{ij}=p_{i\cdot},\quad i=1,2,…,n\ p_Y(y_i)=P(Y=y_i)=\sum_{i}^{m}P(X=x_i,Y=y_j)=\sum_{i}^{m}p_{ij}=p_{j\cdot},\quad j=1,2,…,n $$

  • 连续型随机向量

    为求某分量 $X_i$ 的概率密度函数, 只需把 $f(x_1,…,x_n)$ 中的 $x_i$ 固定, 然后对$x_1,…,x_{i-1},x_{i+1},…,x_n$ 在 $-\infty$ 到 $\infty$ 之间做定积分, 如

    $$ (X,Y)\sim f(x, y)\ f_X(u)=\int^{+\infty}{-\infty}f(u,v)dv\ f_Y(u)=\int^{+\infty}{-\infty}f(u,v)du\ $$

  二维正态分布 $N(a,b,\sigma_1^2,\sigma_2^2,\rho )$ 的边缘分布密度分别是一维正态分布 $N(a,\sigma_1^2)$ 和 $N(b,\sigma_2^2)$
  因此联合分布可推边缘分布, 而边缘分布不可推联合分布

二维离散型的联合分布和边缘分布 联合分布：随机变量 $(X,Y)$ 的概率分布函数为联合分布

二维连续型的联合分布和边缘分布 联合分布

$$ F(x,y) = P{X \leqslant x, Y \leqslant y} = \int_{-\infty}^{x} \int_{-\infty}^{y} f(u,v) dudv $$

其中 $f(u,v)$ 是联合密度函数 边缘分布 利用联合密度函数，$X$ 的边缘就对 $y$ 积分，$Y$ 的边缘就对 $x$ 积分

$$ f_{X}(x) = \int_{-\infty}^{+\infty} f(x,v) dv = \int_{-\infty}^{+\infty} f(x,y) dy $$

独立性： 若边缘分布相乘等于联合分布，则说明变量之间是独立的，反之不独立，例如

条件分布和随机变量的独立性

条件分布 在 某条件之下发生的分布 比如身高限定在 1.7m，看体重的分布 样本空间会发生改变 1、离散型 随机变量

$$ f(x | y) = \frac{f(x,y)}{f_{Y}(y)} \ F(x | y) = \int_{-\infty}^{x} \frac{f(u,y)}{f_{Y}(y)} du $$

• 离散型随机变量的条件分布

  设 $(X,Y)$ 为二维离散型随机变量, 对于给定的事件 ${Y=y_j}$, 其概率 $P(Y=y_j)>0$, 则称

  $$ P(X=x_i|Y=y_j)=\frac{P(X=x_i,Y=y_j)}{P(Y=y_j)}=\frac{p_{ij}}{p_{\cdot j}},\quad i=1,2,… $$

  为在给定 $Y=y_j$ 的条件下 $X$ 的条件分布律。类似的, 称

  $$ P(Y=y_i|X=x_j)=\frac{P(X=x_i,Y=y_j)}{P(X=x_j)}=\frac{p_{ij}}{p_{i\cdot}},\quad j=1,2,… $$

  为在给定 $X=x_j$ 的条件下 $Y$ 的条件分布律。

• 连续型随机变量的条件分布

  设 $(X,Y)$ 为二维连续型随机变量, 对于给定条件 $Y=y$ 下的条件概率密度为

  $$ f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}, \quad f_Y(y)>0.\ $$

  类似的, 在 $X=x$ 下的条件概率密度为

  $$ f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}, \quad f_X(x)>0.\ $$

  二维正态分布 $\rho=0$ 时, 其联合密度分布等于条件密度分布的乘积。

• 随机变量的独立性

  称随机变量 $X_1, …,X_n$ 相互独立

  • 离散型随机变量

    则联合分布律等于各自的边缘分布律的乘积, 即

    $$ P(X_1=x_1,…,X_n=x_n)=P(X_1=x_1)…P(X_n=x_n) $$

    其中 $(x_1,…x_n)$ 为 $(X_1,…,X_n)$ 的值域中的任意一点。

  • 连续型随机变量

    则联合密度等于各自的边缘密度的乘积, 即

    $$ f(x_1,…,x_n)=f_1(x_1)…f_n(x_n),\quad \forall(x_1,…,x_n)\in \R ^n $$

  • 更具一般地

    设 $X_1,…,X_n$ 为 $n$ 个随机变量, 如果它们的联合分布函数等于各自边缘分布函数的乘积, 即

    $$ F(X_1, …,x_n)=F_1(x_1)…F_n(x_n),\quad \forall (x_1,…,x_n)\in \R^n $$

    则称随机变量 $X_1, …,X_n$ 相互独立。

一些重要的结论

随机变量的函数的概率分布

最简单的情形, 是由一维随机变量 $X$ 的概率分布去求其一给定函数 $Y=g(X)$ 的分布
较为常见的, 是由 $(X_1,X_2,…,X_n)$ 的分布去求 $Y=g(X_1,X_2,…,X_n)$ 的分布
更一般地, 由 $(X_1,X_2,…,X_n)$ 的分布去求 $(Y_1,Y_2,…,Y_m)$ 的分布, 其中 $Y_i=g_i(X_1,X_2,…,X_n),\quad i=1,2,…,m$

• 离散型分布的情形

  设 $X$ 的分布律为 $P(X=x_i)=p_i,\quad i=1,2,…$

  $g:R\rightarrow R$, 令 $Y=g(X)$, 则 $Y$ 的分布律为

  $$ P(Y=y_j)=P(g(X)=y_j)=\sum_{x_i:g(x_i)=y_j}P(X=x_i)=\sum_{i:g(x_i)=y_j}p_i $$

  即把 $Y=g(X_1,…,X_n)$ 可以取的不同值找出来, 把与某个值相应的全部 $(X_1,…,X_n)$ 值的概率加起来, 即得 $Y$ 取这个值的概率。

二维离散型 随机变量函数 的分布

• 连续型分布的情形

  • 一个变量的情况

    设 $X$ 有密度函数 $f(x)$.设 $Y=g(x)$, $g$ 是一个严格单调的函数, 即当 $x_1<x_2$ 时, 必有 $g(x_1)<g(x_2)$ 或当 $x_1>x_2$ 时, 必有 $g(x_1)>g(x_2)$.又设 $g$ 的导数 $g’$ 存在。由于 $g$ 的严格单调性, 其反函数 $X=h(Y)$ 存在, 且 $h$ 的导数 $h’$ 也存在。有 $g(X)$ 的密度函数 $l(y)$ 为

    $$ l(y)=f(h(y))|h’(y)|. $$

  • 多个变量的情形

    以两个为例, 设 $(X_1,X_2)$ 的密度函数 $f(x_1,x_2)$, $Y_1,Y_2$ 都是 $(X_1,X_2)$ 的函数：

    $$ Y_1=g_1(X_1,X_2),\quad Y_2=g_2(X_1,X_2), $$

    要求 $(Y_1,Y_2)$ 的概率密度函数 $l(y_1,y_2)$.假定 $(X_1,X_2)$ 到 $(Y_1,Y_2)$ 的一一对应变换有逆变换：

    $$ X_1=h_1(Y_1,Y_2),\quad X_2=h_2(Y_1,Y_2) $$

    即雅可比行列式

    $$ J(y_1,y_2)=\begin{vmatrix} \partial h_1/\partial y_1&\partial h_1/\partial y_2 \ \partial h_2/\partial y_1&\partial h_2/ \partial y_2 \end{vmatrix} $$

    不为 0.在 $(Y1,Y2)$ 的平面上任取一个区域 $A$, 变换后到 $(X_1,X_2)$ 平面的区域 $B$, 则有

    $$ P((Y_1,Y_2)\in A)=P((X_1,X_2)\in B)=\iint_Bf(x_1,x_2)dx_1dx_2\ P((Y_1,Y_2)\in A)=\iint_Af(h_1(y_1,y_2),h_2(y_1,y_2))|J(y_1,y_2)|dy_1dy_2 $$

密度函数

• 随机变量和的密度函数

  设 $(X_1,X_2)$ 的联合密度函数为 $f(x_1,x_2)$, $Y=X_1+X_2$ 的密度函数：

  • 一般的, $l(y)=\int_{-\infty}^\infty f(x_1,y-x_1)dx_1=\int_{-\infty}^\infty f(x,y-x)dx$.

  • 若 $X_1,X_2$ 独立, 则 $l(y)=\int_{-\infty}^\infty f_1(x)f_2(y-x)dx=\int_{-\infty}^\infty f_1(y-x)f_2(x)dx$.

  两个独立的正态变量的和仍服从正态分布, 且有关的参数相加, 其逆命题也成立。

• 随机变量商的密度函数

  设 $(X_1,X_2)$ 的联合密度函数为 $f(x_1,x_2)$, $Y=X_1/X_2$ 的密度函数：

  • 一般的, $l(y)=\int_{0}^\infty x_1f(x_1,x_1y)dx_1$.

  • 若 $X_1,X_2$ 独立, 则 $l(y)=\int_{0}^\infty x_1f_1(x_1)f_2(x_1y)dx_1$.

统计学三大分布

引入两个重要的特殊函数：

$$ \begin{aligned} \Gamma(x) & = \int_0^\infty e^{-t}t^{x-1}dt\quad (x>0) \ B(x,y) & = \int_0^1t^{x-1}(1-t)^{y-1}dt\quad (x>0,y>0) \end{aligned} $$

其中

$$ \begin{aligned} & \Gamma(1)=1,\quad \Gamma(1/2)=\sqrt{\pi},\quad \Gamma(n)=(n-1)! \ & B(x,y)=\Gamma(x)\Gamma(y)/\Gamma(x+y) \end{aligned} $$

• 卡方分布, 记作 $\chi_n^2$

  密度函数：$k_n(x)=\frac{1}{\Gamma(\frac{n}{2}2^{n/2})}e^{-x/2}x^{(n-2)/2}I_{(0,\infty)}(x)$

  • 性质

    1、设 $X_1,X_2$ 独立, $X_1\sim\chi_m^2,X_2\sim\chi_n^2$, 则 $X_1+X_2\sim\chi_{m+n}^2$
    ​2、若 $X_1,…,X_n$ 独立, 且都服从指数分布, 则 $X=2\lambda(X_1+…+X_n)\sim\chi_{2n}^2$

• $t$ 分布, 记作 $t_n$

  设 $X_1, X_2$ 独立, $X_1\sim\chi_n^2,X_2\sim N(0,1)$, 而 $Y=X_2/\sqrt{X_1/n}$, 则 $Y\sim t_n$
  密度函数：$t_n(y)=\frac{\Gamma((n+1)/2)}{\sqrt{n\pi}\Gamma(n/2)}(1+\frac{y^2}{n})^{(\frac{n+1}{2})}$
  性质：密度函数关于原点对称, 其图形与正态分布 $N(0,1)$ 的密度函数的图形相似

• $F$分布, 记作 $F_{mn}$

  设 $X_1,X_2$ 独立, $X_1\sim\chi_n^2,X_2\sim\chi_m^2$, 而 $Y=m^{-1}X_2/(n^{-1}X_1)$, 则 $Y\sim F_{mn}$
  密度函数：$f_{mn}(y)=m^{m/2}n^{n/2}\frac{\Gamma(\frac{m+n}{2})}{\Gamma(\frac{m}{2})\Gamma(\frac{n}{2})}y^{m/2-1}(my+n)^{-(m+n)/2}\quad (y>0)$

• 几个重要性质

  1、设 $X_1,…,X_n$ 独立同分布, 有公共的正态分布 $N(\mu,\sigma^2)$.记 $\bar{X}=(X_1+…+X_n),S^2=\sum_{i=1}^{n}(X_i-\bar(X))^2/(n-1)$.则 $(n-1)S^2/\sigma^2=\sum_{i=1}^{n}(X_i-\bar{X})^2/\sigma^2\sim\chi_{n-1}^{2}$.

  2、设 $X_1,…,X_n$ 的假定同 1, 则 $\sqrt{n}(\bar{X}-\mu)/S\sim t_{n-1}$

  3、设 $X_1,…,X_n,Y_1,…,Y_m$ 独立, $X_i$ 各有分布 $N(\mu1,\sigma_1^2)$, $Y_j$ 各有分布 $N(\mu_2,\sigma_2^2)$, 则

  $$ ^{\sum_{j=1}^m(Y_j-\bar{Y})^2/(\sigma_2^2(m-1))}/_{\sum_{i=1}^n(X_i-\bar{X})^2/(\sigma_1^2(n-1))}\sim F_{m-1,n-1} $$

  若 $\sigma_1^2=\sigma_2^2$, 则

  $$ \sqrt{\frac{nm(n+m-2)}{n+m}}^{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}/_{\sum_{i=1}^{n}(X_i-\bar{X})^2+\sum_{j=1}^m(Y_j-\bar{Y})^2}^{1/2}\sim t_{n+m-2} $$

随机变量的数字特征

数学期望（均值）与中位数

数学期望

• 定义

  设随机变量 $X$ 只取有限个可能值$a_1,…,a_m$, 其概率分布为 $P(X=a_i)=p_i\ (i=1,…,m)$
  则 $X$ 的数学期望记作 $E(X)^*$ 或 $E(X)$, 定义为 $E(X)=a_1p_1+a_2p_2+…+a_mp_m$
  数学期望也常称为”均值“, 即指以概率为权的加权平均

• 离散型变量的数学期望

  $E(X)=\sum^\infty_{i=1}a_ip_i.$（当级数绝对收敛, 即 $\sum_{i=1}^\infty|a_i|p_i<\infty$）

离散型变量的数学期望 对 $x_{i}p_{i}$ 求和 连续型变量的数学期望 对 $xf(x)$ 求积分，$x$ 是取值，$f(x)$ 是概率

• 连续型变量的数学期望

  $E(X)=\int_{-\infty}^\infty xf(x)dx$.（当 $\int_{-\infty}^\infty |x|f(x)dx<\infty$）

随机变量函数 的数学期望 已知 $x$ 的期望，此时 $Y=g(x)$，求 $Y$ 的期望 直接把公式里面的 $x$ 换成 $g(x)$

• 常见分布的数学期望

  • 泊松分布：$E(X)=\lambda$.
  • 二项分布：$E(X)=np$.
  • 均匀分布：$E(X)=\frac{1}{2}(a+b)$.
  • 指数分布：$E(X)=\lambda^{-1}$.
  • 正态分布：$E(X)=\mu$.
  • 卡方分布：$E(X)=n$.
  • $t$ 分布：$E(X)=0 \quad (n>1)$.
  • $F$分布：$E(X)=n/(n-2)\quad (n>2)$.

• 性质

  • 若干个随机变量之和的期望等于各变量的期望值和, 即

    $$ E(X_1+X_2+…+X_n)=E(X_1)+E(X_2)+…+E(X_n). $$

  • 若干个 独立 随机变量之积的期望等于各变量的期望之积, 即

    $$ E(X_1X_2…X_n)=E(X_1)E(X_2)…E(X_n). $$

  • 设随机变量 $X$ 为离散型, 有分布 $P(X=a_i)=p_i(i=1,2,…)$；或者为连续型, 有概率密度函数 $f(x)$.则

    $$ E(g(x))=\sum_ig(a_i)p_i\quad (当\sum_i|g(a_i)|p_i<\infty时) \ 或\ E(g(x))=\int_{-\infty}^\infty g(x)f(x)dx \quad (当\int_{-\infty}^{\infty}|g(x)|f(x)dx<\infty时) $$

  • 若 $c$ 为常数, 则 $E(cX)=cE(X)$.

条件数学期望

• 定义

  随机变量 $Y$ 的条件期望就是它在给定的某种附加条件下的数学期望。$E(Y|x)=\int_{-\infty}^{\infty}yf(y|x)dy$
  它反映了随着 $X$取值 $x$ 的变化 $Y$ 的平均变化的情况如何
  在统计上, 常把条件期望 $E(Y|x)$ 作为 $x$ 的函数, 称为 $Y$ 对 $X$ 的回归函数

• 性质

  • $E(Y)=\int_{-\infty}^{\infty}E(Y|x)f_X(x)dx$.
  • $E(Y)=E[E(Y|X)]$.

条件期望 两个变量，一个变量取定了某个值的前提下，另一个变量的期望 离散 $E(X|Y=y_{j}) = x_{i}P(X=x_{i}|y=y_{j})$ 连续 $E(X|Y=y_{j}) = yf(x|y)dx$

中位数

• 定义 设连续型随机变量 $X$ 的分布函数为 $F(x)$, 则满足条件 $P(X\leq m)=F(m)=1/2$ 的数 $m$ 称为 $X$ 或分布 $F$ 的中位数
  即 $m$ 这个点把 $X$ 的分布从概率上一切两半

• 性质

  • 与期望值相比, 中位数受特大值或特小值影响很小, 而期望不然
  • 中位数可能不唯一, 且在某些离散型情况下, 中位数不能达到一分两半的效果

方差与矩

方差与标准差

• 定义

  设 $X$ 为随机变量, 分布为 $F$, 则 $Var(X)=E(X-EX)^2$ 称为 $X$（或分布 $F$）的方差
  其平方根 $\sqrt{Var(X)}$（取正值）称为 $X$（或分布 $F$）的标准差

方差 $D(X) = E[(X-EX)^2]$ 离散 连续 标准差即再开根号 $D(X) = E(X^2)-E(X)^2$

• 标准差和标准误差
  标准差：是 数据精密度 的衡量指标，反映了整个样本对样本平均数的离散程度，即就是样本数据的离散程度，重点是样本
  标准误差：是量度 结果精密度 的指标，反映样本平均数对总体平均数的变异程度，表示的是抽样的误差，代表的就是样本平均数与总体均数的相对误差，重点是样本和总体

• 常见分布的方差

  • 泊松分布：$Var(X)=\lambda$.
  • 二项分布：$Var(X)=np(1-p)$.
  • 正态分布：$Var(X)=\sigma^2$.
  • 指数分布：$Var(X)=1/\lambda^2$.
  • 均匀分布：$Var(X)=(b-a)^2/12$.
  • 卡方分布：$Var(X)=2n$.
  • $t$ 分布：$Var(X)=n/(n-2)$.
  • $F$ 分布：$Var(X)=2n^2(m+n-2)/[m(n-2)^2(n-4)]\quad (n>4)$.

• 性质

  • $Var(X)=E(X^2)-(EX)^2$.
  • 常数的方差为 0, 即 $Var(c)=0$.
  • 若 $c$ 为常数, 则 $Var(X+c)=Var(X)$.
  • 若 $c$ 为常数, 则 $Var(cX)=c^2Var(X)$.
  • 独立 随机变量和的方差等于各变量方差和, 即 $Var(X_1+…+X_n)=Var(X_1)+…+Var(X_n)$.

常见分布的期望和方差

矩

• 定义

  设 $X$ 为随机变量, $c$ 为常数, $k$ 为正整数。则量 $E[(X-c)^k]$ 称为 $X$ 关于 $c$ 点的 $k$ 阶矩
  特别地, 有两种重要的情况：

  (1) $c=0$ .这时 $a_k=E(X^k)$ 称为 $X$ 的 $k$ 阶原点矩
  (2) $c=E(X)$.这时 $\mu_k=E[(X-EX)^k]$ 称为 $X$ 的 $k$ 阶中心矩

  一阶原点矩就是期望, 一阶中心距 $\mu_1=0$
  二阶中心距 $\mu_2$ 就是 $X$ 的方差 $Var(X)$

中心矩与原点矩 原点矩以原点为中心：$E[(X-0)^{k}]=E(X^{k})$，期望是 $E(X)$，所以 期望是一阶原点矩 几何图形的重心 中心矩以 $E(X)$ 为中心：$E[(X-E(X))^k]$，一阶中心距 $E[(X-EX)^1]=E(X)-E(X)=0$；二阶中心距 $E[(X-E(X))^2]$ 就是方差

• 两种重要应用

  • 偏度系数

    $\beta_1=\mu_3/\mu_2^{3/2}$
    衡量概率分布函数 $f(x)$ 是否关于均值对称
    如果 $\beta>0$, 则称分布为正偏或右偏；如果 $\beta<0$, 则称分布为负偏或左偏；如果 $\beta=0$, 则对称
    （注：$\mu_2^{3/2}$ 为标准差的三次方, 可将 $\mu_3$ 缩放到一次因次）

  • 峰度系数

    $\beta_2=\mu_4/\mu_2^2$
    衡量概率分布函数 $f(x)$ 在均值附近的陡峭程度
    若 $X$ 有正态分布 $N(\mu,\sigma^2)$, 则 $\beta_2=3$
    (注：$\mu_2^2$ 为标准差的四次方, 将 $\mu_4$ 缩放到一次因次。为了迁就正态分布, 也常定义 $\mu_4/\mu_2^2-3$ 为峰度系数, 以使正态分布的峰度系数为 0)

协方差与相关系数

两者都反映了随机变量之间的关系

• 协方差（Covariance）

  • 定义

    称 $E[(X-m_1)(Y-m_2)]$ 为 $X$, $Y$ 的协方差, 并记为 $Cov(X,Y)$.

  • 性质

    • $Cov(X,Y)$ 与 $X,Y$ 的次序无关, 即 $Cov(X,Y)=Cov(Y,X)$.
    • $Cov(c_1X+c_2,c_3Y+c_4)=c_1c_3Cov(X,Y)$.
    • $Cov(X,Y)=E(XY)-E(X)E(Y)$.
    • 若 $X,Y$ 独立, 则 $Cov(X,Y)=0$.
    • $[Cov(X,Y)]^2\leq \sigma_1^2\sigma_2^2$.等号当且仅当 $X,Y$ 之间有严格线性关系（$Y=a+bX$）时成立。

  协方差的结果受随机变量量纲影响

协方差

$$ \begin{aligned} Cov(X,Y) = ,& E[(X-EX)(Y-EY)] \ = ,& E[XY-XE(Y)-YE(X)+E(X)E(Y)] \ = ,& E(XY) - E(X)E(Y) - E(X)E(Y) + E(X)E(Y) \ = ,& E(XY)-E(X)E(Y) \end{aligned} $$

【协方差表示两变量的关系】：两个变量在变化过程中是同方向变化？还是反方向变化？同向或反向程度如何？ 【相关系数看做特殊协方差】：相关系数 $\rho = \frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}} = \frac{E(XY)-E(X)E(Y)}{\sqrt{D(X)D(Y)}}$，是一种剔除了两个变量量纲影响、标准化后的特殊协方差

• 相关系数（Correlation coefficient）

  • 定义

    称 $Cov(X,Y)/(\sigma_1\sigma_2)$ 为 $X,Y$ 的相关系数, 并记为 $Corr(X,Y)$.

  • 性质

    • 若 $X,Y$ 独立, 则 $Corr(X,Y)=0$.
    • $-1\leq Corr(X,Y)\leq 1$, 或 $|Corr(X,Y)\leq 1|$, 等号当且仅当 $X$ 和 $Y$ 有严格线性关系时达到。当 $Corr(X,Y)=0$ 时, 推出 $X,Y$ 不线性相关。

  相关系数常称为“线性相关系数”, 实际上相关系数并不是刻画了 $X,Y$ 之间 消除量纲后 “一般”关系的程度, 而只是“线性关系的程度”
  即使 $X$ 与 $Y$ 有某种严格的函数关系但非线性关系, $|Corr(X,Y)|$ 不仅不必为 1, 还可以为 0

• 协方差和相关系数
  协方差：$\frac{\sum(X_{i}-\mu_{1})(Y_{j}-\mu_{2})}{N} = E[(X-\mu_{1})(Y-\mu_{2})]$
  用于描述两个变量的相关程度，绝对值越大越相关，正负号表示正或者负相关

  相关系数：$\frac{E[(X-\mu_{1})(Y-\mu_{2})]}{\sigma*{1}\sigma*{2}} $
  协方差的标准化

• 自相关系数
  $r=\frac{\sum_{i=1}^{N}(Y_{i}-\bar{Y})(Y_{i-1}-\bar{Y})}{\sum_{i=0}^{N}(Y_{i}-\bar{Y})(Y_{i}-\bar{Y})}$
  分母相当于做标准化
  假设现在要研究一个家族男性身高是否和父辈有关系，那么 $Y_{i}$ 可以看作是 $Y_{i-1}$ 的儿子的身高

大数定理和中心极限定理

• 大数定理

  “大数”的意思, 就是指涉及大量数目的观察值 $X_i$, 它表明这种定理中指出的现象只有在大量次数的试验和观察之下才能成立

  • 定义

    设 $X_1,X_2,…,X_n,…$ 是独立同分布的随机变量, 记它们的公共均值为 $a$.又设它们的方差存在并记为 $\sigma^2$
    则对任意给定的 $\varepsilon >0$, 有 $lim_{n\rightarrow\infty}P(|\bar{X}_n-a|\geq \varepsilon )=0$
    （该式表明, 当 $n$ 很大时, $\bar{X}_n$ 接近 $a$）

切比雪夫不等式：事件大多会集中在平均值附近 期望和方差存在的时候

$$ P(|X-EX| \geqslant \varepsilon) \leqslant \frac{DX}{\varepsilon_{2}} \ \text{等价于} \ P(|X-EX| < \varepsilon) \geqslant 1- \frac{DX}{\varepsilon_{2}} $$

切比雪夫大数定律 变量均值收敛于期望均值

$$ \displaystyle \lim_{ n \to \infty } P{ \left| \frac{1}{n} \sum_{i=1}^{n} X_{i} - \frac{1}{n} \sum_{i=1}^{n} E(X_{i}) \right| < \varepsilon } =1 $$

• 中心极限定理

  即和的分布收敛于正态分布

  • 定义

    设 $X_1,X_2,…,X_n$ 为独立同分布的随机变量, $E(X_i)=a,Var(X_i)=\sigma^2(0<\sigma^2<\infty)$
    则对任何实数 $x$, 有 $lim_{n\rightarrow\infty}P(\frac{1}{\sqrt{n}\sigma}(X_1+…+X_n-na)\leq x)=\Phi(x)$
    （$\Phi(x)$ 为标准正态分布 $N(0,1)$ 的分布函数）

  • 特例

    设 $X_1,X_2,…,X_n$ 独立同分布, $X_i$ 分布是 $P(X_i=1)=p$, $P(X_i=0)=1-p\ (0<p<1)$
    则对任何实数 $x$, 有 $lim_{n\rightarrow \infty}P(\frac{1}{\sqrt{np(1-p)}}(X_1+…+X_n-np)\leq x)=\Phi(x)$.

    注： 如果 $t_1,t_2$ 是两个正整数, $t_1<t_2$.则当 $n$ 相当大时, 近似地有

    $$ P(t_1\leq X_1+…+X_n\leq t_2)\approx \Phi(y_2)-\Phi(y_1), $$

    其中

    $$ y_i=(t_i-np)/sqrt{np(1-p)}\quad (i=1,2). $$

    若把 $y_1,y_2$ 修正为

    $$ y_1=(t_1-\frac{1}{2}-np)/\sqrt{np(1-p)},\ y_2=(t_2-\frac{1}{2}-np)/\sqrt{np(1-p)} $$

    在应用上式, 则一般可提高精度。

中心极限定理 大量独立同分布的变量和的极限分布是正态分布 如果样本量足够大，则变量 均值的采样分布 将 近似于正态分布，而与该变量在总体中的分布无关 标准化之后，期望为 $0$，方差为 $1$，没标准化的话，期望为为 $nμ$，方差为 $nσ^{2}$

• 中心极限定理
  从总体中抽取许多的样本，每个样本计算得到样本均值
  将样本均值绘制成曲线，得到均值分布
  均值分布的均值会随诊样本量的增加越来越接近总体均值
  均值分布的标准差叫做标准误，且有：$\sigma^{’}=\frac{\sigma}{\sqrt{n}}$

统计量及其分布

总体与样本

总体就是全体集合 样本就是抽出的样本

样本变量是 $X_{i}$ 样本观测值是 $x_{i}$

统计量 不含任何未知参数的样本的函数 需要通过样本去 构造 函数 常用统计量：均值、样本方差、标准差、原点矩、中心距等

• 总体

  在一个统计问题里, 研究对象的全体叫做总体, 构成总体的每个成员称为个体
  根据个体的数量指标数量, 定义总体的维度, 如每个个体只有一个数量指标, 总体就是一维的, 同理, 个体有两个数量指标, 总体就是二维的
  总体就是一个分布, 数量指标就是服从这个分布的随机变量

  总体根据个体数分为 有限总体 和无限总体, 当有限总体的个体数充分大时, 其可以看为无限总体

• 样本

  从总体中随机抽取的部分个体组成的集合称为样本, 样本个数称为样本容量。

  • 性质

    • 二重性：抽取前随机, 是随机变量；抽取后确定, 是一组数值
    • 随机性：每个个体都有同等的机会被选入样本
    • 独立性：每个样本的取值不影响其他样本取值, 即分部独立

    满足后面两个性质称为 简单随机样本, 则

    $$ F(x_1,x_2,…,x_n)=\prod^n_{i=1}F(x_i),\ f(x_1,x_2,…,x_n)=\prod^n_{i=1}f(x_i),\ p(x_1,x_2,…,x_n)=\prod^n_{i=1}p(x_i) $$

• 分组样本

  只知样本观测值所在区间, 而不知具体值的样本称为分组样本
  缺点：与完全样本相比损失部分信息
  优点：在样本量较大时, 用分组样本既简明扼要, 又能帮助人们更好地认识总体

样本数据的整理与显示

• 经验分布函数

  若将样本观测值 $x_1,x_2,…,x_n$ 由小到大进行排列, 得到有序样本 $x_{(1)}\leq x_{(2)}\leq…\leq x_{(n)}$, 用有序样本定义如下函数

  $$ F_n(x)=\left{\begin{matrix} 0 & 当x<x_{(1)}\ k/n & 当x_{(k)}\leq x<x_{(k+1)},k=1,2,…,n-1\ 1 & 当 x\geq x_{(n)} \end{matrix}\right. $$

  则称为 $F_n(x)$ 为该样本的经验分布函数。

• 格里纹科定理

  设 $x_1,x_2,…,x_n$ 是取自总体分布函数为 $F(x)$ 的样本, $F_n(x)$ 是该样本的经验分布函数, 则当 $n\rightarrow+\infty$ 时, 有

  $$ P(sup_{-\infty<x<+\infty}|F_n(x)-F(x)|\rightarrow0)=1 $$

  表明当 n 相当大时, 经验分布函数 $F_n(x)$ 是总体分布函数 $F(x)$ 的一个良好的近似。它是经典统计学的一块基石。

• 频数频率分布表

  有样本 $x_1,x_2,…,x_n$ 制作频数频率分布表的操作步骤如下：

  • 确定组数 k；
  • 确定每组组距, 通常取每组组距相等为 d（方便起见, 可选为整数）；
  • 确定组限（下限 $a_0$ 略小于最小观测值, 上限 $a_k$ 略大于最大观测值）；
  • 统计样本数据落入每个区间的频数, 并计算频率。

  该表能够简明扼要地把样本特点表示出来。不足之处是该表依赖于分组, 不同的分组方式有不同的频数频率分布表。

• 直方图

  • 利用频数频率分布表上的区间（横坐标）和频数（纵坐标）可作为频数直方图；
  • 若把纵坐标改为频率就得频率直方图；
  • 若把纵坐标改为频率/组距, 就得到单位频率直方图。这时长条矩形的面积之和为 1.

概率密度直方图 $y$ 轴是频率/组距，所以小长方形的面积之和为 $1$ 介于 $x=a$，$x=b$ 之间的面积（对概率密度函数求积分），近似等于它落在 $(a,b]$ 之间的频率

• 茎叶图

  把样本中的每个数据分为茎与叶, 把茎放于一侧, 叶放于另一侧, 就得到一张该样本的茎叶图
  比较两个样本时, 可画出背靠背的茎叶图。茎叶图保留数据中全部信息, 当样本量较大, 数据很分散, 横跨二、三个数量级时, 茎叶图并不适用

统计量及其分布

• 统计量

  不含未知参数的样本函数称为统计量。统计量的分布称为抽样分布。

• 样本均值

  • 定义

    样本 $x_1,x_2,…,x_n$ 的算数平均值称为样本均值, 记为 $\bar{x}$
    分组样本均值 $\bar{x}=\frac{1}{n}\sum_{i=1}^{k}x_if_i$, 其中 n 为样本量, k 为组数, $x_i$与$f_i$为第 i 组的组中值和频率
    分组样本均值是完全样本均值的一种较好的近似

    样本均值是样本的位置特征, 样本中大多数值位于 $\bar{x}$ 左右。平均可消除一些随机干扰, 等价交换也是在平均数中实现的

  • 性质

    • $\sum_{i=1}^n (x_i-\bar{x})=0$, 样本数据 $x_i$ 对样本均值 $\bar{x}$ 的偏差之和为零；
    • 样本数据 $x_i$ 与样本均值 $\bar{x}$ 的偏差平方和最小, 即对任意的实数 c 有 $\sum_{i=1}^n(x_i-\bar{x})^2\leq \sum_{i=1}^n(x_i-c)^2$;
    • 若总体分布为 $N(\mu,\sigma^2)$, 则 $\bar{x}$ 的精确分布为 $N(\mu,\sigma^2/n)$；
    • 若总体分布未知, 但其期望 $\mu$ 与方差 $\sigma^2$ 存在, 则当 n 较大时, $\bar{x}$ 的渐进分布为 $N(\mu,\sigma^2/n)$, 这里渐进分布是指 n 较大时的近似分布。

• 自由度
  一般说的是总体的自由度，可有限或者无限
  从总体中随机抽取一个样本，求出的样本均值和样本方差叫做样本统计量，可以用来估计总体参数，即总体的均值和方差

  样本方差的分母为自由度-1，保证无偏估计。因为在样品均值固定时，剩余一个样品的值便固定了，故为自由度-1
  这说明计算样本均值的时候就已经使用了一个自由度

  注意若计算样本方差时已知了总体均值，这时没有消耗自由度，故除以 n

• 样本方差与样本标准差

  样本方差有两种, $s_^2=\frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2$ 与 $s^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2$
  后者为无偏方差, 也是最常用的
  （这是因为当 $\sigma^2$ 为总体方差时, 总有 $E(s_^2)=\frac{n-1}{n}\sigma^2$,$E(s^2)=\sigma^2$, 表明 $s_*^2$ 有系统偏小的误差, $s^2$ 无此系统偏差。）
  称 $\sqrt{s^2}$ 为样本标准差

  样本方差是样本的散布特征, $s^2$ 越大样本越分散, $s^2$ 越小分布越集中, 样本标准差比样本方差使用更频繁, 因为前者和样本均值有着相同的单位。

  $s^2$ 的计算有如下 三个公式 可供选用：

  $$ s^2=\frac{1}{n-1}\sum(x_i-\bar{x})^2=\frac{1}{n-1}[\sum x_i^2-\frac{(\sum x_i)^2}{n}]=\frac{1}{n-1}(\sum x_i^2-n\bar{x}^2) $$

  在分组样本场合, 样本方差的近似计算公式为

  $$ s^2=\frac{1}{n-1}\sum_{i=1}^kf_i(x_i-\bar{x})^2=\frac{1}{n-1}(\sum_{i=1}^k f_ix_i^2-n\bar{x}^2) $$

  其中 k 为组数, $x_i,f_i$ 分别为第 i 个区间的组中值与频数, $\bar{x}$ 为分组样本的均值。

• 样本矩及其函数

  • 样本的 k 阶原点矩 $a_k=\frac{1}{n}\sum_{i=1}^{n}x_i^k$, 样本均值 $\bar{x}$ 为样本的一阶原点矩；
  • 样本的 k 阶中心距 $b_k=\frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^k$, 样本方差 $s^2$ 和 $s_*^2$ 都为样本的二阶中心矩；
  • 样本变异系数 $C_r=s/\bar{x}$；
  • 样本的偏度 $\hat{\beta_s}=b_3/b_2^{3/2}$, 反映样本数据与对称性偏离程度和偏离方向；
  • 样本的峰度 $\hat{\beta_k}=\frac{b_4}{b_2^2}-3$, 反映总体分布密度曲线在其峰值附近的陡峭程度和尾部粗细.

• 次序统计量及其分布

  设 $x_1,…,x_n$ 是取自某总体的一个样本, $x_{(i)}$ 称为该样本的第 i 个次序统计量（升序排序后, 第 i 个样本）

  • $x_{(1)}=min{x_1,…,x_n}$ 称为该样本的 最小次序统计量；

  • $x_{(n)}=max{x_1,…,x_n}$ 称为该样本的 最大次序统计量；

  • ${x_{(1)},x_{(2)},…,x_{(n)}}$ 称为该样本的次序统计量, 即 不独立也不同分布；

  • $R=x_{(n)}-x_{(1)}$ 称为样本极差

    设总体 $X$ 的密度函数为 $f(x)$, 分布函数为 $F(x)$ , $x_1,…,x_n$ 为样本, 则有

  • 样本第 k 个次序统计量 $x_{(k)}$ 的密度函数为

    $$ f_k(x)=\frac{n!}{(k-1)!(n-k)!}(F(x))^{k-1}(1-F(x))^{n-k}f(x); $$

  • 样本第 i 个与第 j 个次序统计量的联合密度函数为

    $$ f_{ij}(y,z)=\frac{n!}{(i-1)!(j-i-1)!(n-j)!}(F(y))^{i-1}(F(z)-F(y))^{j-i-1}(1-F(z))^{n-j}f(xy)f(z),\quad y\leq z, 1\leq i<j\leq n $$

• 样本中位数与样本分位数

  设 $x_1,…,x_n$ 是取自某总体的样本, $x_{(1)}\leq x_{(2)}\leq …\leq x_{(n)}$ 为该样本的次序统计量, 则样本中位数 $m_{0.5}$ 定义为

  $$ m_{0.5}=\left{\begin{matrix} x_{(\frac{n+1}{2})} & n 为奇数\ \frac{1}{2}(x_{(\frac{n}{2})} + x_{(\frac{n}{2}+1)}) & n 为偶数 \end{matrix}\right. $$

  样本的 p 分位数 $m_p$ 定义为

  $$ m_{p}=\left{\begin{matrix} x_{[np+1]} & np 不是整数\ \frac{1}{2}(x_{(np)} + x_{(np+1)}) & np 是整数 \end{matrix}\right. $$

  其中 $[x]$ 表示向下取整。中位数对样本的极端值有抗干扰性, 或称有稳健性。 样本分位数的渐近分布： 设总体的密度函数为 $f(x)$, $x_p$ 为总体的 p 分位数。若 $p(x)$ 在$x_p$ 处连续且 $p(x_p)>0$, 则当 n 充分大时, 有

  $$ m_p\sim N(x_p,\frac{p(1-p)}{n\cdot p^2(x_p)}),\ m_{0.5}\sim N(x_{0.5},\frac{1}{4n\cdot p^2(x_{0.5})}) $$

• 五数概括与箱线图

  五数指用样本的五个次序统计量, 即最小观测值, 最大观测值, 中位数, 第一 4 分位数和第三 4 分位数
  其图形为箱线图, 可描述样本分布形状

• 6σ
  使得变异和波动可度量
  σ 越大，废品率越低
  μ±σ 占大约 68%
  μ±2σ 占大约 95%
  μ±3σ 占大约 99.7%

• 描述数据分布
  统计参数：
  1、位置参数：均值、中位数、众数
  2、波动参数

  频率直方图

• z 值和 z 分布
  总体分布假设是正态分布
  抽样 $n \geq 30$：

  • 总体 $\sigma$ 已知，则 $\sigma^{’}=\frac{\sigma}{\sqrt{n}}$

  • 总体 $\sigma$ 未知，则 $\sigma^{’}=\frac{S（样本标准差）}{\sqrt{n}}$

  抽样 $n \lt 30$：

  • 总体 $\sigma$ 已知，则 $\sigma^{’}=\frac{\sigma}{\sqrt{n}}$

  • 总体 $\sigma$ 未知，该怎么办？

  为了解决上述问题，定义 $Z_{i}=\frac{\bar{X_{i}}-\mu}{\sigma^{’}}=\frac{\bar{X_{i}}-\mu}{\frac{\sigma}{\sqrt{n}}}$，即从均值分布中任取一个均值 $\bar{X_{i}}$，计算其与总体均值之间的差异
  计算多个后得到对应的 $Z_{1},Z_{2},…,Z_{m}$，即 z 分布，服从标准正态分布~N(0,1)

• t 值和 t 分布
  当抽样 $n \lt 30$：
  若 $\mu$ 未知，$\sigma^{’}=\frac{\sigma}{\sqrt{n}} \ne \frac{S}{\sqrt{n}}$
  令 $t=\frac{\bar{X}-\mu}{\frac{S}{\sqrt{n}}}=\frac{(\bar{X}-\mu)/\frac{\sigma}{\sqrt{n}}}{\frac{S}{\sqrt{n}}/\frac{\sigma}{\sqrt{n}}}=\frac{Z}{S/\sigma} \sim t(n-1)$
  这里因为使用了 S 故自由度减一，其中 $S/\sigma=\sqrt{\frac{(n-1)S^{2}}{(n-1)\sigma^{2}}}=\frac{\sqrt{\frac{(n-1)S^{2}}{\sigma^{2}}}}{\sqrt{n-1}} \sim X^{2}(n-1)$
  故 $t=\frac{Z}{\sqrt{\frac{Y}{n-1}}}$
  t 分布的形状与抽取的样本量有关，当抽取的样本量增大，t 会趋于服从正态分布

• 箱线图
  $IQR = Q_{3}-Q_{1}$
  四分位数：该样本中所有数值由小到大排列后第 25%、50%、75%位置上的数字
  第一四分位数 (Q1)，又称“较小四分位数”，第二四分位数 (Q2)，又称“中位数”，第三四分位数 (Q3)，又称“较大四分位数”
  箱线图的箱子部分即 IQR，上下两端还有虚线称为 whiskers，它的长度 $\leq 1.5*IQR$，故超出箱子部分加上 whiskers 部分的区域叫做离群值

• f 值和 f 分布
  用于方差分析，f 值可以反映总体之间的差异，以及组内的差异
  $f=\frac{\text{组间波动}}{\text{组内波动}}$
  f 值越大，表示越有可能发生
  f 分布是由 f 值形成的频率直方图，有前提，原假设 $\mu_{1}=\mu_{2}=\mu_{3}$，三个总体的均值相等

  差异的平方和 ➗ 自由度=均方和

  ANOVA：analysis of variance

• 卡方分布
  假设总体分布的均值和标准差为 $\mu、\sigma$
  抽取若干个样本分别计算其均值，得到若干个样本均值，绘制对应的分布图得到均值分布，其均值和标准差为 $\mu、\frac{\sigma}{\sqrt{n}}$
  计算 z 值得到 z 分布：$Z_{1}=\frac{\bar{X}{1}-\mu}{\sigma^{’}}=\frac{\bar{X}{1}-\mu}{\frac{\sigma}{\sqrt{n}}},Z_{2},…,Z_{n}$，均值为 0 方差为 1
  对 z 值取平方，画出频率直方图，即为自由度为 1 的卡方分布
  若 3 个一组求 z 值的平方和，得到自由度为 3 的卡方分布
  $\sum_{i=1}^{n} Z_{i}^{2}=\frac{\sum(X-\mu)^{2}}{\sigma^{2}} \sim \chi_{n}^{2}$，其中的 $\mu$ 为总体均值
  当总体均值未知时，需要用样本均值代替，因为 $S^{2}=\frac{\sum(X-\bar{X})^{2}}{n-1}$，带入上式得到 $\frac{\sum(X-\bar{X})^{2}}{\sigma^{2}}=\frac{S^{2}(n-1)}{\sigma^{2}} \sim \chi_{n-1}^{2}$

• 交互作用
  影响一个事件的因素可能有多种，而因素之间的组合可能会有不同的影响

• 卡方分布的方差检验
  卡方分布可以用于比较方差
  $\sum_{i=1}^{n} Z_{i}^{2}=\frac{\sum(X-\mu)^{2}}{\sigma^{2}} \sim \chi_{n}^{2}$
  $=\frac{S^{2}(n-1)}{\sigma^{2}} \sim \chi_{n-1}^{2}$
  假设 $\sigma^{’}=\sigma$，计算 $\frac{S^{2}(n-1)}{\sigma^{2}}$，查表若落在给定的区间内，说明假设成立

• 贝叶斯定理
  $P(A|B)=\frac{P(AB)}{P(B)}，P(B|A)=\frac{P(AB)}{P(A)}，P(AB)=P(A|B)P(B)=P(B|A)P(A)$
  假设现在有 10000 人，其中 5500 人是特的支持者，4500 人是拜的支持者
  特：1500 人高学历，4000 人低学历
  拜：2250 人高学历，2250 人低学历
  则：$P(高学历|特)=\frac{P(高学历且特)}{P(特)}=\frac{1500/10000}{5500/10000}$，$P(特|高学历)=\frac{P(高学历且特)}{P(高学历)}=\frac{1500/10000}{3750/10000}=0.4$

  • 综上
    $P(特)$ 先验概率：不知晓一个人的前提下，他支持特的概率
    $P(高学历)$ 证据：一个人是高学历的概率
    $P(特|高学历)$ 后验概率：已知一个人是高学历，他支持特的概率
    $P(高学历|特)$ 似然：一个人支持特的情况下，他是高学历的可能性
    计算过程就是获得新数据，不断更新先验概率，再去计算后验概率

• 卡方独立性检验
  列联表：对表格的行和列进行求和
  原假设：两个属性相互独立
  $\sum \frac{(观测-期望)^{2}}{期望} \sim \chi^{2}$

• 卡方拟合优度检验
  检验 分类变量 的观测值与期望值的拟合效果
  已知某地盲盒各类型的投放比例，令其为原假设。之后抽样对比原假设计算出的期望值，$\sum \frac{(0-E)^{2}}{E}$，若结果落在右侧的拖尾处则有理由拒绝原假设

• 几何分布
  几何就是等比，指数级的意思
  $P(X=i)=(1-p)^{i-1}p$

参数估计

统计学与概率论的区别就是 归纳和演绎, 前者通过样本推测总体的分布, 而后者已知总体分布去研究样本
因此参数估计则是归纳的过程, 参数估计有两种形式：点估计 和 区间估计
（点估计和区间估计都是对于未知参数的估计, 而 点估计给出的是一个参数可能的值, 区间估计给出的是参数可能在的范围）

参数估计就是用样本的值来猜测总体分布的参数值（需要用样本 构造函数 来估计） 参数空间即参数的取值范围

点估计：只猜一个点。例如要猜身高我们只给出了 $180$ 区间估计：猜测一个区间。例如要猜身高我们给出在 $[160, 185]$

点估计（Point estimation）

设 $x_1, …, x_n$ 是来自总体的一个样本, 用于估计未知参数 $\theta$ 的统计量 $\hat{\theta}=\hat{\theta}(x_1,…,x_n)$ 称为 $\theta$ 的估计量, 或称为 $\theta$ 的点估计。

点估计的方法

• 矩估计

  设总体概率函数已知, 为 $p(x;\theta_1,…,\theta_k)$, $(\theta_1,…,\theta_k)\in\Theta$ 是未知参数或参数向量, $x_1,…,x_n$ 是样本
  假定总体的 $k$ 阶原点矩 $\mu_k$ 存在, 则对所有的 $j$, $o<j<k$, $\mu_j$ 都存在
  若假设 $\theta_1,…,\theta_k$能够表示成$\mu_1,…,\mu_k$ 的函数 $\theta_j=\theta_j(\mu_1,…,\mu_k)$, 则可给出诸 $\theta_j$ 的矩估计：

  $$ \hat{\theta_j}=\theta_j(a_1,…,a_k),\quad j=1,…,k $$

  其中 $a_1,…,a_k$ 是前 $k$ 阶样本原点矩 $a_j=\frac{1}{n}\sum_{i=1}^{n}x_i^j$.

  矩估计基于大数定律（格里纹科定理）, 实质是用经验分布函数去替换总体分布, 矩估计可以概括为：

  • 用样本矩代替总体矩（可以是原点矩也可以是中心矩）
  • 用样本矩的函数去替换相应的总体矩的函数

  矩估计可能是不唯一的, 尽量使用低阶矩给出未知参数的估计

• 最大似然估计

  设总体的概率函数为 $p(x;\theta),\ \theta\in\Theta$, 其中 $\theta$ 是一个未知参数或几个未知参数组成的参数向量, $\Theta$ 是参数空间, $x_1,…,x_n$ 是来自该总体的样本, 将样本的联合概率函数看成 $\theta$ 的函数, 用 $L(\theta;x_1,…,x_n)$ 表示, 简记为 $L(\theta)$,

  $$ L(\theta)=L(\theta;x_1,…,x_n)=p(x_1;\theta)p(x_2;\theta)…p(x_n;\theta) $$

  $L(\theta)$ 称为样本的 似然函数。若统计量$\hat{\theta}=\hat{\theta}(x_1,…,x_n)$ 满足

  $$ L(\hat{\theta})=\max_{\theta\in\Theta}L(\theta) $$

  则称 $\hat{\theta}$ 是 $\theta$ 的 最大似然估计, 简称 MLE（maximum likelihood estimate）.

  最大似然估计基于样本观测数据, 根据概率论思想进行参数估计, 首先抽取一定样本, 默认这些样本的出现概率是符合原始分布的, 即恰好抽到这些样本是因为这些样本出现的概率极大
  然后根据概率密度计算联合概率, 形成似然函数, 似然函数极值位置即为参数的估计值
  最大似然估计的前提是已知数据的分布

  • 步骤
    • 写出似然函数；
    • 对似然函数取对数, 并整理；
    • 求参数向量的偏导, 令其为 0, 得到似然方程；
    • 求解似然方程, 其解为参数值。

极大似然估计 概率大的事件比概率小的事件更容易发生，即将使事件发生的概率最大的参数值作为估计值 似然函数为什么是连乘起来的？ 本来是联合概率函数，因为独立，所以分开来写 做题步骤： 1、离散型随机变量就确定总体的概率函数，连续型随机变量就确定密度函数 2、写似然函数 $L(λ)$，$λ$ 是参数 3、两边去 $ln$（因为是连乘），得 $lnL(λ)$ 4、对 $λ$ 求导，得最大值的话，就是令导数为 $0$

• 最小均方误差估计

  在样本量一定时, 评价一个点估计好坏的度量指标可使用估计值 $\hat{\theta}$ 与参数真值 $\theta$ 的距离函数, 最常用的是距离平方, 由于 $\hat{\theta}$ 具有随机性, 对该函数求期望即得 均方误差：

  $$ \begin{align} MSE(\hat{\theta})&=E(\hat{\theta}-\theta)^2\ &=E[(\hat{\theta}-E\hat{\theta})+(E\hat{\theta}-\theta)]^2\ &=E(\hat{\theta}-E\hat{\theta})^2+(E\hat{\theta}-\theta)^2+\underbrace{2E[(\hat{\theta}-E\hat{\theta})(E\hat{\theta}-\theta)]}{E(\hat{\theta}-E\hat{\theta})=0}\ &=\underbrace{Var(\hat{\theta})}{点估计的方差}+\underbrace{(E\hat{\theta}-\theta)^2}_{偏差的平方} \end{align} $$

  其中, 如果 $\hat{\theta}$ 是 $\theta$ 的无偏估计, 则 $MSE(\hat{\theta})=Var(\hat{\theta})$, 此时用均方误差评价点估计与用方差是完全一样的
  如果如果 $\hat{\theta}$ 不是 $\theta$ 的无偏估计, 就要看其均方误差 $MSE(\hat{\theta})$, 即不仅要看其方差大小, 还要看其偏差大小。

  定义： 设有样本 $x_1,…,x_n$, 对待估参数 $\theta$, 设有一个估计类, 如果对该估计类中另外任意一个 $\theta$ 的估计 $\widetilde{\theta}$, 在参数空间 $\Theta$ 上都有 $MSE_\theta(\hat{\theta})\leq MSE_\theta(\widetilde{\theta})$, 称 $\hat{\theta}(x_1,…,x_n)$ 是该估计类中 $\theta$ 的一致最小均方误差估计。

• 最小方差无偏估计

  设 $\hat{\theta}$ 是 $\theta$ 的一个无偏估计, 如果对另外任意一个 $\theta$ 的无偏估计 $\widetilde{\theta}$, 在参数空间 $\Theta={\theta}$ 上都有 $Var_{\theta}(\hat{\theta})\leq Var_{\theta}(\widetilde{\theta})$, 则称 $\hat{\theta}$ 是 $\theta$ 的一致最小方差无偏估计, 简记为 UMVUE。

  判断准则： 设 $\hat{\theta}=\hat{\theta}(x_1,…,x_n)$ 是 $\theta$ 的一个无偏估计, $Var(\hat{\theta})<+\infty$.如果对任意一个满足 $E(\varphi(x_1,…,x_n))=0$ 的 $\varphi$, 都有

  $$ Cov_\theta(\hat{\theta},\varphi)=0,\quad\forall\theta\in\Theta, $$

  则 $\hat{\theta}$ 是 $\theta$ 的 UMVUE

• 贝叶斯估计

  区别于频率学派, 在统计推断中贝叶斯用到了三种信息：总体信息、样本信息和先验信息（频率学派只用了前两种）, 其中：

  • 总体信息：总体信息即总体分布或总体所属分布族提供的信息, 如, 若已知总体是正态分布, 则可以知道很多信息；
  • 样本信息：样本信息即抽取样本所得观测值提供的信息, 如, 在有了样本观测值后, 可以根据它知道总体的一些特征数；
  • 先验信息：若把抽取样本看作做一次试验, 则样本信息就是试验中得到的信息, 如, 在一次抽样后, 这第一次的抽样就是先验信息。先验信息来源于经验和历史资料。

  回顾贝叶斯公式：设 ${B_1, B_2, …B_n}$是样本空间的一个分割, $A$ 为 $\Omega$ 中的一个事件, $P(B_i)>0$, $i=1,2,…,n$, $P(A)>0$, 则

  $$ P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)} $$

  贝叶斯密度函数形式：

  • 在参数 $\theta$ 分布已知（已假设）的情况下, $p(x|\theta)$ 表示随机变量 $\theta$ 取某个给定值时总体的 条件概率函数, （参考 $P(A|B)$）；

  • 任一未知量 $\theta$ 都可以看作随机变量, 可用一个概率分布去描述, 这个分布称为 先验分布, 该先验分布 $\pi(\theta)$, （参考 $P(B)$）；

  • 贝叶斯的观点, 样本 $X=(x_1,…,x_n)$ 的产生需分两步：

  • 从先验分布 $\pi(\theta)$ 产生一个样本 $\theta_0$；

  • 从 $p(X|\theta_0)$ 中产生一组样本。

    此时, 样本 $X=(x_1,…,x_n)$ 的 联合条件概率函数（参考 $\sum_{j=1}^{n}P(A|B_j)$）为

    $$ p(X|\theta_0)=p(x_1,…,x_n|\theta_0)=\prod^{n}_{i=1}p(x_i|\theta_0) $$

  • 因为 $\theta_0$ 未知, 是从先验分布 $\pi(\theta)$ 中产生的, 所以需要考虑它的发生概率, 样本 $X$ 和参数 $\theta$ 的 联合分布（参考 $\sum_{j=1}^{n}P(A|B_j)P(B_j)$）为

    $$ h(X,\theta)=p(X|\theta)\pi(\theta) $$

  • 因为目的是对 $\theta$ 进行推断, 所以在有样本观测值 $X=(x_1,…,x_n)$ 之后, 可依据 $h(X,\theta)$ 对 $\theta$ 作出推断, 按照乘法公式（参考 1.5.2 节）, $h(X,\theta)$ 可分解为

    $$ h(X,\theta)=\pi(\theta|X)m(X) $$

    其中, $m(X)$ 是 $X$ 的边际概率函数, 类比 $\pi(\theta)$,

    $$ m(X)=\int_\Theta h(X,\theta)d\theta=\int_\Theta p(X|\theta)\pi(\theta)d\theta $$

    所以可通过条件概率 $\pi(\theta|X)$ 推断 $\theta$ 的分布

    $$ \pi(\theta|X)=\frac{h(X,\theta)}{m(X)}=\frac{p(X|\theta)\pi(\theta)}{\int_{\Theta}p(X|\theta)\pi(\theta)d\theta} $$

    该分布称为 $\theta$ 的 后验分布。它其实是利用总体和样本对先验分布 $\pi(\theta)$ 调整的结果, 比 $\pi(\theta)$ 更接近 $\theta$ 的实际情况（机器学习里的贝叶斯模型就是基于这样的原理）。

    Flag： 感觉贝叶斯定理很有意思, 今后也会学习相关的贝叶斯分析数据, 敬请期待～

点估计的优良性准则

• 无偏性

  设 $\hat{\theta}=\hat{\theta}(x_1,…,x_n)$ 是 $\theta$ 的一个估计, $\theta$ 的参数空间为 $\Theta$, 若对任意的 $\theta \in \Theta$, 有

  $$ E_{\theta}(\hat{\theta})=\theta $$

  则称 $\hat{\theta}$ 是 $\theta$ 的 无偏估计, 否则称为 有偏估计。无偏性的要求也可以改写为 $E_{\theta}(\hat{\theta-\theta})=0$, 无偏性表示表示估计参数与真实参数没有系统偏差。

  一个重要的结论： 样本均值 $\bar{x}=\frac{1}{n}\sum_{i=1}^nx_i$ 是总体均值 $\mu$ 的无偏估计。样本方差 $s_n^2=\frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2$ 不是总体方差 $\sigma^2$ 的无偏估计（而是渐进无偏估计）, 因此需要对样本方差进行修正, $s^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2$.

  • 样本均值的无偏性推导

  $$ \begin{align} E(\bar{x})=&E(\frac{1}{n}\sum_{i=1}^nx_i)\ =&\frac{1}{n}\sum_{i=1}^nE(x_i),\ x_i为iid\ =&\frac{1}{n}\sum_{i=1}^n\mu\ =&\mu \end{align} $$

  • 样本方差的有偏性推导 $$ \begin{align} E(s_n^2)=&E[\frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2]\ =&E[\frac{1}{n}\sum_{i=1}^n((x_i-\mu)-\frac{1}{n}(\bar{x}-\mu))^2]\ =&E[\frac{1}{n}\sum_{i=1}^n((x_i-\mu)^2-\frac{2}{n}(x_i-\mu)(\bar{x}-\mu)+\frac{1}{n}(\bar{x}-\mu)^2)]\ =&E[\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-\frac{2}{n}\sum_{i=1}^n(x_i-\mu)(\bar{x}-\mu)+(\bar{x}-\mu)^2],\ 其中,\bar{X}-\mu=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)\ =&E[\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-2(\bar{x}-\mu)^2+(\bar{x}-\mu)^2]\ =&E[\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-(\bar{x}-\mu)^2]\ =&E[\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2]-E[(\bar{x}-\mu)^2]\ =&\sigma^2-E[(\bar{x}-\mu)^2]\ …(1)\ =&\sigma^2-\frac{\sigma^2}{n}\ =&\frac{n-1}{n}\sigma^2,\quad 当n\rightarrow \infty时, E(s_n^2)\rightarrow \sigma^2\ \ E[(\bar{x}-\mu)^2]=&E(\bar{x}^2)-2\mu E(\bar{x})+\mu^2\ =&E(\bar{x}^2)-\mu^2\ =&Var(\bar{x})+E^2(\bar{x})-\mu^2\ =&Var(x)\ =&\frac{\sigma^2}{n}\ …代入(1)式 \end{align} $$

• 有效性

  无偏估计往往有很多种, 以总体均值为例, $x_1,…,x_n$ 是取自某总体的样本, 样本均值 $\mu$ 和样本 $x_i$ 都是总体均值的无偏估计, 对于两个估计参数的选取需要基于一个度量无偏估计优劣的准则。有效性作为这样的准则, 反映了 参数估计值和参数真值的波动, 波动大小可用方差来衡量, 波动越小表示参数的估计越有效。

  设$\hat{\theta_1}$, $\hat{\theta_2}$是$\theta$的两个无偏估计, 如果对任意的$\theta\in\Theta$有

  $$ Var(\hat{\theta}_1)\leq Var(\hat{\theta}_2) $$

  且至少有一个 $\theta\in\Theta$ 使得上述不等号严格成立, 则称 $\hat{\theta}_1$ 比 $\hat{\theta}_2$ 有效。

• 相合性

  根据格里纹科定理, 随着样本量不断增大, 经验分布函数逼近真实分布函数, 即设 $\theta\in\Theta$ 为未知参数, $\hat{\theta}_n=\hat{\theta}_n(x_1,…,x_n)$ 是 $\theta$ 的一个估计量, $n$ 是样本容量, 若对任何一个 $\epsilon>0$, 有

  $$ \lim_{n\rightarrow\infty}P(|\hat{\theta}_n-\theta|\geq\epsilon)=0 $$

  则称 $\hat{\theta}_n$ 为参数 $\theta$ 的相合估计。

  定理 1： 设 $\hat{\theta}_n=\hat{\theta}_n(x_1,…,x_n)$ 是 $\theta$ 的一个估计量, 若

  $$ \lim_{n\rightarrow\infty}E(\hat{\theta}n)=\theta,\quad\lim{n\rightarrow\infty}Var(\hat{\theta}_n)=0 $$

  则 $\hat{\theta}_n$ 是 $\theta$ 的相合估计。

  定理 2： 若 $\hat{\theta}{n1},…,\hat{\theta}{nk}$ 分别是 $\theta_1,…,\theta_k$ 的相合估计, $\eta=g(\theta_1,…,\theta_k)$ 是 $\theta_1,…,\theta_k$ 的连续函数, 则 $\hat{\eta}n=g(\hat{\theta}{n1},…,\hat{\theta}_{nk})$ 是 $\eta$ 的相合估计。

  矩估计一般都具有相合性：

  • 样本均值是总体均值的相合估计；
  • 样本标准差是总体标准差的相合估计；
  • 样本变异系数 $s/\bar{x}$ 是总体变异系数的相合估计。

• 渐进正态性（MLE）

  在很一般条件下, 总体分布 $p(x;\theta)$ 中的 $\theta$ 的 MLE $\hat{\theta}_n$ 具有相合性和渐进正态性, 即 $\hat{\theta}n\sim AN(\theta,\frac{1}{nI(\theta)})$, 其中 $n$ 为样本容量, $I(\theta)=\int{-\infty}^{\infty}(\frac{\part{lnp}}{\part\theta})^2p(x;\theta)dx$ 为费希尔信息量。

• 充分性（UMVUE）

  • 任一参数 $\theta$ 的 UMVUE 不一定存在, 若存在, 则它一定是充分统计量的函数；
  • 若 $\theta$ 的某个无偏估计 $\hat{\theta}$ 不是充分统计量 $T=T(x_1,…,x_n)$ 的函数, 则通过条件期望可以获得一个新的无偏估计 $\widetilde{\theta}=E(\hat{\theta|T})$, 且方差比原估计的方差要小；
  • 考虑 $\theta$ 的估计时, 只需要在其充分统计量的函数中寻找即可, 该说法对所有统计推断都是正确的, 这便是充分性原则。

区间估计

区间估计的概念

• 双侧区间

  设 $\theta$ 是总体的一个参数, 其参数空间为 $\Theta$, $x_1,…,x_n$ 是来自该总体的样本
  对给定的一个 $\alpha\quad(0<\alpha<1)$, 假设有两个统计量 $\hat{\theta}_L=\hat{\theta}_L(x_1,…,x_n)$ 和 $\hat{\theta}_U=\hat{\theta}_U(x_1,…,x_n)$
  若对任意的 $\theta\in\Theta$, 有：

  $$ P_\theta(\hat{\theta}_L\leq\theta\leq\hat{\theta}_U)\geq(=)1-\alpha $$

  其中, 总体为连续分布时取等号, 表示用足了置信水平
  称随机区间 $[\hat{\theta}_L,\hat{\theta}_U]$ 为 $\theta$ 的 置信水平为$1-\alpha$的置信区间
  或简称 $[\hat{\theta}_L,\hat{\theta}_U]$ 是 $\theta$ 的 $1-\alpha$ 置信区间
  $\hat{\theta}_L$ 和 $\hat{\theta}_U$ 分别称为 $\theta$ 的 置信下限 和 置信上限

  置信水平 $1-\alpha$ 的频率解释：在大量的区间估计观测值中, 至少有 $100(1-\alpha)%$ 包含 $\theta$
  如下图所示, 其置信度为 0.95

• 置信区间
  一般只会从总体中抽取一个样本
  我们先求出其标准差和均值，由此算出一个区间，这个区间有 95%的概率包含总体均值
  对于均值的置信区间，常用的计算公式是：置信区间 = 样本均值 ± Z * (标准误差)，其中，样本均值是对总体均值的估计值，Z 是标准正态分布的分位数，标准误差是样本均值的标准差。对于 95%的置信区间，Z 的值通常取 1.96，因为在标准正态分布中，95%的面积位于均值左右两侧 1.96 个标准差的范围内

• 单侧区间

  设 $\hat{\theta}_L=\hat{\theta}_L(x_1,…,x_n)$ 是统计量
  对给定的 $\alpha\in(0,1)$ 和任意的 $\theta\in\Theta$, 有：

  $$ P_\theta(\hat{\theta}_L\leq\theta)\geq1-\alpha,\quad\forall\theta\in\Theta $$

  则称 $\hat{\theta}_L$ 为 $\theta$ 的置信水平为 $1-\alpha$ 的 置信下限 同理, 设 $\hat{\theta}_U=\hat{\theta}_U(x_1,…,x_n)$ 是统计量
  对给定的 $\alpha\in(0,1)$ 和任意的 $\theta\in\Theta$, 有

  $$ P_\theta(\hat{\theta}_L\geq\theta)\geq1-\alpha,\quad\forall\theta\in\Theta $$

  则称 $\hat{\theta}_L$ 为 $\theta$ 的置信水平为 $1-\alpha$ 的置信上限

区间估计的方法

• 枢轴量法

  Step 1：设法构造一个样本和 $\theta$ 的函数 $G=G(x_1,…,x_n,\theta)$ 使得 $G$ 的分布不依赖于未知参数, 称具有这种性质的 $G$ 为枢轴量。

  Step 2：适当地选择两个常数 c, d, 使对给定的 $\alpha\quad(0<\alpha<1)$, 有

  $$ P(c\leq G\leq d)=1-\alpha $$

  （在离散场合, 将上式等号改为 $\geq$）

  Step 3：假如能将 $c\leq G\leq d$ 进行不等式等价变形化为 $\hat{\theta}_L\leq\theta\leq\hat{\theta}_U$, 则有

  $$ P_\theta(\hat{\theta}_L\leq\theta\leq\hat{\theta}_U)=1-\alpha $$

  表明 $[\hat{\theta}_L,\hat{\theta}_U]$ 是 $\theta$ 的 $1-\alpha$ 同等置信区间。

  注： 满足条件的 c 和 d 有很多, 最终选择的目的是希望平均长度 $E_\theta(\hat{\theta}_U)-\hat{\theta}_L$ 尽可能短, 但在一些场合中很难做到这一点, 因此可以选择 c 和 d, 使得两个尾部概率各为 $\alpha/2$, 即

  $$ P_\theta(G<c)=P_\theta(G>d)=\alpha/2 $$

  得到 等尾置信区间。

  例：设 $x_1,…,x_n$ 是来自均匀总体 $U(0,\theta)$ 的一个样本, 试对设定的 $\alpha\ (0<\alpha<1)$ 给出 $\theta$ 的 $1-\alpha$ 同等置信区间。

  解：三步法：

  • 已知 $\theta$ 的最大似然估计为样本的最大次序统计量 $x_{(n)}$, 而 $x_{(n)}/\theta$ 的密度函数为

    $$ p(y;\theta)=ny^{n-1},\quad 0<y<1 $$

    它与参数 $\theta$ 无关, 故可取 $x_{(n)}/\theta$ 作为枢轴量 $G$。

  • 由于 $x_{(n)}/\theta$ 的分布函数为 $F(y)=y^n$, $0<y<1$, 故 $P(c\leq x_{(n)}/\theta\leq d=d^n-c^n)$, 因此可以选择适当的 c 和 d 满足

    $$ d^n-c^n=1-\alpha $$

  • 在 $0\leq c<d\leq 1$ 及 $d^n-c^n=1-\alpha$ 的条件下, 当 $d=1, c=\sqrt[n]{\alpha}$ 时, $E_\theta(\hat{\theta}U)-\hat{\theta}L$ 取最小值, 所以 $[x{(n)},x{(n)}/\sqrt[n]{\alpha}]$ 是 $1-\alpha$ 置信区间

一些情况下的区间估计

• 单个正态总体参数的置信区间

  • $\sigma$ 已知时 $\mu$ 的置信区间

    $[\bar{x}-u_{1-\alpha/2}\sigma/\sqrt{n},\quad\bar{x}+u_{1-\alpha/2}\sigma/\sqrt{n}]$

  • $\sigma$ 未知时 $\mu$ 的置信区间

    $[\bar{x}-t_{1-\alpha/2}(n-1)s/\sqrt{n},\quad\bar{x}+t_{1-\alpha/2}(n-1)s/\sqrt{n}]$

  • $\sigma^2$ 的置信区间（$\mu$ 未知）

    $[(n-1)s^2/\chi^2_{1-\alpha/2}(n-1),\quad(n-1)s^2/\chi^2_{\alpha/2}(n-1)]$

• 大样本置信区间

  $[\bar{x}-u_{1-\alpha/2}\sqrt{\frac{\bar{x}(1-\bar{x})}{n}},\quad \bar{x}+u_{1-\alpha/2}\sqrt{\frac{\bar{x}(1-\bar{x})}{n}}]$

• 两个正态总体下的置信区间

  • $\mu_1-\mu_2$ 的置信区间

    • $\sigma^2_1$ 和 $\sigma^2_2$ 已知时

      $[\bar{x}-\bar{y}-u_{1-\alpha/2}\sqrt{\frac{\sigma^2_1}{m}+\frac{\sigma^2_2}{n}},\quad \bar{x}-\bar{y}+u_{1-\alpha/2}\sqrt{\frac{\sigma^2_1}{m}+\frac{\sigma^2_2}{n}}]$

    • $\sigma^2_1=\sigma^2_2=\sigma^2$ 未知时

      $[\bar{x}-\bar{y}-\sqrt{\frac{m+n}{mn}}s_wt_{1-\alpha/2}(m+n-2),\quad \bar{x}-\bar{y}+\sqrt{\frac{m+n}{mn}}s_wt_{1-\alpha/2}(m+n-2)]$

    • $\sigma^2_2/\sigma^2_1=c$ 已知时

      $[\bar{x}-\bar{y}-\sqrt{\frac{mc+n}{mn}}s_wt_{1-\alpha/2}(m+n-2),\quad \bar{x}-\bar{y}+\sqrt{\frac{mc+n}{mn}}s_wt_{1-\alpha/2}(m+n-2)]$

    • 当 m 和 n 都很大时的近似置信区间

      $[\bar{x}-\bar{y}-u_{1-\alpha/2}\sqrt{\frac{s^2_x}{m}+\frac{s^2_y}{n}},\quad \bar{x}-\bar{y}+u_{1-\alpha/2}\sqrt{\frac{s^2_x}{m}+\frac{s^2_y}{n}}]$

    • 一般情况下的近似置信区间

      $[\bar{x}-\bar{y}-s_0t_{1-\alpha/2}(l),\quad \bar{x}-\bar{y}+s_0t_{1-\alpha/2}(l)]$

  • $\sigma^2_1/\sigma^2_2$ 的置信区间

    $[\frac{s_x^2}{s_y^2}\cdot\frac{1}{F_{1-\alpha/2(m-1,n-1)}},\quad \frac{s_x^2}{s_y^2}\cdot\frac{1}{F_{\alpha/2(m-1,n-1)}}]$

假设检验

基本思想和概念

以“品茶”为例, 对于该人有没有品茶的能力, 有两种假设：

1

该人没有品茶能力 | 该人有品茶能力

在统计学上, 这两个 非空不相交 参数集合称作 统计假设, 简称 假设
通过样本对一个假设作出 对与不对 的判断, 则称为该假设的一个 检验
若检验结果否定了该命题, 则称 拒绝 这个假设, 反之为 接受（不拒绝） 这个假设

假设可分为两种：
1、参数假设检验, 即已经知道数据的分布, 针对总体的 某个参数 进行假设检验
2、非参数假设检验, 即数据分布未知, 针对该 分布 进行假设检验

假设检验的基本步骤

建立假设—>选择检验统计量, 给出拒绝域形式—>选择显著性水平—>给出拒绝域—>做出判断

• Step 1：建立假设

  主要针对参数假设检验问题
  设有来自某分布族 ${F(x,\theta)|\theta \in \Theta}$ 的样本 $x_1,…,x_n$
  其中 $\Theta$ 为参数空间, 设 $\Theta_0 \in \Theta$, 且 $\Theta_0 \neq \phi$
  则命题 $H_0:\theta \in \Theta_0$ 称为 原假设 或 零假设（null hypothesis）
  若有另一个 $\Theta_1$（$\Theta_1 \in \Theta,\Theta_1\Theta_0=\phi$, 常见的一种情况是 $\Theta_1=\Theta-\Theta_0$）
  则命题 $H_1:\theta \in \Theta_1$ 称为 $H_0$ 的 对立假设 或 备择假设（alternative hypotheis）

  当 $H_0$ 为简单假设, 即 $\Theta_0$ 只含一个点时, 备择假设有三种可能：
  $H_1’:\theta \neq \theta_0$, $H_1’’:\theta < \theta_0$, $H_1’’’:\theta > \theta_0$

• Step 2：选择检验统计量, 给出拒绝域形式

  根据样本计算统计量 $Z$（如样本均值、标准差等, 称为 检验统计量）, 并基于某个法则既可以决定接受 $H_0$ 还是拒绝 $H_0$
  具体地, 当统计量在拒绝域 $W$ 中即拒绝 $H_0$, 在接受域 $\overline{W}$ 中即接受 $H_0$
  由此可见, 一个拒绝域 $W$ 唯一确定一个检验法则, 反之, 一个检验法则也唯一确定一个拒绝域

  注： 不能用一个样本（例子）证明一个命题（假设成立）, 但是可以用一个样本（例子）去推翻一个命题
  此外, 拒绝域与接受域之间有一个模糊域, 即统计量恰好符合法则, 通常将模糊域归为接受域, 因此接受域是复杂的

• Step 3：选择显著性水平

  假设检验基于 小概率事件, 即小概率事件在一次试验中几乎不会发生
  因此选择一个很小的概率值 $\alpha$, 令 $p(拒绝H_0|H_0为真)\leq\alpha$, 表示 $Z\in W$ 是一个小概率事件, 在一次试验中不应该发生
  如果通过样本得到的统计量 $z\in W$, 即不该发生的小概率事件竟然发生了, 那么应该拒绝 $H_0$

  通常做检验时可能做出错误判断, 由此引入了两个错误, 分别为 第一类错误 和 第二类错误, 如下表所示

  观测数据情况	总体情况	总体情况
  	$H_0$ 为真	$H_1$ 为真
  接受 $H_0$	第一类错误（拒真）	正确
  拒绝 $H_0$	正确	犯第二类错误（取伪）

  犯第一类错误概率：$\alpha=P(X\in W|H_0)$, 即 $\alpha=P(拒绝 H_0|H_0 为真)$
  犯第二类错误概率：$\beta=P(X\in \overline{W}|H_1)$, 即 $\beta=P(接受 H_0|H_0 为假)$

  可以通过势函数证明：在一定样本量下, 两类错误概率无法共同减小, 但是当样本增加时, 可以同时减小。

  [!NOTE|style:flat] 势函数定义：设检验问题 $H_0:\theta\in\Theta_0\quad vs\quad H_1:\theta \in \Theta_1$ 的拒绝域为 $W$, 则样本观测值 $\mathbf{X}$ 落在拒绝域 $W$ 内的概率称为该检验的 势函数, 记为

  $$ g(\theta)=P_\theta(\mathbf{X}\in W),\ \theta\in\Theta=\Theta_0\cup\Theta_1\ g(\theta)=\left{\begin{matrix} \alpha(\theta) & \theta\in\Theta_0\ 1-\beta(\theta) &\theta\in\Theta_1 \end{matrix}\right. $$

  第一类错误概率 $\alpha$ 即为初始设定的很小的概率, 称为 置信水平
  称该检验时 显著性水平为 $\alpha$ 的显著性检验, 简称 水平为 $\alpha$ 的检验
  为了尽量减少两类错误, 可简单的将其简化为减小第一类错误概率（第二类错误概率难求）
  常用的 $\alpha=0.05$ 有时也选择 0.1 或 0.01

• Step 4：给出拒绝域

  为了使得第一类错误的概率尽可能小, 给定一个较小的 $\alpha$, 并选择一个数 $k$
  设定若 $Z\geq k$ 拒绝 $H_0$, 使得 $P(u=|\frac{z-\mu}{\sigma/\sqrt{n}}|\geq k)\leq \alpha$, 所以$k=u_{\alpha/2}$

  注：算拒绝域时, 需基于标准正态分布

• Step 5：做出判断

  通过样本计算统计量, 若统计量在拒绝域中, 则拒绝原假设, 否则接受原假设

• 数据的正态性检验方法
  1、图形观察法：通过直方图、P-P 图或 Q-Q 图进行观察，如果分布严重偏态和尖峰分布则建议进行进一步的假设检验。如果图形分布结果不好判断，则再进行正态性检验
  2、统计检验法：包括 Shapiro-Wilk 检验、Kolmogorov-Smirnov 检验、Jarque-Bera 检验等
  3、描述法：通过样本数据的平均值、中位数、众数、标准差等基本特征来判断数据是否符合正态分布

• 双样本 t 检验
  用于判断两个总体的均值是否相等
  原假设：$\mu_{1}=\mu_{2}$，备择假设：$\mu_{1} \ne \mu_{2}$
  从两个总体中分别抽取一个样本，可以计算它们之间的差异 $X_{i}-X_{j}$，多次相同的操作后，可以得到对应的分布
  每个差值可以计算得到一个 t 值：$\frac{(X_{1}-X_{2})-0}{\sqrt{\frac{S_{1}^{2}}{n_{1}}+\frac{S_{2}^{2}}{n_{2}}}}$，分母是标准误，这样就得到了双样本均值差的 t 分布

• 原假设和备择假设
  普遍的倾向放在原假设里，例如法官对于嫌疑犯的假设就如普通人一样是无罪的
  想要推翻的放在原假设，否则既然想要的结果已经在原假设里那就没有推翻它的必要了

• 等价检验
  样本量越大，越有肯能推翻原假设，因为标准误中分母是样本量，会影响双样本均值差的分布
  给定等价区间，当样本量差异落在这个区间时，便容忍接受

  • 原假设：$\mu_{1} \ne \mu_{2}$
    =>
    $\mu_{1}-\mu_{2} \leq \delta_{L}$ 或者 $\mu_{1}-\mu_{2} \geq \delta_{U}$

  • 备择假设：$\mu_{1}=\mu_{2}$
    =>
    $\delta_{L} \lt \mu_{1}-\mu_{2} \lt \delta_{U}$

检验的 $p$ 值

不同置信水平 $\alpha$ 的取值, 可能会存在不同的结果, 因此引入新的指标
即利用样本观测值能够作出拒绝原假设的最小显著水平, 称为 检验的 $p$ 值

由检验的 $p$ 值与心目中的显著性水平 $\alpha$ 进行比较, 可以容易做出检验结论：
若 $\alpha \geq p$, 则在显著性水平 $\alpha$ 下拒绝 $H_0$
若 $\alpha < p$, 则在显著性水平 $\alpha$ 下接受 $H_0$

一般以 $p<0.05$ 为有统计学差异
$p<0.01$ 为有显著统计学差异
$p<0.001$ 为有极其显著的统计学差异

• p 值
  Fisher 发明的，即发生原假设事件的概率或者原假设为真的概率
  p 值是累计概率。首先原假设无罪，随着证据越明显，无罪概率 p 值越小，若小到给定的一个界限例如 α=0.05，即可推翻原假设，断定有罪

常用数据统计分析方法

参考链接：https://blog.csdn.net/weixin_30776273/article/details/98408366

描述统计

描述数据的集中趋势、离散趋势、偏度、峰度
1、缺失值填充
常用方法：剔除法、均值法、最小邻居法、比率回归法？、决策树法？
2、正态性检验
很多统计方法都要求数值服从或近似服从正态分布，所以之前需要进行正态性检验
常用方法：非参数检验的 K-量检验、P-P 图、Q-Q 图、W 检验、动差法

假设检验

1、参数检验
参数检验是在已知总体分布的条件下（一股要求总体服从正态分布）对一些主要的参数(如均值、百分数、方差、相关系数等）进行的检验

• U 验
  使用条件：当样本含量 n 较大时，样本值符合正态分布

• T 检验
  使用条件：当样本含量 n 较小时，样本值符合正态分布

  • 单样本 t 检验：推断该样本来自的总体均数 μ 与已知的某一总体均数 μ0 (常为理论值或标准值)有无差别；

  • 配对样本 t 检验：当总体均数未知时，且两个样本可以配对，同对中的两者在可能会影响处理效果的各种条件方面扱为相似；

  • 两独立样本 t 检验：无法找到在各方面极为相似的两样本作配对比较时使用

2、非参数检验
https://zhuanlan.zhihu.com/p/93196547
非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些假设（如总体分布的位罝是否相同，总体分布是否正态）进行检验

• 适用情况：顺序类型 的数据资料，这类数据的分布形态一般是未知的

  • 虽然是连续数据，但 总体分布形态未知 或者非正态

  • 体分布虽然正态，数据也是连续类型，但 样本容量极小，如 10 以下

主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等

列联表分析

用于分析离散变量或定型变量之间是否存在相关
对于二维表，可进行卡方检验，对于三维表，可作 Mentel-Hanszel 分层分析
列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验

相关分析

研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度
1、单相关： 两个因素之间的相关关系叫单相关，即研究时只涉及一个自变量和一个因变量
2、复相关 ：三个或三个以上因素的相关关系叫复相关，即研究时涉及两个或两个以上的自变量和因变量相关
3、偏相关：在某一现象与多种现象相关的场合，当假定其他变量不变时，其中两个变量之间的相关关系称为偏相关

方差分析

使用条件：各样本须是相互独立的随机样本；各样本来自正态分布总体；各总体方差相等
分类
1、单因素方差分析：一项试验只有一个影响因素，或者存在多个影响因素时，只分析一个因素与响应变量的关系
2、多因素有交互方差分析：一顼实验有多个影响因素，分析多个影响因素与响应变量的关系，同时考虑多个影响因素之间的关系
3、多因素无交互方差分析：分析多个影响因素与响应变量的关系，但是影响因素之间没有影响关系或忽略影响关系
4、协方差分祈：传统的方差分析存在明显的弊端，无法控制分析中存在的某些随机因素，使之影响了分祈结果的准确度。协方差分析主要是在排除了协变量的影响后再对修正后的主效应进行方差分析，是将线性回归与方差分析结合起来的一种分析方法

回归分析

聚类分析

判别分析

主成分分析

因子分析

时间序列分析

ROC 分析

其他分析

多重响应分析、距离分祈、项目分祈、对应分祈、决策树分析、神经网络、系统方程、蒙特卡洛模拟等