概率论与数理统计 - Probability Theory and Mathematical Statistics

Posted on Edited on In , Views: Word count in article: 5.4k Reading time ≈ 20 mins.

公式整理

  • 全概率
  • 贝叶斯
  • 随机变量
  • 参数估计
  • 假设校验

第一章 概率论的基本概念

条件概率与乘法公式

全概率公式

其中 是 的一个划分

贝叶斯 (Bayes) 公式

独立性

如果两事件 满足

则这两事件相互独立

第二章 随机变量及其分布

随机变量

设随机试验的样本空间为 ， 是定义在样本空间 上的实值单值函数. 称 为随机变量.

分布函数

则

对于极限情况有

概率密度函数

存在非负可积函数 有

则称 为随机变量 的概率密度函数，简称概率密度

0-1 分布 (Bernoulli Distribution)

概率质量函数 (PMF):

分布函数 (CDF):

二项分布 (Binomial Distribution)

概率质量函数 (PMF):

分布函数 (CDF):

其中 是不大于 的最大整数。

泊松分布 (Poisson Distribution)

  • 泊松定理

概率质量函数 (PMF):

其中 且

分布函数 (CDF):

其中 是不大于 的最大整数。

均匀分布 (Uniform Distribution)

概率密度函数 (PDF):

其他

分布函数 (CDF):

指数分布 (Exponential Distribution)

概率密度函数 (PDF):

分布函数 (CDF):

正态分布 (Normal Distribution)

概率密度函数 (PDF):

分布函数 (CDF):

标准正态分布 (Standard Normal Distribution)

概率密度函数 (PDF):

分布函数 (CDF):

重要性质:

若 ，则 .

随机变量的函数分布

设随机变量 具有概率密度函数 ，又设函数 处处可导且恒有 (或 )，则随机变量 其概率密度为

其中 ， 是 的反函数

第三章 多维随机变量及其分布（二维）

分布函数

记成

有

离散型

连续型

特别的，有点 落在 上的概率

以及

边缘分布

以及

离散型

连续型

其中

同理

分别称为关于 和关于 的边缘概率密度

条件分布

离散型

以及

连续型

有条件概率密度

同理

那么有条件概率分布

同理

相互独立的随机变量

若对于所有

则称随机变量 和 相互独立

两个随机变量的函数分布

Z = X + Y 的分布

做变量代换 可得

那么根据定义

通常 与 独立，那么有

这两个公式又称为卷积公式

M = max{X,Y} 以及 N = min{X,Y} 的分布

相互独立

对于

即

对于

由于分布函数是个上界函数，无法约束下界，因此我们需要 获得下界

第四章 随机变量的数字特征

数学期望

离散型

连续型

性质
  4. 相互独立时，

方差

定义

性质

常见分布的期望与方差

分布名称 (Distribution) 符号表示 数学期望 (Expected Value) 方差 (Variance)
0-1 分布 (Bernoulli)
二项分布 (Binomial)
泊松分布 (Poisson)
均匀分布 (Uniform)
指数分布 (Exponential)
正态分布 (Normal)
标准正态分布 (Standard Normal)

协方差及相关系数

协方差定义

协方差的性质
相关系数的定义

相关系数的性质
  2. 的大小表示 之间存在线性关系的概率
  3. 时表示 不相关

切比雪夫不等式

设随机变量 具有数学期望 ，方差 ，则对于任意 ，有

第五章 大数定理及中心极限定理

大数定理

弱大数定理

设 是相互独立，服从同一分布的随机变量序列，且具有数学期望 ，作前 个的平均 ，则对任意 ，有

记为 概率收敛于 , 即

伯努利大数定理

设 是 次伯努利试验中事件发生的次数, 是事件发生的概率，则对于任意 ，有

或

中心极限定理

设 是相互独立，服从同一分布的随机变量序列，且具有数学期望 ，方差 ，则随机变量之和 的标准化变量

的分布函数 对于任意 满足

也就是说，只要 足够大，那么总体和的标准化变量近似服从标准正态分布

上下同除去 可得

或

第六章 样本及抽样分布

抽样分布

设 是来自总体 的一个样本， 是 的函数，若其不含未知参数，则称 是一统计量

设 是相应于样本 的一个样本值，则称 是 的观察值

样本均值

样本方差

是因为少一个自由度，因为有

样本标准差

样本 k 阶(原点)矩

样本 k 阶中心矩

卡方分布

定义

设 是来自总体 的样本，则统计量

服从自由度为 的 分布，记为

和项数并不相关，只跟自由度有关， 的自由度为

性质
  • PDF 图形不对称
  • 可加性 ，其中
期望和方差

t 分布 或 学生氏（Student）分布

定义

设 ，，且 相互独立，则称随机变量

为服从自由度为 的 分布，记作

性质
  • PDF 图像为单峰，关于 对称

F 分布

定义

设 ，且 相互独立，则称随机变量

服从自由度为 的 分布，记作

性质
  • PDF 图像不对称

正态总体的样本均值与样本方差的分布

定义

设总体 ，的均值为 ，方差为 ， 为来自 的一个样本， 分别是样本均值和样本方差，则有

而

由此也可知 是为了无偏估计

进而

性质
  2. 与 相互独立.

第七章 参数估计

矩估计法 (Method of Moments)

矩估计法的基本思想是用样本矩来估计相应的总体矩。

设总体 的分布函数为 ，其中 是待估计的 个未知参数。

  1. 计算总体矩： 假设总体的前 阶原点矩存在，并记为：

    （连续型）

    或

    （离散型）

    其中 。这些 都是未知参数 的函数，即 。

  2. 建立矩估计方程： 用样本的前 阶原点矩 来估计对应的总体矩 。样本 阶原点矩的定义为：

    令总体矩等于样本矩，得到一个包含 个未知参数的方程组：

  3. 求解估计量： 从上述方程组中解出 ，它们都是样本 的函数。我们将解出的结果记为 。

    称 为参数 的矩估计量 (Moment Estimator)。

最大似然估计法 (Method of Maximum Likelihood)

最大似然估计法的基本思想是：在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个 值作为 的估计。

设总体 的概率密度函数（连续型）或概率质量函数（离散型）为 ，其中 是待估参数。 是来自总体 的一个样本， 是其样本观测值。

  1. 构造似然函数 (Likelihood Function)： 似然函数是样本观测值的联合概率密度（或联合概率），但它被看作是未知参数 的函数。

    这里的 可以是一个向量 。

  2. 取对数： 为了便于计算，通常对似然函数取自然对数，得到对数似然函数 。

    由于对数函数是单调递增函数， 和 在相同的 处取得最大值。

  3. 求导并令其为零： 对对数似然函数关于每个未知参数 求偏导数，并令其等于零，得到似然方程组：

  4. 求解估计值： 解这个似然方程组，得到的解记为 。这些解是使似然函数达到最大值的参数值，它们是样本观测值 的函数。

    称 为参数 的最大似然估计值 (Maximum Likelihood Estimate, MLE)。

注意：如果似然方程无解，或者参数 的取值范围有边界，则需要根据似然函数的单调性，在参数空间的边界上寻找最大值点。

无偏性

若估计量 的数学期望 存在，且对于任意 有

则称 是 的无偏估计量

有效性

设 ，与 ，都是对 的无偏估计量，若对于任意 有

且至少对某一个 上式中的不等式成立，则称 较 有效

相合性

若对于任意 、任意 满足

则称 为 的相合估计量

区间估计

则称随机区间 是 置信水平为 的置信区间， 分别称为双侧置信区间的置信下限和置信上限， 为置信水平.

单个正态总体均值和方差的区间估计

假设 是来自总体 的样本，样本均值为 ，样本方差为 。

  1. 已知

    • 使用统计量：
    • 置信区间：
    • 其中 是标准正态分布的上 分位点。

  2. 未知

    • 使用统计量：
    • 置信区间：
    • 其中 是自由度为 的 分布的上 分位点。
单个总体 方差 的置信区间

假设 是来自总体 的样本，样本方差为 。

  1. 未知

    • 使用统计量：
    • 置信区间：
    • 其中 和 分别是自由度为 的 分布的上 和上 分位点。

  2. 已知

    • 使用统计量：
    • 置信区间：
    • 其中 和 分别是自由度为 的 分布的上 和上 分位点。

第八章 假设检验

单个正态总体 的参数假设检验

设总体 ， 为来自总体的样本，样本均值 ，样本方差 ，检验显著性水平为 。

一、 均值 的假设检验
  1. 方差 已知（ 检验）

原假设与备择假设 分为以下三种情况：

检验类型 原假设 备择假设
双侧检验
单侧（右侧）检验
单侧（左侧）检验

检验统计量：

拒绝域：

  • 双侧检验：
  • 右侧检验：
  • 左侧检验：

其中 为标准正态分布的上 分位点，满足 。

  1. 方差 未知（ 检验）

原假设与备择假设 同上述三种情况。

检验统计量：

拒绝域：

  • 双侧检验：
  • 右侧检验：
  • 左侧检验：

其中 为自由度为 的 分布的上 分位点，满足 。

二、 方差 的假设检验（ 检验）

前提：均值 未知（若 已知，将统计量中的 替换为 ，自由度为 ）

原假设与备择假设 分为以下三种情况：

检验类型 原假设 备择假设
双侧检验
单侧（右侧）检验
单侧（左侧）检验

检验统计量：

拒绝域：

  • 双侧检验： 或
  • 右侧检验：
  • 左侧检验：

其中 为自由度为 的 分布的上 分位点，满足 。