虽然 dwl 老师确实很好,但是我感觉初概这课有点儿稀碎(个人意见,个人意见)。
先前把统辅当做很有趣的数学分支,被转数环的学长泼了冷水说“统计中心的风格可能会不大适应”,另一位学长也说“统辅不是你期待的样子”,目前看中心开课的意思也好像有点当工科的辅助来学。我到底多大程度上能接受严谨的数学推导?又能走多远?统辅还是数辅还是我全都要,这是一个问题。
初概这玩意儿前八周上完,约等于梦回高中月考,我定义呢我证明呢啊怎么直接拿来用了?在考虑下学期去数学系重新上概(1),甚至考虑跟实复分析,但是数分的空缺真的没问题吗。当然,没有退初概还是为了跟上统辅的进度,毕竟后八周还有统计推断,我也没完全放弃统辅,目前或许是我目光短浅了。
这门课和教材也没什么映射关系(而且看老师的意思是也没有教材,草),直接按照 Lecture n 的顺序写吧。本来想放进茴香豆篇,但概率论这边举例比较多,放在一起又很冗长,还是算了。
Lecture 1
- 概率模型:概率模型由样本空间和概率构成。每一个概率模型都关联着一个试验。
- 样本空间是一个集合,概率模型对应的试验产生的所有可能结果形成样本空间,记作
。比如说,概率模型为抛硬币,样本空间即为 。样本空间可以是离散的,也可以是连续的。 - 事件
是样本空间的子集,也就是某些试验结果的集合。概率 分配到事件 上。
- 样本空间是一个集合,概率模型对应的试验产生的所有可能结果形成样本空间,记作
- 概率公理:非负性,归一化,可加性。
- 概率的性质:两个技巧,归纳法和取补集。
Lecture 2
事件域(或称为
域, 代数):对于样本空间 , 表示 的某些子集构成的集合,如果 满足以下三个条件: ;- 对于任意的
,有 ; - 如果
, ,则 。
那么称
为 上的事件域,称 中的元素为事件,称 为可测空间。从而,有且只有
中的每个事件都能分配概率,这就圈定了我们所关心的事件的范围。事件域的一些性质如下:
- 两个事件域的并集不一定是事件域,但交集一定是。(Trivial)
- 事件域对集合的任何计算都是封闭的,包括事件列的极限运算。
概率,也称为概率测度:设
为可测空间, 是定义在 上的函数,如果 满足以下三个条件:- 非负性,完全性(Trivial)
- 可列可加性(
):对于 中互不相交的事件 ,有 。
那么称
为 上的概率测度,简称概率。对于上述定义的样本空间,事件域和概率测度,我们称
为概率空间。简单举个例子,在掷硬币的概率模型中,样本空间是
,事件域是 ,此时样本空间和事件域构成可测空间。事件域中的每一个元素都是事件,概率测度为 , 。(这是考虑了 的情况)概率测度的一些性质:
- 对于单调增序列,有
, 。 - 单调减序列同理。
- 对于单调增序列,有
条件概率(定义略)的若干性质:
对互不相容的事件列
,有 。用
表示在事件 发生条件下的条件概率,这仍然是一个概率测度, 仍然是一个概率空间。当然,此时我们可以把
之外的结果排除掉,记作 。
乘法公式:设
是概率空间, , ,且 ,于是有 。举个例子:某人写了
封信,将其装入 个写有地址的信封,全部装错的概率 为?恰有 个信封装对的概率 为?- 在第一个问题下面,我们考虑记事件
为第 个信封装对的事件,利用容斥原理即可。 - 在第二个问题下面,其实问题主要在于怎么考虑是哪
个信封放对了的问题。“指定的某 个信封放对了”这一事件的概率等于“从 个信封里无放回地取出 个正好是前 号”的概率。又因为从 个信封里指定 个有 种方式,于是这一部分的概率为 。
- 在第一个问题下面,我们考虑记事件
全概率公式:将
分割成事件 的并,另有其中的事件 ,可以对每个 得到 ,于是 。这个时候,我们称
是 的一个分割。同时,式中的 可以用 代替。举个例子:一个袋子里有
个白球和 个黑球,从中无放回地取出 个球,求第 次取得黑球的概率。- 递归:第一次取黑球的概率影响第二次,第二次影响第三次...简单列个数列可以看出来取黑球的概率是定值,即为
。 - 排队:把
个球排成一列,算第 个恰为黑球的概率即可。
- 递归:第一次取黑球的概率影响第二次,第二次影响第三次...简单列个数列可以看出来取黑球的概率是定值,即为
准则:设 是概率空间, , , 是 的一个分割。我们要用 算 ,就可以使用 准则: 。
Lecture 3
(两两)独立性,条件独立性和一组事件的相互独立性
对于概率空间
, ,独立性指的是 ,条件独立性指的是 。那么这二者有什么关系呢?答案是没有关系(
简单举个反例:抛掷两次均匀的硬币,令
第一枚正面朝上 , 第二枚正面朝上 , 两枚硬币结果相反 。于是有 ,但是 。也就是说,独立性不能推出条件独立性。一组事件的相互独立性涉及到概率空间
中的一组事件 ,如果对于任意非空子集 ,都有 ,那么称这一组事件是相互独立的。根据
的完备性可以知道,两两独立性也不能推出一组事件的相互独立性。TODO:记得复习一下赌徒破产模型。
随机变量何种情况下是良定义的?
- 设
为可测空间,如果 上的函数 满足:对 , ,则称 为 上的随机变量。
- 设
Lecture 4
对于离散型随机变量
,称 为 的概率分布,称 为概率分布列,简称为 。当其规律不够明显时可以写成表格形式。两点(
)分布:掷硬币或正或反, 。二项(
)分布:试验成功的概率为 ,重复 次试验成功 次的概率, 。它是二项式展开的其中一项,故名二项分布。二项分布的最大可能值(即中心项)的推断:考虑二项式展开。
......这里空间不够大,别的写不下了(其实是不需要记忆离散型分布的名字,会讲故事就行。
泊松(
)分布: 。一般来说,记随机变量 表示 服从参数为 的泊松分布。放射粒子模型揭示了二项分布可以用泊松分布近似的事实。
TODO:复习粒子模型,做书上习题
。
对于连续型随机变量的定义如下:设随机变量
,如果存在非负函数 满足对任意的 , ,则称 为连续型随机变量。称 为 的概率密度函数,简称概率密度或者密度( )。这并不意味着
是连续函数,因为样本空间可能没有任何的拓扑结构,谈不上连续性。均匀(
)分布: ,此时记 。指数(
)分布: ,此时记 。如果
是连续型非负随机变量,则 服从指数分布的充要条件是 没有记忆性,也就是说 。(可以由条件概率公式证出,Trivial.) 的失效率就是单位长度时间内失效的概率,可推知即为 。也称其为尺度参数(rate parameter)。TODO:再推一遍
时, ,则 。正态分布(
): ,此时记 。正态分布的函数图像关于
对称,在此处取最大值 。关于 处有拐点。
Lecture 5
概率分布函数(
):对随机变量 ,称 的函数 为 的概率分布函数,也称为累积分布函数,分布函数。对一个
书写 ,它一般是一个分段函数。对一个
书写 ,记随机变量 的概率密度为 ,则其分布函数为 。 对于一个已知的 ,只能确定连续点 处的概率密度为 ,显然在不连续点处是无法确定的。- 注:连续型随机变量的概率密度不必为连续函数,允许可列个单点断开。那它为什么叫连续型呢?这与
的形式有关。同时离散型这一形容也与 有关。
- 注:连续型随机变量的概率密度不必为连续函数,允许可列个单点断开。那它为什么叫连续型呢?这与
举个例子:标准正态分布的概率密度为
。其分布函数记为 ,其值需要查表,当然也可以丢进 MATLAB 算,但是不要求(再举个例子:正态分布函数的概率密度计算中,可以对
进行换元,从而变为标准正态分布的情况。再再举个例子:指数分布的分布函数要注意分段,考虑
的情况。TODO:去看一下几何随机变量和指数随机变量的分布函数的逼近,这是利用
寻找 之间关系的例子。分布函数对一切随机变量都适用,这是它相对
的优势。
对于一个随机变量
的函数 ,怎么去寻找 的概率分布?(这一部分其实是做题方法)最简单的情形:
是离散型随机变量,对每一个 的取值 ,确定 时的概率分布列即可。有需要的话还可以化成 。曲线救国:考察
的分布,若 是连续函数,那么可以先得到 的 为 ,再求导得到 。特殊情况 1:线性的
可以直接从 得到 而无需计算 。形如
,有 。(其实还是用 证明的)特殊情况 2:对于严格单调的
,考虑 。记 是 的逆映射,于是 ,这可以通过考虑事件 来证明。特殊情况 3:像正态分布这样的特殊分布,遇到的时候建议先考虑能不能在
的尺度先行利用对称性化简。
Lecture 6
维随机向量:如果 都是概率空间 上的随机变量,那么称 为概率空间 上的 维随机向量。那么怎么从随机变量上迁移来诸多的概念呢?
联合概率分布函数:设
为随机向量,称 上的 元函数 为 的联合概率分布函数,简称为联合分布或者分布函数。有关离散型随机向量:如果
都是离散型随机变量,则称 为离散型随机向量。如果所有 的不同取值为 ,则称 是 的联合分布列。举个例子:设
是 的联合分布,则 有概率分布: , 。于是,对于矩形
,有 。
有关连续型随机向量:简单来说,考虑二维的情形,如果
有联合密度 ,则 和 分别有概率密度 , 。延拓到
维的情况,被积函数 是为 的联合密度,称之为边缘密度(Marginal PDF)。连续型随机向量的独立性:对每个
,随机变量 有概率密度 ,则 相互独立的充分必要条件为随机向量 有联合密度 。经典连续型随机向量例:二元正态分布
设
为常数, 为正常数, 中的常数。如果随机向量 有概率密度 ,那么称
服从二元正态分布,记为 。- 一些性质:
独立的充要条件是 。(Trivial)
- 一些性质:
联合分布(Joint CDF)与联合密度(Joint PDF):已知联合密度
,于是有联合分布 。当
连续时,有 。更一般地,如果该混合偏导数不存在,那么 。连续型条件概率分布:设随机向量
有联合密度 , 有边缘密度 。若在确定的 处 ,则称 为给定条件 下, 的条件分布函数(conditional CDF),记为 。于是条件分布密度为
。(conditional PDF)一些性质:
$F_{X|Y}(x|y)=P(Xx|Y=y)={-} ^x f{X|Y}(s|y)ds, x R $。
如果
关于 连续,且除去至少可列个点后有连续的导数,则在偏导数存在时, ,否则为 。
期中插播提示
关于连续型概率分布之前的误解:连续型的随机变量不能随便取单点的概率,因为单点处的概率就是
,这就是为什么要定义一个概率密度的原因。概率密度的大小可以是任意的,不一定要小于 ,只要它的积分能够表示某一段(区域)的概率即可,这个在联合分布中有比较多的体现。总之,虽然
,但是 不等同于 。同理,如果要算条件概率的话,可以用 ,也就是对 cond PDF 来积分求解。(但是,出于记忆公式的方便考虑,我还是会把它当成单点处的概率来列写公式(
关于随机变量的独立性,定义如下:设
是 上的随机变量,如果对任意的实数 有 成立,则称随机变量 相互独立。同时,设随机变量
相互独立, 是一元实可测函数, 是 元实可测函数,则:- 随机变量
相互独立; - 随机变量
相互独立。
这在样题的某个判断题中,以离散型随机变量的形式出现了,于是我自己证明了一下。实际上是一个更一般的结论。
- 随机变量
单调事件列的概率极限问题:以单调增序列
为例,有结论 ,于是极限概率为: 。对于一些不单调的事件序列,可以用交并补构造一个单调序列,使得可以使用上述规律。
事件列的上下极限的通俗说法:设
是 中的一个事件列,定义上下极限为: 属于无穷多个 。 属于所有的 除去有限个 。当上下极限相等时称
的极限存在。条件概率中会忘记的常识:对互不相容的事件列
,有 。一个 insight:求条件概率时我们可以把
之外的结果排除掉,记作 ,这个事件域上完全可以有概率分布,因此不必为折棒太郎题惊讶。注意一组事件“相互独立”所要求的完备性。
复习指南:
以上全部 TODO
去看一下习题课中《一个有助于理解独立性的题目》和 Polya 坛子问题第二问。
Poisoner's Dilemma
A family has two girls while at least one names Lilia
记一下几个重要分布,以及二元正态
过一遍离散型、连续型随机向量的独立性证明,二元正态分布的独立性证明。
折棒太郎折木棍问题的随机向量表述,Buffon 问题
最后是一个我比较个人向的整理,根据考试重点和过往习题。Click Here
记得多用归纳!
Lecture 7
又是全新的一门课辣(自我洗脑)