《概率论与数理统计》教学视频全集(宋浩)
html2text | atoolbox.net
机器学习的数学基础 三部曲的最后一个:高等数学、线性代数、概率论与数理统计,加油。
概率论重新翻看了一遍,机器学习数学基础三部曲终于完成了。
感觉概率论讲了三个事情:
- 已知概率分布,推结论;
- 根据抽样,反推概率分布;
- 假设检验,评估推出来的概率分布是否准确。
- 区间估计:参数未知,用统计量估计未知的参数。
- 假设检验:参数已知(假设已知),利用统计量检验已知的参数是否靠谱。
这 4 部分数学知识的作用分别是:
- 概率统计是利用数据发现规律、推测未知的思想方法。
- 线性代数是利用空间投射和表征数据的基本工具。
- 微积分与最优化是机器学习模型中最终解决方案的落地手段。
- 概率图和随机过程是构成机器学习中的核心思想和大量核心应用。
完成。
完成。
完成。
P(A∣B)=P(AB)P(B)
P(AB)=P(B|A)P(A)
P(B)=n∑i=1P(Ai)P(B∣Ai)
P(A|B)=P(AB)P(B)=P(B|A)P(A)P(B)=P(B|A)P(A)∑P(B|Ai)P(Ai)
P(A|B)=P(A)
A⋅B 独立 ⇔P(AB)=P(A)P(B)
二项概率公式:
Pn(k)=Cknpk(1−p)n−k=Cknpkqn−k
q=1−p
- 概率为 0 的事件未必不可能事件。
- 概率为 1 的事件未必是必然事件。
p(X=k)=Cknpk(1−p)n−k,k=0,1,2,...n
λkk!e−λ,k=0,1,2....
P(X=k)=CkMCN−Mn−kCkn,k=0,1,2,....
- 二项分布,n>=100,np<=10,那个泊松分布近似计算 λ=np。
- 超几何分布,N 大,n/N 小,近似为二项分布,近似泊松分布。
f(x)=1√2πσe−(x−μ)22σ2(μ∈R,σ>0)
则称 X 服从参数为
(μ,σ2)
的正态分布(normal distribution),记为
X−N(μ,σ2)
通过新的变量
z=x−uσ 替换原有的变量
x ,
这样就完成了
x∼N(u,σ2) 到
z∼N(0,1) 标准化。
泊松分布具有可加性。
卷积公式。
定义:X的分布律:P[X=xk]=pk,k=1,2,...X的概率密度函数:f(x)随机变量X的期望/均值:E(X)=∑∞k=1xkpkE(X)=∫∞−∞xf(x)dx性质:C为常数E(C)=CE(CX)=CE(X)E(X+Y)=E(X)+E(Y)X,Y相互独立E(XY)=E(X)E(Y)
偏离程度。
方差 : D(X)=E(X2)−E(X)2
度量随机变量X与其均值E(X)的偏离程度E[|X−E(X)|]定义:方差:D(X)=Var(X)=E([X−E(X)]2)标准差:σ(X)=√D(X)D(X)=E(X2)−[E(X)]2性质:C是常数D(C)=0D(CX)=C2D(X)D(C+X)=D(X)D(X+Y)=D(X)+D(Y)+2E[(X−E(X)(Y−E(Y)]若X,Y相互独立D(X+Y)=D(X)+D(Y)标准化:设E(X)=μ,D(X)=σ2定义:X∗=X−μσ⟹E(X∗)=0,D(X∗)=1
概率论六大分布:
- (离散)0-1、二项、泊松
- (连续)均匀、指数、正态
数理统计三大分布:
这集很有意思,每个分布的推导过程。
- 0-1。例如硬币投掷(正面或反面)、产品合格或不合格的检验等等。
- 二项。在二项分布中,每次试验有两种可能的结果,通常用 0 和 1 来表示(或者用其他两个互斥的值)。
- 几何。几何分布描述了在多次试验中首次成功所需要的试验次数的概率分布。
- 泊松。例如自然灾害的发生次数、客户到达商店的次数、电子邮件到达某个邮箱的次数等等。
这一段很有意思,反复套娃,老师讲着讲着突然来了句,“我讲的,都是些什么玩意?!”
D(X±Y)=DX+DY±2Cov(X.Y)
Cov(X.Y)=E(XY)−EXEY
独立时,协方差一定等于零。协方差等于零不一定独立。因为有特殊情况。
特征工程里面消量纲。
定义:协方差:Cov(X,Y)=E[(X−E(X)(Y−E(Y))]性质:Cov(X,Y)=Cov(Y,X)Cov(X,X)=D(X)Cov(X,Y)=E(XY)−E(X)E(Y)Cov(aX,bY)=abCov(X,Y)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)标准化:相关系数(线性):ρXY=Cov(X,Y)√D(X)√D(Y)|ρXY|≤1|ρXY|大⟹X,Y线性相关程度好;ρXY=0⟹X,Y线性不相关
协方差矩阵
2个随机变量X1,X2:协方差矩阵Σ={Cov(X1,X1)Cov(X1,X2)Cov(X2,X1)Cov(X2,X2)}={σ21σ12σ21σ22}3个随机变量X1,X2,X3:协方差矩阵Σ={σ21σ12σ13σ21σ22σ23σ31σ32σ23}
协方差
https://www.bilibili.com/video/BV1Ap4y1n7Xm
ρ=cov(X,Y)√DX√DY=E(XY)−EXEY√DX√DY
玄甲青梅竹马
朝露春水桃花
蛾眉朱雀黄桐
蚍蜉金缕太阿
二项分布。
- n 大,np 适中。看成 泊松分布。
- n 大,np 大。看成 正态分布。
卡方分布
χ2
分布是由 n 个相互独立的标准正态分布的平方和确定的分布,记作 χ2∼χ2(n),
即
χ2=∑ni(N(0,1))2i∼χ2(n)。
t
分布的分子是一个 N(0,1),
分母是自由度为 n 的 χ2 分布与自由度 n 的比值再开方确定的分布,
记作 t∼t(n),即
t=N(0,1)√χ2(n)/n∼t(n)。
F
分布是由两个 χ2 分布与其自由度比值的比值确定的分布,记作 F∼F(n1,n)。
宋浩劝学
宋浩老师讲了一段,我们为什么要努力?
生活是现实,不是童话,主要是让家人更 体面 一点,更舒服一点。
- 总体的概率(离散)/ 密度(连续)函数。
- 写似然函数 L(λ),参数是 λ。
- 两边取的 ln lnL(λ)
- 对 λ 求导,令导数 =0。
无偏性、有效性、一致性。
求期望:
无偏性 Eˆθ=θ
求方差:
有效性 D(ˆθ1)≤D(ˆθ2)
求极限:
lim
枢轴
- 机关运转的中轴。比喻中央权力机关或相位。
- 喻中枢,中心。
这个不好,后面的 姜老师 黑板书 版本更好。
U=\frac{\bar{x}-\mu_0}{\sigma_0 / \sqrt{n}} \sim N(0,1)
T=\frac{\bar{X}-\mu_0}{S / \sqrt{n}} \sim t(n-1)
这个是 黑板 板书版本。
- 区间估计:参数未知,用统计量估计未知的参数。
- 假设检验:参数已知(假设已知),利用统计量检验已知的参数是否靠谱。
- 1.1 随机事件 1:00:07
- 1.2 (0)排列组合的补充知识 52:01
- 1.2 古典概型 23:33
- 1.2 几何概率模型 32:31
- 1.2 公理化定义 32:40
- 1.3 条件概率 15:23
- 1.3 乘法公式 35:16
- 1.4 全概率公式 28:00
- 1.4 贝叶斯公式 38:36
- 1.5 独立性 1:12:05
- 1.5 伯努利概型 28:09
- 2.1 随机变量的概念 14:01
- 2.3.1 常见离散型变量的分布 1:26:12
- 2.3.1 超几何分布 17:27
- 2.3.2 均匀分布指数分布 30:08
- 2.3.2 正态分布 1:02:23
- 2.4.1 离散变量函数的分布 12:16
- 2.4.2 连续函数变量函数的分布 OK 35:19
- 3.1.1 二维随机变量及其分布函数 17:53
- 3.1.2 二维离散型的联合概率分布和边缘概率分布 22:17
- 3.1.3 二维连续型的联合概率密度及其边缘概率密度 1:15:26
- 3.2.1 条件分布的概念 16:13
- 3.2.2 离散型的条件概率分布 17:47
- 3.2.3 连续型的条件分布 43:57
- 3.2.4 随机变量的独立性 25:19
- 3.3.1 二维离散型随机变量函数的分布 12:21
- 3.3.2 二维连续型随机变量函数的分布 44:47
- 4.1.1 离散型随机变量的数学期望 05:51
- 4.1.2 连续型变量的数学期望 12:12
- 4.1.3 随机变量函数的期望 20:32
- 4.1.4 数学期望的性质 18:18
- 4.1.5 条件数学期望 07:02
- 4.2.1 方差的概念 26:18
- 4.2.2 方差的性质 19:29
- 4.3.1 常见离散型分布的数学期望和方差 16:29
- 4.3.2 常见连续型的期望和方差 16:45
- 4.4.1 协方差 24:38
- 4.4.2 相关系数 30:00
- 4.5 随机变量的矩 14:11
- 5.1 大数定律 42:28
- 5.2 中心极限定理 39:59
- 6.1 总体与样本 11:09
- 6.2 统计量 27:33
- 6.3.1 重要分布 36:01
- 6.3.2 正态总体下的抽样分布 17:26
- 7.1.1 矩估计法 40:04
- 7.1.2 极大似然估计法 25:47
- 7.2 点估计优良性准则 40:15
- 7.3.1 置信区间的概念 13:55
- 7.3.2 一个正态总体参数的区间估计 32:37
- 7.3.3 两个正态总体参数的区间估计 10:21
- 【1】加法原理乘法原理 08:39
- 【2】排列 17:57
- 【3】组合 16:47
2024-08-19: review
参考资料快照