概率论基础知识（一）概率论基本概念 |
您所在的位置：网站首页 › 概率的基本计算 › 概率论基础知识（一）概率论基本概念 |
概率论基础知识（一）概率论基本概念
|
概率论
0. 前言
本文主要旨在对概率论的基础概念与知识进行概要的总结，以便于使用到时可以参考。 概率论是数理统计的基础，也是很多机器学习模型的支撑，概率论在机器学习中占主要地位，因为概率论为机器学习算法的正确性提供了理论依据。 1. 概率论的基本概念 1.1 基本概念 随机实验（E）（1）可以在相同的条件下重复地进行 （2）每次实验的可能结果不止一个，并且事先明确知道实验的所有可能结果 （3）每次试验将出现哪一个结果无法预知 例子：抛一枚硬币，观察正面，反面出现的情况 样本空间 (Ω)随机试验所有可能的结果组成的集合 样本点样本空间的元素，即每个可能的结果 随机事件随机试验E的样本空间S的子集称为随机事件 基本事件样本空间的单个元素，一个可能结果构成的集合 必然事件（全集）、不可能事件（空集） 事件的关系与事件的运算 （类似于集合运算）包含关系、和（并）并事件、积（交）事件、差事件、互不相容（互斥）、逆事件（对立事件） 1、交换律： A ∪ B = B ∪ A A∪B = B∪A A∪B=B∪A A ∩ B = B ∩ A A ∩ B = B ∩ A A∩B=B∩A 2、 结合律： A ∪ ( B ∪ C ) = ( A ∪ B ) ∪ C A∪ (B∪ C) = (A∪ B) ∪ C A∪(B∪C)=(A∪B)∪C A ∩ ( B ∩ C ) = ( A ∩ B ) ∩ C A ∩ (B ∩ C)=(A ∩ B) ∩ C A∩(B∩C)=(A∩B)∩C 3、分配律： A ∪ ( B ∩ C ) = ( A ∪ B ) ∩ ( A ∪ C ) A∪ (B ∩ C) = (A∪ B) ∩ (A ∪ C) A∪(B∩C)=(A∪B)∩(A∪C) A ∩ ( B ∪ C ) = ( A ∩ B ) ∪ ( A ∩ C ) A ∩ (B∪C) = (A ∩ B) ∪ (A ∩ C) A∩(B∪C)=(A∩B)∪(A∩C) A ∩ ( B − C ) = ( A ∩ B ) − ( A ∩ C ) A ∩ (B - C) = (A ∩ B) - (A ∩ C) A∩(B−C)=(A∩B)−(A∩C) 4、德摩根律（对偶律）： A ∪ B ‾ = A ‾ ∩ B ‾ \overline{A ∪ B} = \overline{A} ∩ \overline{B} A∪B=A∩B A ∩ B ‾ = A ‾ ∪ B ‾ \overline{A ∩ B} = \overline{A} ∪ \overline{B} A∩B=A∪B 常用结论： A A ‾ = Φ A\overline{A} = Φ AA=Φ； A ∪ A ‾ = Ω A∪\overline{A} = Ω A∪A=Ω； A ∪ B = A + B − A B = ( A − B ) + ( B − A ) + A B A ∪ B = A+ B − AB = (A − B) + (B − A) + AB A∪B=A+B−AB=(A−B)+(B−A)+AB 1.2 频率与概率 频率定义：在相同条件下，进行n次试验，在这n次试验中，事件A发生的次数，称为事件A发生的频数，比值：f = 频数／试验次数，称为事件A发生的频率。 基本性质： （1）0 0 ，且 P(B|A) = P(B) 等价于 AB相互独立 定理2：若A、B相互独立，则其对立事件也相互独立 可以很自然的推广到n个事件的情况 例： 甲、乙两种产品独立生产，甲产品的次品率0.05，乙产品的次品率0.04，现从甲乙产品中各区一件： （1）两件都是次品的概率P1； （2）至少有一件是次品的概率P2； （3）恰好有一件是次品的概率P3。 解： 设A事件为抽取甲为次品，B事件为抽取乙为次品 由于A、B相互独立，故：A， A ‾ \overline{A} A； A ‾ \overline{A} A，B； A ‾ \overline{A} A， B ‾ \overline{B} B；相互独立 （1） P 1 = P ( A B ) = P ( A ) ⋅ P ( B ) = 0.05 × 0.04 = 0.002 P1=P(AB)=P(A)·P(B)=0.05×0.04=0.002 P1=P(AB)=P(A)⋅P(B)=0.05×0.04=0.002 （2） P 2 = P ( A ⋃ B ) = 1 − P ( A ⋃ B ‾ ) = 1 − P ( A ‾ B ‾ ) = 1 − P ( A ‾ ) P ( B ‾ ) = 1 − 0.95 × 0.96 = 0.088 P2=P(A \bigcup B)=1-P(\overline{A\bigcup B})=1-P(\overline{A}\overline{B})=1-P(\overline{A})P(\overline{B})=1-0.95×0.96=0.088 P2=P(A⋃B)=1−P(A⋃B)=1−P(AB)=1−P(A)P(B)=1−0.95×0.96=0.088 （3） P 3 = P ( A B ‾ ⋃ A ‾ B ) = P ( A B ‾ ) + P ( A ‾ B ) = P ( A ) P ( B ‾ ) + P ( A ‾ ) P ( B ) = 0.86 P3=P(A\overline{B}\bigcup \overline{A}B)=P(A\overline{B})+P(\overline{A}B)=P(A)P( \overline{B})+P(\overline{A})P(B)=0.86 P3=P(AB⋃AB)=P(AB)+P(AB)=P(A)P(B)+P(A)P(B)=0.86 PS：独立性和互不相容性 （1）加法公式对应互不相容性； （2）乘法公式对应独立性； 1.6 蒙特霍尔三门问题游戏规则： 参赛者会看见三扇关闭的门，其中一扇的后面有一辆汽车，选中后面有车的那扇门就可以赢得该汽车，另两扇门后则各藏有一只山羊。当参赛者选定了一扇门，但未去开启它的时候，知道门后情形的节目主持人会开启剩下两扇门的其中一扇，露出其中一只山羊。主持人其后会问参赛者要不要换另一扇仍然关上的门。概率求解（python实现）： import random def MontyHall(Dselect, Dchange): Dcar = random.randint(1,3) if Dselect == Dcar and Dchange == 0: return 1 elif Dselect == Dcar and Dchange == 1: return 0 elif Dselect != Dcar and Dchange == 0: return 0 else: return 1 # 不确定是否改变选择 def test1(N): win = 0 for i in range(N): Dselect = random.randint(1,3) Dchange = random.randint(0,1) win = win + MontyHall(Dselect, Dchange) print(float(win)/float(N)) # 确定不改变选择 def test2(N): win = 0 for i in range(N): Dselect = random.randint(1,3) Dchange = 0 win = win + MontyHall(Dselect, Dchange) print(float(win)/float(N)) # 确定改变选择 def test3(N): win = 0 for i in range(N): Dselect = random.randint(1,3) Dchange = 1 win = win + MontyHall(Dselect, Dchange) print(float(win)/float(N)) N = 10000 print("不确定是否改变选择概率：") test1(N) print("确定不改变选择概率：") test2(N) print("确定改变选择概率：") test3(N)运行结果： 不确定是否改变选择概率： 0.4939 确定不改变选择概率： 0.3307 确定改变选择概率： 0.6618 1.7 蒙特卡罗方法 蒙特卡罗方法，或称计算机随机模拟方法，是一种基于“随机数”的计算方法。使用随机数（通常是伪随机数）来解决计算问题的方法。蒙特卡罗方法在金融工程学，宏观经济学，计算物理学等领域应用广泛。 # 计算$\pi$的蒙特卡洛方法 import random n=1000000 k=0 for i in range(n): x=random. uniform(-1,1) y=random. uniform(-1,1) if x**2+y**2 |
【本文地址】