一、概率推理概览
1.1 不确定性 (Uncertainty)
在现实世界中，我们经常面临不确定性。概率推理为我们提供了一个框架来管理我们的信念和知识。
- 观察变量 (Evidence): 代理（Agent）已知的关于世界状态的信息，例如传感器读数或症状。
- 未观察变量: 代理需要推理的其他方面，例如对象的位置或存在的疾病。
- 模型 (Model): 代理拥有的关于已知变量如何与未知变量相关的知识。
1.2 随机变量 (Random Variables)
随机变量是世界上我们可能不确定的某个方面。 随机变量用大写字母表示，并且有其对应的定义域 (domains)。
随机变量的值用对应的小写字母表示
二、概率分布 (Probability Distributions)
2.1 单个随机变量的分布
概率分布将每个可能的值与一个概率相关联。 对于未观察到的随机变量，它们具有概率分布。 分布是一个关于各种取值的概率表。
- 特性:
- 对于任意 ,
- 示例:
温度的概率分布 P(T) | ㅤ |
T | P |
hot | 0.5 |
cold | 0.5 |
天气的概率分布 P(W) | ㅤ |
W | P |
sun | 0.6 |
rain | 0.1 |
fog | 0.3 |
meteor | 0.0 |
- 速记符号: P(hot) 等同于 P(T=hot)，前提是所有定义域条目都是唯一的。
2.2 联合分布 (Joint Distributions)
联合分布描述了一组随机变量 X1,X2,...,Xn 每种可能赋值（或结果）的概率。
- 表示: 或
- 特性:
- 大小: 如果有 n 个变量，每个变量的定义域大小为 d，则联合分布的大小为 dn。对于较大的分布，直接写出是不切实际的。
- 示例 P(T,W):
T | W | P |
hot | sun | 0.4 |
hot | rain | 0.1 |
cold | sun | 0.2 |
cold | rain | 0.3 |
2.3 概率模型 (Probabilistic Models)
概率模型是一组随机变量上的联合分布。 它定义了哪些赋值（结果）是可能的或更可能的。 理想情况下，只有某些变量直接相互作用。
2.4 事件 (Events)
事件是一组结果 E 的集合。 事件的概率是该事件中所有结果概率的总和。
我们可以从联合分布中计算任何事件的概率。
2.5 边际分布 (Marginal Distributions)
边际分布是通过对其他变量求和（边缘化）来消除变量后得到的子表。
- 计算:
- 示例 (基于上述 P(T,W) ):
- P(T)
- P(W)
T | P |
hot | 0.5 |
cold | 0.5 |
W | P |
sun | 0.6 |
rain | 0.4 |
2.6 条件概率 (Conditional Probabilities)
条件概率 是在给定 b 发生的条件下 a 发生的概率。
- 示例 (基于上述 P(T,W) ):
其中：
2.7 条件分布 (Conditional Distributions)
条件分布是在给定其他变量固定值的情况下，某些变量的概率分布。
- 示例 (基于上述 P(T,W) ):
P(W|T=hot) | ㅤ |
W | P |
sun | 0.8 |
rain | 0.2 |
P(W|T=cold) | ㅤ |
W | P |
sun | 0.4 |
rain | 0.6 |
三、归一化技巧 (Normalization Trick)
归一化是一种计算条件概率的便捷方法。其步骤如下：
- 选择 (Select): 选出与证据（evidence）一致的联合概率。
- 归一化 (Normalize): 将选出的概率相加得到归一化常数 Z（即证据的概率 P(evidence)），然后将每个选出的概率除以 Z，使得它们的和为1。
- 原理:
为了避免计算，我们直接算出每一个最后归一化即可
四、概率推断 (Probabilistic Inference)
概率推断是指从已知的其他概率（例如，从联合概率计算条件概率）计算期望的概率。 通常我们计算的是条件概率，这些概率代表了代理在给定证据下的信念。 当观察到新的证据时，信念会随之更新。
4.1 枚举推理 (Inference by Enumeration)
这是一种通用的推理方法。 假设我们有：
- 查询变量 (Query Variable): Q
- 我们关心的变量
- 证据变量 (Evidence Variables):
- 我们已知的条件
- 隐藏变量 (Hidden Variables):
- 我们未知的条件
目标是计算 。
- 步骤:
- 选择 (Select): 选出与证据 e1...ek 一致的联合概率分布中的条目。
- 求和/边缘化 (Sum out): 对隐藏变量 H1...Hr 进行求和，得到查询变量和证据变量的联合概率
- 归一化 (Normalize):
其中 。
五、概率规则
5.1 乘法法则 (The Product Rule)
乘法法则是条件概率定义的直接推论，它允许我们从条件分布和先验概率得到联合分布。 可表示为。
5.2 链式法则 (The Chain Rule)
链式法则是乘法法则的推广，可以将任何联合分布表示为一系列条件概率的乘积。
例如：
5.3 贝叶斯法则 (Bayes' Rule)
贝叶斯法则是通过交换条件概率中的条件和结果来计算条件概率的一种重要方法。
- 重要性: 它允许我们从一个条件概率（通常更容易获得或已知）推导出其相反的条件概率。这是许多人工智能系统的基础。
- 应用: 常用于从"因果"概率推断"诊断"概率。
5.4 先验概率与后验概率
在贝叶斯推理中，先验概率和后验概率是两个重要概念：
- 先验概率 (Prior Probability): 在获得新证据之前对某个假设的初始信念。它反映了我们在观察任何证据之前对事件发生可能性的估计。
- 后验概率 (Posterior Probability): 在观察到新证据后更新的信念。它是通过贝叶斯法则，结合先验概率和新证据计算得出的。
二者的关系可以通过贝叶斯公式表示：
其中：
- P(hypothesis) 是先验概率
- P(hypothesis|evidence) 是后验概率
- P(evidence|hypothesis) 是似然度
- P(evidence) 是归一化常数
六、独立性 (Independence)
6.1 (绝对) 独立性 (Absolute Independence)
如果两个随机变量 X 和 Y 在联合分布中是独立的，则它们的联合概率等于它们各自概率的乘积。
或者等价地，对于所有的 ，。
表示为 。
独立性可以作为一种建模假设，简化问题，但通常变量之间并非完全独立。
6.2 条件独立性 (Conditional Independence)
无条件（绝对）独立性在现实中非常罕见。条件独立性是我们理解不确定环境时更基本、更稳健的知识形式。当给定变量 Z 时，如果 X 条件独立于 Y，这意味着在已知 Z 的值的情况下，了解 X 的信息不会为我们提供关于 Y 的任何额外信息（反之亦然）。
定义: X 条件独立于 Y 给定 Z () 当且仅当：
或者等价地：
（有没有y对x没有影响）
