数据融合
数据融合是指如何通过融合两个独立的测量值，并最小化融合后结果的方差，来获得对真实值的最优估计。这个方法是卡尔曼滤波思想的核心之一。
一、问题设定
1. 估计模型
假设我们有两个对同一物理量的测量值， 和 。我们可以通过一个线性组合来构造对真实值的估计 ：
这个公式也可以写成两个测量值的加权平均形式：
其中， 是一个权重因子，取值范围在 之间。在卡尔曼滤波的语境中， 被称为卡尔曼增益 (Kalman Gain)。
- 当 时，估计值完全依赖第一个测量值：。
- 当 时，估计值完全依赖第二个测量值：。
2. 优化目标
我们的目标是找到一个最优的权重 ，使得估计值 最接近真实值。在统计学上，这等价于让估计值 的方差 最小。
目标：求解 以最小化
二、最优K值的推导过程
1. 建立方差表达式
首先，我们计算估计值 的方差。这里我们做出一个关键假设：两个测量值 和 是相互独立的。
根据方差的性质 (当X, Y独立时)，我们有：
2. 微分求极值
为了找到使 最小的 值，我们对 关于 求导，并令导数等于零。
使用求导法则，我们得到：
简化方程：
将含有 的项移到一边：
最后，解出 ：
三、结论与解读
1. 最优权重（卡尔曼增益）
通过最小化估计方差，我们得到的最优权重 （卡尔曼增益）为：
2. 结果解读
这个结果非常直观地体现了数据融合的思想：
- 当测量值 的方差 远小于 的方差 时（即 更可信），分子 相对于分母 是一个很小的值， 会趋近于0。此时， 将主要由 决定。
- 当测量值 的方差 远小于 的方差 时（即 更可信），分母 约等于 ， 会趋近于1。此时， 将主要由 决定。
- 当两个测量值的方差相等时（），。此时，，即简单地取两个测量值的平均值，因为它们具有相同的可信度。
总之，最优估计会给方差更小（更可信）的测量值赋予更大的权重。
协方差矩阵
方差、协方差在一个矩阵中表现出来，体现变量间的联动关系
关于协方差的定义和性质请参考概统笔记
协方差矩阵的定义
对于一个包含 个随机变量的向量 ，其协方差矩阵 是一个 的矩阵，它描述了这些随机变量之间的协方差关系。
数学表达式
协方差矩阵 可以表示为：
其中 表示随机变量 和 之间的协方差：
这里 是随机变量 的期望值。
协方差矩阵的主要特性
- 对称性：由于 ，协方差矩阵是对称的，即 。
- 对角线元素：对角线元素 是变量 的方差，即 。
- 半正定性：对于任意非零向量 ，都有 。
- 相关系数：可以通过标准化协方差得到相关系数矩阵 ，其中 。
在卡尔曼滤波中，协方差矩阵是系统状态估计精度的度量，表示我们对当前状态估计的"信任程度"。协方差矩阵的元素越小，对应状态变量的估计就越精确。
利用矩阵计算协方差和协方差矩阵
1. 核心目标
将数据集中各个特征（维度）自身的方差以及特征与特征之间的协方差，高效地组织到一个矩阵中。
2. 符号约定
- : 原始数据矩阵，维度为 。
- : 样本的数量（矩阵的行数）。
- : 特征/维度的数量（矩阵的列数）。
- : 数据中心化后的矩阵。
- : 最终计算出的协方差矩阵，维度为 。
3. 计算步骤
第一步：构建数据矩阵
将你的数据整理成一个 的矩阵，其中每一行代表一个独立的样本，每一列代表一个特征。
第二步：数据中心化 (Data Centering) → 得到矩阵
数据中心化的目标是让每个特征的均值为 0。这是计算协方差的前提。
- 计算每个特征（每一列）的平均值 。
- 将原始数据矩阵 的每一列减去其对应的均值，得到中心化矩阵 。
用矩阵表达，上面两个步骤可以写成如下形式：
第三步：计算协方差矩阵
这是最核心的一步，通过一次矩阵乘法完成计算。
4. 核心公式解读
- ：
- 对角线元素: 结果矩阵 的对角线元素 是特征 的方差。它由 的第 行与 的第 列的点积计算而来，这恰好是特征 的离差平方和 。
- 非对角线元素: 结果矩阵 的非对角线元素 是特征 和特征 的协方差。它由 的第 行与 的第 列的点积计算而来，这恰好是两个特征的离差乘积之和 。
这是此方法巧妙之处。 是 矩阵，其转置 是 矩阵。两者的乘积 是一个 的方阵。
- (系数):
- 这是计算样本协方差 (Sample Covariance) 的标准做法，它提供了对总体协方差的无偏估计，在统计学中最为常用。
- 如果你的数据代表了整个总体（而非抽样），则使用 ，计算的是总体协方差 (Population Covariance)。在机器学习领域，当 很大时，两者差异可忽略，有时也用 。
