最小二乘法
- 选取 使残差的绝对值之和最小
- 选取 使残差的绝对值的最大值最小
- 选取 使残差平方和s最小
为了便于计算、分析与应用，较多地根据“使残差平方和最小”的原则（称为最小二乘原则）来选取拟合曲线y=p（x），称为最小二乘法
定义1：关于节点线性无关
与线性代数中的定义有区别，可以允许只是关于节点线性无关
定义2：最小二乘拟合函数&最小二乘拟合多项式
最小二乘法解决问题的两个基本环节
- 线性无关函数函数系的选择
考试中都是用的多项式，但是实际中可能会根据数据主观判断选取合适的函数系
- 按照最小二乘原则确定系数
还有一个问题，就是m应该取多少？
一般线性无关函数系拟合
符号很繁杂，但是实际上就是最简单的求偏导；搞清楚各个符号的含义即可
不怕麻烦的把方程组列完整，也就是：
对于上面的每一个方程，可以容易地整理成下面的形式：（手推一遍并不难！）
这样变换的目的是为了用出现内积的形式，用内积简化方程的形式
因此，上述方程组中每一个方程用内积可以表达为：
进一步简化数学形式，我们把方程组改写成矩阵的形式（只是形式上的变换而已）
称为法方程组或正规方程组，其中系数矩阵具有良好的对称性，方便我们记忆
代数多项式拟合
代数多项式拟合的形式如下图所示
对于多项式而言，其内积的形式可以进一步简化，得到所谓法方程组：
其中，n为数据点的个数，m为多项式的次数。这个方程组的系数矩阵是一个对称矩阵，每一行（列）的幂次依次增加。求解这个方程组即可得到最小二乘多项式的系数。
不求甚解的话，最后就是背这个法方程组
