数值分析复习：逼近理论的应用——最小二乘问题、解超定、欠定方程组

本篇文章适合个人复习翻阅，不建议新手入门使用
本专栏：数值分析复习 的前置知识主要有：数学分析、高等代数、泛函分析

逼近理论的应用——最小二乘问题、解超定、欠定方程组

离散平方逼近

设全空间 $X={\mathbb{R}}^n$， 在 ${\mathbb{R}}_n$ 中取 $m<n$ 个线性无关的向量 $(X_1,\dots ,X_m)$，令 M = s p a n { X 1 , … , X m } M=span\{X_1,\dots,X_m\} M=span{X1​,…,Xm​}，则对任意 $Y\in X\backslash M$，$M$ 中存在唯一的最佳逼近元 $X^{\ast }=\sum _{i=1}^m{c}_i{X}_i$，其满足以下法方程组
$$\sum _{i=1}^m<X_i,X_j>c_i=<Y,X_j>$$若设 $A=[X_1,\dots ,X_m],C=[c_1,\dots ,c_m{]}^T$，则方程组等效于
$$A^{T}AC=A^{T}Y$$

最小二乘解

求如下的最小化问题的解
$$x\in {\mathbb{R}}^n,s.t.\min ||Ax-b|{|}_2$$由离散平方逼近的理论，其解满足
$$A^{T}Ax=A^{T}b$$

应用：求解超定、欠定方程组

我们把线性方程组 $Ax=b$ 中，
未知数多于方程个数的方程组称为欠定方程组，
未知数多于方程个数且有矛盾方程的方程组称为超定方程组。

欠定方程组一般有多个解，超定方程组一般无解，故在工程上常用1范数或2范数意义下的最佳逼近解来作为解，即上述的最小二乘解
$$x\in {\mathbb{R}}^n,s.t.\min ||Ax-b|{|}_2$$其解满足
$$A^{T}Ax=A^{T}b$$

参考书籍：《数值分析》李庆扬 王能超 易大义 编