4.4 标准正交基和格拉姆-施密特正交化

本节的两个目标就是为什么和怎么做(why and how)。首先是知道为什么正交性很好：因为它们的点积为零；$A^{T}A$ 是对角矩阵；在求 $\hat{\mathbf{x}}$ 和 $\mathbf{p}=A\hat{\mathbf{x}}$ 时也会很简单。第二个目的标是构建正交向量，通过格拉姆-施密特（Gram-Schmidt）正交化的方法选择原始基向量的组合生成直角。原始基向量就是 $A$ 的列，它可能不是正交的。标准正交基向量将会是新矩阵 $Q$ 的列。

一、标准正交矩阵 Q

一组基包含可张成空间的无关向量，这些基向量可能是以任意角度相交的（不能是 $0°$ 和 $180°$）。我们所看到的坐标轴，它们都是垂直的，而正交可以简化图形也能大大的减少计算。
一组向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_n$，当它们的点积 ${\mathbf{q}}_i\cdot {\mathbf{q}}_j=0$ 时，它们的正交的。更确切的说应该是只要 $i\ne j$ 时，${\mathbf{q}}_i^T{\mathbf{q}}_j=0$。更进一步，我们将每个向量除以它的长度，这组向量就变成了正交单位向量，它们的长度都为 $1$（标准），这组基就称为标准正交基（orthonormal）。

定义 \kern 5pt 向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_n$ 标准正交，如果：$${\mathbf{q}}_i^T{\mathbf{q}}_j=\{\begin{array}{l}0,i\ne j(正交向量)\\ 1,i=j(单位向量:||{\mathbf{q}}_i||=1)\end{array}$$标准正交列的矩阵用指定字母 $Q$ 表示。

矩阵 $Q$ 很容易处理，因为 $Q^{T}Q=I$。用矩阵语言来说就是列 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_n$ 是标准正交的，$Q$ 不一定要是方阵。

有标准正交列的矩阵 $Q$ 满足 $Q^{T}Q=I$：$$Q^{T}Q=\left[\begin{array}{c}--{\mathbf{q}}_1^T--\\ --{\mathbf{q}}_2^T--\\ ⋮\\ --{\mathbf{q}}_n^T--\end{array}\right]\left[\begin{array}{cccc}|& |& & |\\ {\mathbf{q}}_1& {\mathbf{q}}_2& \cdots & {\mathbf{q}}_n\\ |& |& & |\end{array}\right]=\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\end{array}\right]=I(\mathrm{4.4.1})$$

$Q^T$ 的第 $i$ 行乘 $Q$ 的第 $j$ 列，点积是 ${\mathbf{q}}_i^T{\mathbf{q}}_j$，非对角线（$i\ne j$）上的元素因为正交性它们的点积都为零；对角线（$i=j$）上的元素是 $1$，因为单位向量有 ${\mathbf{q}}_i^T{\mathbf{q}}_i=||{\mathbf{q}}_i|{|}^2=1$。通常 $Q$ 是矩形（$m>n$），有时也有 $m=n$。$$当Q是方阵时，Q^{T}Q=I意味着Q^T=Q^{-1}：转置=逆$$如果列仅仅是正交但不是单位矩阵，点积仍然得到对角矩阵（不是单位矩阵）。对角矩阵和单位矩阵 $I$ 基本上一样，重要的是正交性 —— 单位化很简单。
重复：尽管 $Q$ 是个矩形矩阵，仍然有 $Q^{T}Q=I$，这种情况下 $Q^T$ 只是左逆矩阵。对于方阵来说，也有 $Q^{T}Q=I$，所以 $Q^T$ 是 $Q$ 的双边逆矩阵。方阵 $Q$ 的行像它的列一样都是正交的，此时逆矩阵就是转置矩阵。方阵的情况下我们称 $Q$ 是正交矩阵。（只有当 $Q$ 是方阵时我们才称为正交矩阵：orthogonal matrix。）
下面是正交矩阵的三个例子：旋转（rotation）、置换（permutation）和反射（reflection）。最快的检验方法就是检查 $Q^{T}Q=I$。

【例1】（旋转）$Q$ 将平面的任意向量旋转角度 $\theta$：

$$Q=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]和Q^T=Q^{-1}=\left[\begin{array}{cc}\cos \theta & \sin \theta \\ -\sin \theta & \cos \theta \end{array}\right]$$

$Q$ 的列是正交的（可以通过它们的点积进行验证），它们也是单位向量，因为 ${\sin }^2\theta +{\cos }^2\theta =1$。这些列是平面 ${\text{R}}^2$ 的一组标准正交基。
$Q$ 将标准基向量 $\mathbf{i}$ 和 $\mathbf{j}$ 旋转 $\theta$ 角（如 Figure 4.10a）；$Q^{-1}$ 将向量旋转 $-\theta$ 角旋转回来，它与 $Q^T$ 是一样的，因为 $\cos (-\theta )=\cos \theta$，$\sin (-\theta )=-\sin \theta$。我们有 $Q^{T}Q=I$ 且 $Q{Q}^T=I$。

【例2】（置换）这些矩阵改变将向量分量的顺序变为 $(y,z,x)$ 和 $(y,x)$：$$\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}y\\ z\\ x\end{array}\right]，\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}y\\ x\end{array}\right]$$$Q$ 的每一列的都是单位向量（它们的长度很明显都是 $1$），且都是正交的（$1$ 是在不同的位置）。置换矩阵的逆矩阵就是它的转置：$Q^{-1}=Q^T$。逆矩阵将向量的分量又变回原先的顺序：$$逆=转置：\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]\left[\begin{array}{c}y\\ z\\ x\end{array}\right]=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]，\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}y\\ x\end{array}\right]=\left[\begin{array}{c}x\\ y\end{array}\right]$$

每个置换矩阵都是一个正交矩阵。

【例3】（反射）如果 $\mathbf{u}$ 是任意的单位向量，令 $Q=I-2{\mathbf{uu}}^T$。注意 ${\mathbf{uu}}^T$ 是一个矩阵，而 ${\mathbf{u}}^T\mathbf{u}$ 是一个数字，且 $||\mathbf{u}|{|}^2=1$。则 $Q^T$ 和 $Q^{-1}$ 都等于 $Q$：$$Q^T=I-2{\mathbf{uu}}^T=Q且Q^{T}Q=I-4{\mathbf{uu}}^T+4{\mathbf{uu}}^T{\mathbf{uu}}^T=I(\mathrm{4.4.2})$$反射矩阵 $I-2{\mathbf{uu}}^T$ 是对称且正交的矩阵，将它平方可以得到单位矩阵：$Q^2=Q^{T}Q=I$。通过镜子反射两次会回到原始状态，就像 $(-1{)}^2=1$。注意方程（4.4.2） $4{\mathbf{uu}}^T{\mathbf{uu}}^T$ 中的 ${\mathbf{u}}^T\mathbf{u}=1$。

图中选择的方向是 $\mathbf{u}=(-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})$。计算 $2{\mathbf{uu}}^T$（列乘行）然后将其从 $I$ 中减去就可以得到在方向 $\mathbf{u}$ 的反射矩阵 $Q$：$$反射：Q=I-2\left[\begin{array}{cc}1/2& -1/2\\ -1/2& 1/2\end{array}\right]=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]，\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}y\\ x\end{array}\right]$$它会使得 $(x,y)$ 变为 $(y,x)$，但是像 $(3,3)$ 这样的向量不会改变，这是因为它就在反射线上。
旋转会保留每个向量的长度，反射和置换也一样。任何正交矩阵 $Q$ 乘上向量 —— 向量的长度和角度不会改变。（此处角度指的是相对角度，例如 $\mathbf{v}$ 和 $\mathbf{w}$。）
证明： $||Q\mathbf{x}|{|}^2=||\mathbf{x}|{|}^2$，因为 $(Q\mathbf{x}{)}^T(Q\mathbf{x})={\mathbf{x}}^T{Q}^{T}Q\mathbf{x}={\mathbf{x}}^{T}I\mathbf{x}={\mathbf{x}}^T\mathbf{x}$。

如果 $Q$ 有标准正交列 $Q^{T}Q=I$，那么它会保持长度不变：$$Q\mathbf{x}和\mathbf{x}有相同的长度对任意的向量\mathbf{x}有：||Q\mathbf{x}||=||\mathbf{x}||(\mathrm{4.4.3})$$$Q$ 也会维持点积不变：$(Q\mathbf{x}{)}^T(Q\mathbf{y})={\mathbf{x}}^T{Q}^{T}Q\mathbf{y}={\mathbf{x}}^T\mathbf{y}$。仅使用了 $Q^{T}Q=I$。

二、使用标准正交基投影：Q 代替 A

正交矩阵非常适合计算 —— 当向量长度固定时，数字的变化不会太大，稳定的计算机代码尽可能的使用 $Q$。
投影到一个子空间的所有公式都和 $A^{T}A$ 有关，$A^{T}A$ 的元素是基向量 ${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n$ 的点积 ${\mathbf{a}}_i^T{\mathbf{a}}_j$。
假设基向量是标准正交的，向量 $\mathbf{a}$ 将变为 $\mathbf{q}$，则 $A^{T}A$ 可以简化为 $Q^{T}Q=I$。看看改善后的 $\hat{\mathbf{x}}$、$\mathbf{p}$ 和 $P$。下面使用空行来替代 $Q^{T}Q$，它是一个单位矩阵：$$\_\_\hat{\mathbf{x}}=Q^T\mathbf{b}，\mathbf{p}=Q\hat{\mathbf{x}}，P=Q\_\_Q^T(\mathrm{4.4.4})$$$$Q\mathbf{x}=\mathbf{b}的最小二乘解是\hat{\mathbf{x}}=Q^T\mathbf{b}。投影矩阵是Q{Q}^T。$$这里不需要求矩阵的逆，这是标准正交基的关键所在。最优的 $\hat{\mathbf{x}}=Q^T\mathbf{b}$ 只有 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_n$ 与 $\mathbf{b}$ 的点积，我们有一维的投影！“耦合矩阵（coupling matrix）” 或 “关联矩阵（correlation matrix）” $A^{T}A$ 现在是 $Q^{T}Q=I$，不存在耦合了。当 $A$ 是 $Q$ 时，因为有标准正交列，则此时 $\mathbf{p}=Q\hat{\mathbf{x}}=Q{Q}^T\mathbf{b}$：

$$在{\mathbf{q}}^{\prime }s的投影\mathbf{p}=\left[\begin{array}{cccc}|& |& & |\\ {\mathbf{q}}_1& {\mathbf{q}}_2& \cdots & {\mathbf{q}}_n\\ |& |& & |\end{array}\right]\left[\begin{array}{c}{\mathbf{q}}_1^T\mathbf{b}\\ {\mathbf{q}}_2^T\mathbf{b}\\ ⋮\\ {\mathbf{q}}_n^T\mathbf{b}\end{array}\right]={\mathbf{q}}_1({\mathbf{q}}_1^T\mathbf{b})+{\mathbf{q}}_2({\mathbf{q}}_2^T\mathbf{b})+\cdots +{\mathbf{q}}_n({\mathbf{q}}_n^T\mathbf{b})(\mathrm{4.4.5})$$

重要情况： 当 $Q$ 是方阵 $m=n$ 时，子空间是整个空间，则因为 $Q^T=Q^{-1}$，所以 $\hat{\mathbf{x}}=Q^T\mathbf{b}$ 就与 $\mathbf{x}=Q^{-1}\mathbf{b}$ 是一样的，这个解是确切的唯一解！$\mathbf{b}$ 在整个空间的投影就是 $\mathbf{b}$ 自己。这种情况下，$\mathbf{p}=\mathbf{b}$ 且 $P=Q{Q}^T=I$。
你可能会认为在整个空间的投影不值一提，但是当 $\mathbf{p}=\mathbf{b}$ 时，我们的公式可以将 $\mathbf{b}$ 从它的一维投影中聚集起来。如果 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_n$ 是整个空间的标准正交基，那么 $Q$ 是一个方阵，任意 $\mathbf{b}=Q{Q}^T\mathbf{b}$ 都是它沿着 ${\mathbf{q}}^{\prime }s$ 的分量的和：

$$\mathbf{b}={\mathbf{q}}_1({\mathbf{q}}_1^T\mathbf{b})+{\mathbf{q}}_2({\mathbf{q}}_2^T\mathbf{b})+\cdots +{\mathbf{q}}_n({\mathbf{q}}_n^T\mathbf{b})(\mathrm{4.4.6})$$

变换： $Q{Q}^T=I$ 是傅里叶级数的基础，也是其他所有应用数学中伟大 “变换” 的基础。它将 $\mathbf{b}$ 或函数 $f(x)$ 分解成垂直的片段，然后用 $(\mathrm{4.4.6})$ 将它们加起来，逆变换可以将 $\mathbf{b}$ 或 $f(x)$ 恢复。

【例4】正交矩阵 $Q$ 的列是标准正交向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3$：$$m=n=3Q=\frac{1}{3}\left[\begin{array}{ccc}-1& 2& 2\\ 2& -1& 2\\ 2& 2& -1\end{array}\right]有Q^{T}Q=Q{Q}^T=I$$$\mathbf{b}=(0,0,1)$ 在 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3$ 上的投影分别是 ${\mathbf{p}}_1,{\mathbf{p}}_2,{\mathbf{p}}_3$：$${\mathbf{q}}_1({\mathbf{q}}_1^T\mathbf{b})=\frac{2}{3}{\mathbf{q}}_1,{\mathbf{q}}_2({\mathbf{q}}_2^T\mathbf{b})=\frac{2}{3}{\mathbf{q}}_2,{\mathbf{q}}_3({\mathbf{q}}_3^T\mathbf{b})=-\frac{1}{3}{\mathbf{q}}_3$$前两项的和是 $\mathbf{b}$ 在 ${\mathbf{q}}_1$ 和 ${\mathbf{q}}_2$ 平面上的投影，所有项的和是 $\mathbf{b}$ 在整个空间的投影 —— ${\mathbf{p}}_1+{\mathbf{p}}_2+{\mathbf{p}}_3=\mathbf{b}$ 就是它本身：$$\begin{array}{l}重构\mathbf{b}\\ \mathbf{b}={\mathbf{p}}_1+{\mathbf{p}}_2+{\mathbf{p}}_3\end{array}\frac{2}{3}{\mathbf{q}}_1+\frac{2}{3}{\mathbf{q}}_2-\frac{1}{3}{\mathbf{q}}_3=\frac{1}{9}\left[\begin{array}{c}-2+4-2\\ 4-2-2\\ 4+4+1\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\mathbf{b}$$

三、格拉姆-施密特正交化步骤

投影与最小二乘都含有 $A^{T}A$，当这个矩阵是 $Q^{T}Q=I$ 时，我们也就不需要再求逆矩阵了，一维的投影不是耦合的，最优的 $\hat{\mathbf{x}}$ 就是 $Q^T\mathbf{b}$（就是 $n$ 个分开的点积）。为了实现这个目标，我们需要向量是 “标准正交向量”。下面介绍格拉姆-施密特方法创造标准正交向量。
我们从三个无关的向量 $\mathbf{a},\mathbf{b},\mathbf{c}$ 开始，我们的目的是创造三个正交向量 $\mathbf{A},\mathbf{B},\mathbf{C}$，然后我们分别除以它们自己的长度（通常最后做比较容易）以单位化。这样就可以得到三个标准正交向量 ${\mathbf{q}}_1=\frac{\mathbf{A}}{||\mathbf{A}||}，{\mathbf{q}}_2=\frac{\mathbf{B}}{||\mathbf{B}||}，{\mathbf{q}}_3=\frac{\mathbf{C}}{||\mathbf{C}||}$。
格拉姆-施密特： 首先让 $\mathbf{A}=\mathbf{a}$，第一个就选择第一个方向，第二个方向 $\mathbf{B}$ 要与 $\mathbf{A}$ 垂直。$\mathbf{b}$ 减去它在 $\mathbf{A}$ 方向上的投影，会保留垂直的部分，这部分就是正交向量 $\mathbf{B}$：$$格拉姆-施密特第一步\mathbf{B}=\mathbf{b}-\frac{{\mathbf{A}}^T\mathbf{b}}{{\mathbf{A}}^T\mathbf{A}}\mathbf{A}(\mathrm{4.4.7})$$如 Figure 4.11，$\mathbf{A}$ 和 $\mathbf{B}$ 是正交的，方程（4.4.7）左乘 ${\mathbf{A}}^T$ 可以验证 ${\mathbf{A}}^T\mathbf{B}={\mathbf{A}}^T\mathbf{b}-{\mathbf{A}}^T\mathbf{b}=0$。向量 $\mathbf{B}$ 就是我们称之为误差向量的 $\mathbf{e}$，它垂直于 $\mathbf{A}$。注意方程（4.4.7）中的 $\mathbf{B}$ 不为零（否则 $\mathbf{a}$ 和 $\mathbf{b}$ 就是相关的了）。$\mathbf{A}$ 和 $\mathbf{b}$ 的方向现在定好了。
第三个方向从 $\mathbf{c}$ 开始，它不是 $\mathbf{A}$ 和 $\mathbf{B}$ 的组合（因为 $\mathbf{c}$ 不是 $\mathbf{a}$ 和 $\mathbf{b}$ 的组合）。大多数情况下 $\mathbf{c}$ 不会和 $\mathbf{A}$ 与 $\mathbf{B}$ 垂直的，所以 $\mathbf{c}$ 减去它在两个方向上的分量就可以得到垂直的方向 $\mathbf{C}$：$$格拉姆-施密特的下一步\mathbf{C}=\mathbf{c}-\frac{{\mathbf{A}}^T\mathbf{c}}{{\mathbf{A}}^T\mathbf{A}}\mathbf{A}-\frac{{\mathbf{B}}^T\mathbf{c}}{{\mathbf{B}}^T\mathbf{B}}\mathbf{B}(\mathrm{4.4.8})$$这个就是格拉姆-施密特方法的思路。从每个新向量中减去它在已经定好的方向的投影。这个思想在每个步骤中都重复使用。如果我们有第四个向量 $\mathbf{d}$，我们要让它减去它在 $\mathbf{A},\mathbf{B},\mathbf{C}$ 这三个方向上的投影得到 $\mathbf{D}$。

最后，或者是在得道每项以后，将这些正交向量 $\mathbf{A},\mathbf{B},\mathbf{C},\mathbf{D}$ 分别除以它们的长度。最终得到的就是标准正交向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3,{\mathbf{q}}_4$。
格拉姆-施密特的例题：假设有 $3$ 个无关的非正交向量 $\mathbf{a},\mathbf{b},\mathbf{c}$ 是：$$\mathbf{a}=\left[\begin{array}{c}1\\ -1\\ 0\end{array}\right],\mathbf{b}=\left[\begin{array}{c}2\\ 0\\ -2\end{array}\right],\mathbf{c}=\left[\begin{array}{c}3\\ -3\\ 3\end{array}\right]$$则 $\mathbf{A}=\mathbf{a}$，${\mathbf{A}}^T\mathbf{A}=2$，${\mathbf{A}}^T\mathbf{b}=2$，$\mathbf{b}$ 减去它在 $\mathbf{A}$ 上的投影 $\mathbf{p}$：$$第一步\mathbf{B}=\mathbf{b}-\frac{{\mathbf{A}}^T\mathbf{b}}{{\mathbf{A}}^T\mathbf{A}}\mathbf{A}=\mathbf{b}-\frac{2}{2}\mathbf{A}=\left[\begin{array}{c}1\\ 1\\ -2\end{array}\right]$$检验：${\mathbf{A}}^T\mathbf{B}=0$ 符合要求。下面用 $\mathbf{c}$ 减去它在 $\mathbf{A}$ 和 $\mathbf{B}$ 方向上的投影得到 $\mathbf{C}$：$$下一步\mathbf{C}=\mathbf{c}-\frac{{\mathbf{A}}^T\mathbf{c}}{{\mathbf{A}}^T\mathbf{A}}\mathbf{A}-\frac{{\mathbf{B}}^T\mathbf{c}}{{\mathbf{B}}^T\mathbf{B}}\mathbf{B}=\mathbf{c}-\frac{6}{2}\mathbf{A}+\frac{6}{6}\mathbf{B}=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$$ 检验：$\mathbf{C}=(1,1,1)$ 与 $\mathbf{A}$ 和 $\mathbf{B}$ 都垂直。最后，将 $\mathbf{A},\mathbf{B},\mathbf{C}$ 都转化为单位向量（长度为 $1$ 的标准正交向量）。$\mathbf{A},\mathbf{B},\mathbf{C}$ 的长度分别为 $\sqrt{2},\sqrt{6}$ 和 $\sqrt{3}$，分别除以它们的长度的单一组标准正交基：$${\mathbf{q}}_1=\frac{1}{\sqrt{2}}\left[\begin{array}{c}1\\ -1\\ 0\end{array}\right]，{\mathbf{q}}_2=\frac{1}{\sqrt{6}}\left[\begin{array}{c}1\\ 1\\ -2\end{array}\right]，{\mathbf{q}}_3=\frac{1}{\sqrt{3}}\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]$$通常 $\mathbf{A},\mathbf{B},\mathbf{C}$ 都含有分数，大部分的 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3$ 都会有平方根。

四、A = QR 分解

我们从矩阵 $A$ 开始，它的列是 $\mathbf{a},\mathbf{b},\mathbf{c}$；以矩阵 $Q$ 结束，$Q$ 的列是 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3$。那么这些矩阵有什么关系呢？因为向量 $\mathbf{a},\mathbf{b},\mathbf{c}$ 是 ${\mathbf{q}}^{\prime }s$ 的组合（反之也是），那么肯定会有一个矩阵将 $A$ 和 $Q$ 联系起来，这个矩阵就是 $A=QR$ 中的三角矩阵 $R$。
第一步是 ${\mathbf{q}}_1=\frac{\mathbf{a}}{||\mathbf{a}||}$（没有其它向量参与），第二步就是方程（4.4.7），$\mathbf{b}$ 是 $\mathbf{A}$ 和 $\mathbf{B}$ 的组合，在这一步 $\mathbf{C}$ 和 ${\mathbf{q}}_3$ 没有参与。后面的向量不参与前面的运算是格拉姆-施密特的关键点：

• 向量 $\mathbf{a}$ 和 $\mathbf{A}$ 和 ${\mathbf{q}}_1$ 都沿着同一条直线。
• 向量 $\mathbf{a},\mathbf{b}$ 和 $\mathbf{A},\mathbf{B}$ 和 ${\mathbf{q}}_1,{\mathbf{q}}_2$ 都在同一平面。
• 向量 $\mathbf{a},\mathbf{b},\mathbf{c}$ 和 $\mathbf{A},\mathbf{B},\mathbf{C}$ 和 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3$ 都在同一个子空间（$3$ 维的）。

每一步 ${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_k$ 是 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_k$ 的组合，后面的 ${\mathbf{q}}^{\prime }s$ 都没有参与。这里的关联矩阵 $R$ 是三角矩阵，有 $A=QR$：

$$\left[\begin{array}{ccc}& & \\ \mathbf{a}& \mathbf{b}& \mathbf{c}\\ & & \end{array}\right]=\left[\begin{array}{ccc}& & \\ {\mathbf{q}}_1& {\mathbf{q}}_2& {\mathbf{q}}_3\\ & & \end{array}\right]\left[\begin{array}{ccc}{\mathbf{q}}_1^T\mathbf{a}& {\mathbf{q}}_1^T\mathbf{b}& {\mathbf{q}}_1^T\mathbf{c}\\ & {\mathbf{q}}_2^T\mathbf{b}& {\mathbf{q}}_2^T\mathbf{c}\\ & & {\mathbf{q}}_3^T\mathbf{c}\end{array}\right]或A=QR(\mathrm{4.4.9})$$

$A=QR$ 是格拉姆-施密特的概括，上式左乘 $Q^T$ 得到 $R=Q^{T}A$.

(格拉姆-施密特) 从无关的向量 ${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_n$ 开始，格拉姆-施密特构造标准正交向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_n$。这些列构成的矩阵满足 $A=QR$，则 $R=Q^{T}A$ 是上三角矩阵，因为后面的 ${\mathbf{q}}^{\prime }s$ 与前面的 ${\mathbf{a}}^{\prime }s$ 正交。

下面的例子就是原始的向量 ${\mathbf{a}}^{\prime }s$ 和最终的向量 ${\mathbf{q}}^{\prime }s$。$R=Q^{T}A$ 的 $i,j$ 元素是 $Q^T$ 的第 $i$ 行乘 $A$ 的第 $j$ 列，$R$ 中的元素是点积 ${\mathbf{q}}_i^T{\mathbf{a}}_j$，有 $A=QR$：$$A=\left[\begin{array}{ccc}1& 2& 3\\ -1& 0& -3\\ 0& -2& 3\end{array}\right]=\left[\begin{array}{ccc}1/\sqrt{2}& 1/\sqrt{6}& 1/\sqrt{3}\\ -1/\sqrt{2}& 1/\sqrt{6}& 1/\sqrt{3}\\ 0& -2/\sqrt{6}& 1/\sqrt{3}\end{array}\right]\left[\begin{array}{ccc}\sqrt{2}& \sqrt{2}& \sqrt{18}\\ 0& \sqrt{6}& -\sqrt{6}\\ 0& 0& \sqrt{3}\end{array}\right]=QR$$仔细看一下 $Q$ 和 $R$，$R$ 的对角线元素 $\sqrt{2},\sqrt{6},\sqrt{3}$ 是 $\mathbf{A},\mathbf{B},\mathbf{C}$ 的长度，$Q$ 的列是标准正交的。由于存在平方根，$QR$ 可能看起来比 $LU$ 要难些，但是这两种分解都是线性代数计算的绝对中心。
任意的有线性无关列的 $m\times n$ 矩阵都可以分解成 $A=QR$，$m\times n$ 的矩阵 $Q$ 有标准正交列，方阵 $R$ 是上三角矩阵，它的对角线都是正的。我们需要记住为什么这对最小二乘很有用：$A^{T}A=(QR{)}^{T}QR=R^T{Q}^{T}QR=R^{T}R$。最小二乘方程 $A^{T}A\hat{\mathbf{x}}=A^T\mathbf{b}$ 可以简化为 $R^{T}R\hat{\mathbf{x}}=R^T{Q}^T\mathbf{b}$，最终得到 $R\hat{\mathbf{x}}=Q^T\mathbf{b}$：这很好。

$$最小二乘R^{T}R\hat{\mathbf{x}}=R^T{Q}^T\mathbf{b}或R\hat{\mathbf{x}}=Q^T\mathbf{b}或\hat{\mathbf{x}}=R^{-1}{Q}^T\mathbf{b}(\mathrm{4.4.10})$$

我们不求解 $A\mathbf{x}=\mathbf{b}$，这个是不可能的，我们通过回代求解 $R\hat{\mathbf{x}}=Q^T\mathbf{b}$ —— 这个很快。格拉姆-施密特程序的实际计算成本是 $m{n}^2$ 次乘法，我们需要构造正交矩阵 $Q$ 和上三角矩阵 $R$ 得到 $A=QR$。
下面是修正格拉姆-施密特的 MATLAB 代码，它从 $j=1,j=2$， 一直到 $j=n$ 执行方程 （4.4.11）。重要的是第 $4-5$ 行，从 $\mathbf{v}={\mathbf{a}}_j$ 减去它在每个 ${\mathbf{q}}_i$ 方向上的投影，这里 $i<j$。最后一行代码是标准化向量 $\mathbf{v}$（除以 $r_{ii}=||\mathbf{v}||$）得到单位向量 ${\mathbf{q}}_j$：$$\begin{array}{l}{r}_{kj}=\sum _{i=1}^m{q}_{ik}{v}_{ij}\\ v_{ij}=v_{ij}-q_{ik}{r}_{kj}\\ r_{jj}=(\sum _{i=1}^m{v}_{ij}^2{)}^{1/2}\\ q_{ij}=\frac{v_{ij}}{r_{jj}}\end{array}(\mathrm{4.4.11})$$$r_{kj}$ 就是 $A=QR$ 分解中 $Q$ 的第 $(k,j)$元素，就是 ${\mathbf{q}}_k^T{\mathbf{a}}_j$；$v_{ij}-q_{ik}{r}_{kj}$ 是每次减去在 $q_k$ 上的投影，$k$ 从 $1$ 到 $j-1$。
从 $\mathbf{a},\mathbf{b},\mathbf{c}$ 开始，这段代码会构造出 ${\mathbf{q}}_1$，然后是 $\mathbf{B},{\mathbf{q}}_2$，再然后是 $\mathbf{C},{\mathbf{q}}_3$：$$\begin{array}{llc}{\mathbf{q}}_1={\mathbf{a}}_1/||{\mathbf{a}}_1||& \mathbf{B}={\mathbf{a}}_2-({\mathbf{q}}_1^T{\mathbf{a}}_2){\mathbf{q}}_1& {\mathbf{q}}_2=\mathbf{B}/||\mathbf{B}||\\ {\mathbf{C}}^{\ast }={\mathbf{a}}_3-({\mathbf{q}}_1^T{\mathbf{a}}_3){\mathbf{q}}_1& \mathbf{C}={\mathbf{C}}^{\ast }-({\mathbf{q}}_2^T{\mathbf{C}}^{\ast }){\mathbf{q}}_2& {\mathbf{q}}_3=\mathbf{C}/||\mathbf{C}||\end{array}$$ 方程（4.4.11）一次减去一个投影，如 ${\mathbf{C}}^{\ast }$ 和 $\mathbf{C}$，减去在 ${\mathbf{q}}_1$ 上的投影得到 ${\mathbf{C}}^{\ast }$，然后再用 ${\mathbf{C}}^{\ast }$ 减去在 ${\mathbf{q}}_2$ 上的投影得到 $\mathbf{C}$。这项改变称为 “修正的格拉姆-施密特”。这套代码的数值计算要比方程（4.4.8）稳定，方程（4.4.8）是一次性减去所有的投影。

for j = 1:n							% 修正的格拉姆-施密特v = A(:, j);					% v 从原始的矩阵 A 的第 j 列开始for i = 1:j-1					% Q 的第 1 列 q_1 到 j-1 列 q_{j-1} 已经设置完成（j=1时该循环不执行）R(i, j) = Q(:, i)' * v; 	% 计算 R_{ij} = {q_i}^T*(a_j) 就是 {q_i}^T*vv = v - R(i, j) * Q(:, i);	% 减去投影 ({q_i}^T*v)q_iend								% v 现在与所有的 q_1,q_2,...,q_{j-1} 垂直R(j, j) = norm(v);				% 对角线元素 R_{jj} 是 v 的长度Q(:, j) = v/R(j, j);			% 除以 v 的长度得到下一个 q_j
end									% for j = 1:n 这个循环生成所有的 q_j

下图是 $n=3$ 时的运行结果，矩阵 $A$ 如代码所示：

要恢复 $A$ 的第 $j$ 列，我们要反着执行上述代码，从最后一步到中间步骤：$$R(j,j){\mathbf{q}}_j=(\mathbf{v}减去它的投影)=(A的列j)-\sum _{i=1}^{j-1}R(i,j){\mathbf{q}}_i(\mathrm{4.4.12})$$将累加和移到左边，则列 $j$ 可以由 $QR=A$ 得到。
好的软件，如 LAPACK，用好的系统上，如 MATLAB、Julia 和 Python，它们不会使用这个格拉姆-施密特代码。现在有更好的方法，“豪斯霍尔德反射（Householder reflections）” 作用在 $A$ 上得到上三角矩阵 $R$，它用同样的方法每次处理一列，就像消元法得到 $LU$ 中的 $U$ 同样的方法。
反射矩阵 $I-2{\mathbf{uu}}^T$ 是数值线性代数的内容，如果 $A$ 是三角矩阵，我们甚至可以简化成 $2\times 2$ 的旋转矩阵，结果总是 $A=QR$，MATLAB 正交化 $A$ 的指令是 $[Q,R]=\text{qr}(A)$。格拉姆-施密特是一个很容易理解的程序，但是反射和旋转可以得到更好的 $Q$。

五、主要内容总结

1. 如果标准正交向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_n$ 是 $Q$ 的列，则 ${\mathbf{q}}_i^T{\mathbf{q}}_j=0，{\mathbf{q}}_i^T{\mathbf{q}}_i=1$，转换成矩阵乘法就是 $Q^{T}Q=I$。
2. 如果 $Q$ 是方阵（正交矩阵）则 $Q^T=Q^{-1}$：转置 = 逆。
3. $Q\mathbf{x}$ 的长度等于 $\mathbf{x}$ 的长度：$||Q\mathbf{x}||=||\mathbf{x}||$。
4. 投影到 $Q$ 列空间的投影矩阵是 $P=Q{Q}^T$，$Q$ 由 ${\mathbf{q}}^{\prime }s$ 生成。
5. 如果 $Q$ 是方阵，则 $P=Q{Q}^T=I$，每个 $\mathbf{b}={\mathbf{q}}_1({\mathbf{q}}_1^T\mathbf{b})+{\mathbf{q}}_2({\mathbf{q}}_2^T\mathbf{b})+\cdots +{\mathbf{q}}_n({\mathbf{q}}_n^T\mathbf{b})$。
6. 格拉姆-施密特从无关向量 $\mathbf{a},\mathbf{b},\mathbf{c}$ 生成标准正交向量 ${\mathbf{q}}_1,{\mathbf{q}}_2,{\mathbf{q}}_3$。用矩阵形式就是分解 $A=QR=(正交的Q)(上三角R)$。

六、例题

【例5】二外增加两个元素都是 $1$ 或 $-1$ 的列，使得这个 $4\times 4$ 的 “哈达玛矩阵（Hadamard matrix）” 的列都正交。如何将 $H_4$ 变为正交矩阵 $Q_4$？$$H_2=\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]H_4=\left[\begin{array}{cccc}1& 1& x& x\\ 1& -1& x& x\\ 1& 1& x& x\\ 1& -1& x& x\end{array}\right]Q_4=\left[\begin{array}{cccc}& & & \\ & & & \\ & & & \\ & & & \end{array}\right]$$分块矩阵 $H_8=\left[\begin{array}{cc}{H}_4& H_4\\ H_4& -H_4\end{array}\right]$ 是下一个元素都是 $1$ 或 $-1$ 的哈达玛矩阵，乘积 $H_8^T{H}_8$ 是什么？
$\mathbf{b}=(6,0,0,2)$ 在 $H_4$ 第一列的投影是 ${\mathbf{p}}_1=(2,2,2,2)$，在第二列的投影是 ${\mathbf{p}}_2=(1,-1,1,-1)$，那么 $\mathbf{b}$ 在由前两列所生成的 $2$ 维空间的投影 ${\mathbf{p}}_{1,2}$ 是什么？
解： $H_4$ 可以由 $H_2$ 得到，和 $H_8$ 由 $H_4$ 得到一样：$$H_4=\left[\begin{array}{cc}{H}_2& H_2\\ H_2& -H_2\end{array}\right]=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\end{array}\right]有正交列$$则 $Q_4=H_4/2$ 有标准正交列，除以列的长度以单位化。$5\times 5$ 的哈达玛矩阵是不存在的，因为列的点积会有 $5$ 个 $1$ 或 $-1$，它们的和不可能等于零。$H_8$ 正交列的长度是 $\sqrt{8}$。$$H_8^T{H}_8=\left[\begin{array}{cc}{H}_4^T& H_4^T\\ H_4^T& -H_4^T\end{array}\right]\left[\begin{array}{cc}{H}_4& H_4\\ H_4& -H_4\end{array}\right]=\left[\begin{array}{cc}2H_4^T{H}_4& 0\\ 0& 2H_4^T{H}_4\end{array}\right]=\left[\begin{array}{cc}8I& 0\\ 0& 8I\end{array}\right],Q_8=\frac{H_8}{\sqrt{8}}$$在平面上的投影等于在两个正交直线上的投影之和 ${\mathbf{p}}_{1,2}={\mathbf{p}}_1+{\mathbf{p}}_2=(3,1,3,1)$。

【例6】正交列的关键是什么？
答：$A^{T}A$ 是对角矩阵，很容易求逆。我们可以将向量投影到正交列上，然后将它们相加，轴是正交的。