数学基础 -- 线性代数之正交矩阵

正交矩阵

正交矩阵是线性代数中的一个重要概念，具有许多优良的性质，在数值计算、线性变换、信号处理等领域有着广泛的应用。

1. 正交矩阵的定义

一个 $n\times n$ 的方阵 $Q$ 如果满足以下条件：

$$Q^{T}Q=Q{Q}^T=I$$

其中，$Q^T$ 是矩阵 $Q$ 的转置矩阵，$I$ 是 $n\times n$ 的单位矩阵，则称矩阵 $Q$ 是正交矩阵。

换句话说，正交矩阵的行向量（或列向量）是标准正交基，即：

• 各行向量（或列向量）的长度为1（标准化）。
• 不同行向量（或列向量）之间是两两正交的，即它们的内积为零。

2. 正交矩阵的性质

2.1 保持内积和长度

正交矩阵在进行线性变换时，不改变向量的内积和长度。即向量 $\mathbf{v}$ 通过正交矩阵 $Q$ 变换后，变换后的向量 $Q\mathbf{v}$ 的长度与原向量相同。

2.2 逆矩阵等于转置矩阵

正交矩阵的逆矩阵与它的转置矩阵相同，即：

$$Q^{-1}=Q^T$$

2.3 保持正交性

正交矩阵乘以另一个正交矩阵，结果仍然是正交矩阵。如果 $Q_1$ 和 $Q_2$ 都是正交矩阵，那么 $Q_1{Q}_2$ 也是正交矩阵。

2.4 行列式的绝对值为1

正交矩阵的行列式为 $\pm 1$：

$$|\text{det}(Q)|=1$$

3. 正交矩阵的应用

3.1 旋转与反射变换

在几何中，正交矩阵常用于表示旋转和反射变换。例如，在二维空间中，一个旋转矩阵可以表示为：

$$Q=\left(\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right)$$

3.2 QR分解

正交矩阵在QR分解中扮演重要角色。QR分解将矩阵 $A$ 分解为一个正交矩阵 $Q$ 和一个上三角矩阵 $R$ 的乘积，即 $A=QR$。

3.3 信号处理与数据压缩

在信号处理和数据压缩中，正交矩阵用于构造正交基，比如傅里叶变换矩阵和小波变换矩阵。

---

正交矩阵的例子

例子1：二维旋转矩阵

考虑一个二维旋转矩阵，它表示在平面上旋转一个向量的变换。假设旋转角度为 $\theta$，则旋转矩阵可以表示为：

$$Q=\left(\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right)$$

正交性验证

我们验证这个矩阵是否为正交矩阵。正交矩阵的定义要求 $Q^{T}Q=I$，我们计算 $Q^T$ 和 $Q^{T}Q$：

首先，求 $Q$ 的转置矩阵 $Q^T$：

$$Q^T=\left(\begin{array}{cc}\cos \theta & \sin \theta \\ -\sin \theta & \cos \theta \end{array}\right)$$

接下来，计算 $Q^{T}Q$：

$$Q^{T}Q=\left(\begin{array}{cc}{\cos }^2\theta +{\sin }^2\theta & 0\\ 0& {\cos }^2\theta +{\sin }^2\theta \end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)=I$$

因此，$Q$ 是一个正交矩阵。

性质

• 保持向量长度：向量经过矩阵 $Q$ 的旋转变换后，长度不变。
• 逆矩阵为转置矩阵：由于 $Q^{T}Q=I$，我们有 $Q^{-1}=Q^T$。

---

例子2：三维反射矩阵

考虑一个三维反射矩阵，它表示相对于某一平面的反射。假设我们要相对于 $x$-$y$ 平面进行反射，则反射矩阵可以表示为：

$$Q=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -1\end{array}\right)$$

正交性验证

同样地，我们验证这个矩阵是否为正交矩阵。计算 $Q^T$ 和 $Q^{T}Q$：

转置矩阵 $Q^T$ 为：

$$Q^T=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -1\end{array}\right)$$

计算 $Q^{T}Q$：

$$Q^{T}Q=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)=I$$

因此，$Q$ 是一个正交矩阵。

性质

• 保持向量长度：向量经过矩阵 $Q$ 的反射变换后，长度不变。
• 逆矩阵为转置矩阵：$Q^{-1}=Q^T$。

---

QR分解的例子

例子：QR分解

我们选择一个简单的 $2\times 2$ 矩阵 $A$ 进行QR分解。假设矩阵 $A$ 为：

$$A=\left(\begin{array}{cc}1& 1\\ 1& -1\end{array}\right)$$

步骤 1：构造矩阵 $Q$

通过 Gram-Schmidt 正交化过程构造正交矩阵 $Q$：

1. 取矩阵 $A$ 的第一列 ${\mathbf{a}}_1$ 作为向量 ${\mathbf{u}}_1$：

   $${\mathbf{u}}_1=\left(\begin{array}{c}1\\ 1\end{array}\right)$$

   归一化 ${\mathbf{u}}_1$ 得到 ${\mathbf{q}}_1$：

   $${\mathbf{q}}_1=\frac{{\mathbf{u}}_1}{\Vert {\mathbf{u}}_1\Vert }=\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ 1\end{array}\right)=\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)$$

2. 计算矩阵 $A$ 的第二列 ${\mathbf{a}}_2$ 在 ${\mathbf{q}}_1$ 上的投影，并减去这部分，得到 ${\mathbf{u}}_2$：

   $${\mathbf{u}}_2={\mathbf{a}}_2-({\mathbf{q}}_1^T{\mathbf{a}}_2){\mathbf{q}}_1=\left(\begin{array}{c}1\\ -1\end{array}\right)$$

   归一化 ${\mathbf{u}}_2$ 得到 ${\mathbf{q}}_2$：

   $${\mathbf{q}}_2=\frac{{\mathbf{u}}_2}{\Vert {\mathbf{u}}_2\Vert }=\frac{1}{\sqrt{2}}\left(\begin{array}{c}1\\ -1\end{array}\right)=\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\end{array}\right)$$

最终得到正交矩阵 $Q$ 为：

$$Q=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right)$$

步骤 2：计算矩阵 $R$

矩阵 $R$ 是通过计算 $Q^{T}A$ 得到的：

$$R=Q^{T}A=\left(\begin{array}{cc}\sqrt{2}& 0\\ 0& \sqrt{2}\end{array}\right)$$

最终结果

通过QR分解，我们将矩阵 $A$ 分解为正交矩阵 $Q$ 和上三角矩阵 $R$ 的乘积：

$$A=QR=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right)\left(\begin{array}{cc}\sqrt{2}& 0\\ 0& \sqrt{2}\end{array}\right)=\left(\begin{array}{cc}1& 1\\ 1& -1\end{array}\right)$$

验证分解结果正确，QR分解成功。