《机器学习数学基础》补充资料：柯西—施瓦茨不等式以及相关证明

《机器学习数学基础》 153 页，针对图 3-4-3，提出了一个问题：“点 $A$ 到 $\mathbb{W}$ 上的一个点的距离有无穷多个。现在，我们最关心的是其中最短的那个，怎么找？请参阅 3.6 节。”并且，在 3.6 节，使用最小二乘法，找到了点 $A$ 为终点的向量在 $\mathbb{W}$ 上的投影向量，那么这两个向量的距离就是“最短的那个”。

但是，书中没有证明此结论。

本文中将在介绍柯西—施瓦茨不等式的基础上，证明此上述结论。

柯西-施瓦茨不等式（Cauchy–Schwarz inequality），又称施瓦茨不等式或柯西-布尼亚科夫斯基-施瓦茨不等式（Cauchy–Bunyakovsky–Schwarz inequality）不等式，是以奧古斯丁·路易·柯西（Augustin Louis Cauchy），赫尔曼·阿曼杜斯·施瓦茨（Hermann Amandus Schwarz）和维克托·雅科夫列维奇·布尼亚科夫斯基（Виктор Яковлевич Буняковский）来命名的${}^{[1]}$。

1. 不等式

1.1 定理 1

已知 $a_1,\cdots ,a_n,b_1,\cdots ,b_n$ 为实数，则：

$${\left(\sum _{i=1}^n{a}_i{b}_i\right)}^2\le \left(\sum _{i=1}^n{a}_i^2\right)\left(\sum _{i=1}^n{b}_i^2\right)\text{\hspace{1em}(1.1)}$$

等式成立的成分必要条件是 $a_i=\lambda b_i,(i=1,\cdots ,n)$ 。

这是比较常见的柯西不等式形式。

1.2 定理 2

已知 $a_1,\cdots ,a_n,b_1,\cdots ,b_n$ 为复数，则：

$${\left|\sum _{i=1}^n{a}_i{b}_i\right|}^2\le \left(\sum _{i=1}^n|a_i{|}^2\right)\left(\sum _{i=1}^n|b_i{|}^2\right)\text{\hspace{1em}(1.2)}$$

等式成立的成分必要条件是 $a_i=\lambda b_i,(i=1,\cdots ,n)$ ，$\lambda$ 为一复数。

若令 $a=\left[\begin{array}{ccc}{a}_1& \cdots & a_n\end{array}\right],b=\left[\begin{array}{ccc}{b}_1& \cdots & b_n\end{array}\right]$ ，则柯西不等式可表示为：

$$|a\cdot b|\le \Vert \begin{array}{c}a\end{array}\Vert \Vert \begin{array}{c}b\end{array}\Vert \text{\hspace{1em}(1.3)}$$

1.3 定理 3

已知 $A=(a_{ij})$ 是正定对称矩阵，$x_1,\cdots ,x_n;y_1,\cdots ,y_n$ 为任意实数（或复数），则：

$$\left|\sum _{i,j=1}^n{a}_{ij}{x}_i{y}_j\right|\le \sqrt{\sum _{i,j=1}^n{a}_{ij}{x}_i{x}_j}\sqrt{\sum _{i,j=1}^n{a}_{ij}{y}_i{y}_j}\text{\hspace{1em}(1.4)}$$

对（1.4）式，可以用向量表示：

• $\zeta \cdot \eta =xAy={\sum }_{i,j=1}^n{a}_{ij}{x}_i{y}_j$
• ${\Vert \begin{array}{c}\zeta \end{array}\Vert }^2=\zeta \cdot \zeta ={xAx}^T={\sum }_{i,j=1}^n{a}_{ij}{x}_i{x}_j$
• ${\Vert \begin{array}{c}\eta \end{array}\Vert }^2=\eta \cdot \eta ={yAy}^T={\sum }_{i,j=1}^n{a}_{ij}{y}_i{y}_j$

1.4 定理 4

已知 $a_i,b_i\in \mathbb{C}$ ，则：

$$|\sum _{i,j=1}^{\infty }{a}_i{b}_j|\le {\left(\sum _{i=1}^{\infty }|a_i{|}^2\right)}^{\frac{1}{2}}{\left(\sum _{i=1}^{\infty }|b_i{|}^2\right)}^{\frac{1}{2}}\text{\hspace{1em}(1.5)}$$

等式成立的充分必要条件是 $a_i=\lambda b_i,(i=1,\cdots ,\lambda \in \mathbb{C})$ 。

将定理 4 推广到积分形式，即为柯西—施瓦茨不等式。

1.5 定理 5

已知 $f,g$ 是区间 $[a,b]$ 上的连续函数，$f,g\in \mathbb{C}[a,b]$ ，则：

$$\left|\begin{array}{c}{\int }_a^{b}f(x)g(x)dx\end{array}\right|\le {\int }_a^b|f(x){|}^{2}dx{\int }_a^b|g(x){|}^{2}dx\text{\hspace{1em}(1.7)}$$

（1.7）式称为柯西-施瓦茨不等式（Cauchy–Schwarz inequality）、施瓦茨不等式或柯西-布尼亚科夫斯基-施瓦茨不等式（Cauchy–Bunyakovsky–Schwarz inequality）。此不等式是乌克兰数学家 Viktor Yakovlerich Bunyakovsky（1804-1889）与德国数学家（原籍波兰）KarlHerman Amandus Schwarz (1843-1921)，分别于1861年和1885年发现。虽然布尼亚克夫斯基比施瓦茨先发现了这个不等式，而在很多数学教材中，常常把他的名字忽略——恐怕不是因为他名字太长，更可能的原因是 19 世纪，数学研究的中心在德国、法国，不在这个中心的人所作出的发现，就很难引起重视。这种现象在当今也难免。

1.6 定理 6

已知 $a_1,\cdots ,a_n;b_1,\cdots ,b_n$ 为任意复数，且 $p,q\ge 1，\frac{1}{p}+\frac{1}{q}=1$ ，则：

$$|\sum _{i=1}^n{a}_i{b}_i|\le {\left(\sum _{i=1}^n|a_i{|}^p\right)}^{\frac{1}{p}}{\left(\sum _{i=1}^n|b_i{|}^q\right)}^{\frac{1}{q}}\text{\hspace{1em}(1.9)}$$

（1.9）式称为赫尔德不等式 （H ̈older不等式），如果推广到积分形式，就是下面的定理7。

1.7 定理 7

已知 $f,g\in \mathbb{C}[a,b]，p,q\ge 1，\frac{1}{p}+\frac{1}{q}=1$ ，则：

$$\left|\begin{array}{c}{\int }_a^{b}f(x)g(x)dx\end{array}\right|\le {\left({\int }_a^b|f(x){|}^{p}dx\right)}^{\frac{1}{p}}{\left({\int }_a^b|g(x){|}^{q}dx\right)}^{\frac{1}{q}}\text{\hspace{1em}(1.10)}$$

还可以写成更一般的形式，定理8所示。

1.8 定理 8

已知 $f_1,\cdots ,f_n\in \mathbb{C}[a,b]$ ，且 $\frac{1}{p_1}+\frac{1}{p_2}+\cdots +\frac{1}{p_n}=1,p_i\ge 1$ ，则：

$$\left|\begin{array}{c}{\int }_a^b{f}_1(x)f_2(x)\cdots f_n(x)dx\end{array}\right|\le {\left({\int }_a^b|f_1(x){|}^{p_1}dx\right)}^{\frac{1}{p_1}}\cdots {\left({\int }_a^b|f_n(x){|}^{p_n}dx\right)}^{\frac{1}{p_n}}\text{\hspace{1em}(1.11)}$$

德国数学家赫尔德（Otto Lud-wig H ̈older (1859-1937)）在1885年研究傅里叶技术收敛性问题时，发现了上述不等式。

赫尔德不等式，也称为赫尔德—里斯不等式（H ̈older-Riesz）。

当 $p=q=2$ ，赫尔德不等式就退化为柯西—施瓦茨不等式。

2. 余弦定理

对柯西—施瓦茨不等式的最直接理解，可以通过余弦定理，如图所示：

由余弦定理，得：

$$|a{|}^2+|b{|}^2-|a-b{|}^2=2|a||b|\cos \theta \text{\hspace{1em}(2.1)}$$

所以：$a\cdot b=|a||b|\cos \theta$

因为：$|\cos \theta |\le 1$ ，可得：

$$|a\cdot b|\le |a||b|\text{\hspace{1em}(2.2)}$$

亦即得到了（1.3）式。

3. 柯西—施瓦茨不等式的证明

3.1 判别式

这是一种最常见的证明方法。

向量 $a,b$ 不平行，所以：$c=b-\lambda a,\lambda \in \mathbb{R}$ 。

计算 $c$ 的长度：

$$\begin{array}{rl}|c{|}^2& =c\cdot c=(b-\lambda a)\cdot (b-\lambda a)\\ & =b\cdot b-2a\cdot b\lambda +a\cdot a{\lambda }^2\\ & =|a{|}^2{\lambda }^2-2a\cdot b\lambda +|b{|}^2\end{array}\text{\hspace{1em}(3.1)}$$

将（3.1）式视为 $\lambda$ 的一元二次方程。由于 $|c{|}^2\ge 0$ ，且 $|a{|}^2\ge 0$ 。所以（3.1）式中的二次函数是开口向上的抛物线，且与横轴无交点（$|c{|}^2=0$ 是极限），即 $\lambda$ 没有实根，所以判别式小于等于 $0$ 。

$$\Delta =(2a\cdot b{)}^2-4|a{|}^2|b{|}^2\le 0$$

所以：$|a\cdot b|\le |a||b|$

3.2 投影——最短距离

前述证明中，避免了余弦定理中的角度，使用了向量的点积，对任意维的向量都适用。

由前述假设，可得 $\lambda$ ：

$$\lambda =\frac{a\cdot b}{|a{|}^2},c=b-\lambda a=b-\frac{a\cdot b}{|a{|}^2}a\text{\hspace{1em}(3.2)}$$

将（3.2）式代入到（3.1）式，则：

$$0\le |c{|}^2=|a{|}^2{\left(\frac{a\cdot b}{|a{|}^2}\right)}^2-2a\cdot b\left(\frac{a\cdot b}{|a{|}^2}\right)+|b{|}^2\text{\hspace{1em}(3.3)}$$

整理得：$(a\cdot b{)}^2\le |a{|}^2|b{|}^2$

即得到（1.3）式。

如何理解（3.2）式中的 $\lambda$ ？

$$a\cdot c=a\cdot (b-\lambda a)=a\cdot b-\lambda |a{|}^2$$

因此，可以有如下关系：

$$a\cdot c=0⟺a\perp c⟺\lambda =\frac{a\cdot b}{|a{|}^2}$$

由此可知，$\lambda$ 的选择，恰好是能够让 $\lambda a$ 是 $b$ 在 $a$ 上的投影，$|c|$ 则是 $b$ 至 $a$ 的最短距离。其关系如下图所示：

$\lambda$ 还称为拉格朗日乘子（Largrange multiplier）。

参考文献

[1]. Wikipedia: Cauchy-Schwarz inequality

[2]. 齐伟. 机器学习数学基础[M]. 北京：电子工业出版社，2023.