【AI数学基础】线性代数：内积和范数

（观前提醒，这是工科AI相关的数学基础的学习笔记，不是数学专业的文章，所以没有严谨的证明和定义，数院大神请勿批评）

2. 内积和范数

2.1 内积的定义

从代数的角度来说，内积是两个向量之间的一种运算，其结果是一个实数。
设由两个$n$维向量：
$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ \cdots \\ x_n\end{array}\right],\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ \cdots \\ y_n\end{array}\right]$$
令$\mathbf{x}\cdot \mathbf{y}=x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n$，$\mathbf{x}\cdot \mathbf{y}$为向量$\mathbf{x}$和向量$\mathbf{y}$的内积。
内积具有下列性质（其中$\mathbf{x},\mathbf{y},\mathbf{z}$为$n$维向量，$\lambda$为实数）：

• $\mathbf{x}\cdot \mathbf{y}=\mathbf{y}\cdot \mathbf{x}$；
• $(\lambda \mathbf{x})\cdot \mathbf{y}=\mathbf{x}\cdot (\lambda \mathbf{y})$；
• $(\mathbf{x}+\mathbf{y})\cdot \mathbf{z}=\mathbf{x}\cdot \mathbf{z}+\mathbf{y}\cdot \mathbf{z}$；
• 当$\mathbf{x}=0$时，$\mathbf{x}\cdot \mathbf{x}=0$；当$\mathbf{x}\ne 0$时，$\mathbf{x}\cdot \mathbf{x}>0$.

2.2 范数的定义

2.2.1范数的定义

范数定义了向量空间里的距离，范数能将一组实数列表（向量）映射成一个实数，它的出现使得向量之间的比较称为了可能。（其实就是向量的长度）

如果向量$x\in {\mathbb{R}}^n$的某个实值函数$f(x)=||x||$满足：

• 正定性：$||x||⩾0$且$||x||=0$当且仅当$x=0$；
• 齐次性：对任意实数$\alpha$，都有$||\alpha x||=|\alpha |\cdot ||x||$；
• 三角不等式：对任意$x,y\in {\mathbb{R}}^n$，都有$||x+y||⩽||x||+||y||$；

满足上述三条性质，则称$||x||$为${\mathbb{R}}^n$上的一个向量范数。

2.2.2 常见的范数

常用的向量范数有：

• L1范数：也叫曼哈顿距离，其公式为$\Vert x{\Vert }_1=\sum _i\left|x_i\right|$，它是一个向量中所有元素的绝对值之和；
• L2范数：也叫欧几里得距离，其公式为$\Vert x{\Vert }_2=\sqrt{\sum _i{x}_i^2}$，对一个向量中所有元素取平方和，然后再开方。

2.3 内积的几何解释

知道范数的本质是距离之后，我们就可以从几何角度来解释内积，内积定义了向量空间里的角度。比如说，在向量空间中存在两个向量$\mathbf{u}$和$\mathbf{v}$，它们之间的夹角是$\theta$.
$$\mathbf{u}\bullet \mathbf{v}=\Vert \mathbf{u}\Vert \Vert \mathbf{v}\Vert \cos \theta$$