机器学习数学基础

1、标量、向量、矩阵、张量

标量、向量、矩阵和张量是线性代数中不同维度的数学对象，它们之间的区别在于维数和结构：

• 标量（Scalar）：标量是一个数值，只有大小，没有方向。例如物理学中的时间、质量、温度等

• 向量（Vector）：向量也称为欧几里得向量、几何向量、矢量，向量指既有大小又有方向的量。向量可以形象化地表示为带箭头的线段，箭头所指的方向代表向量的方向，线段的长度代表向量的大小。向量有四种表示方式：代数表示（字母加箭头）、几何表示（平行四边形法则）、坐标表示（(x,y,z)）和矩阵表示（[x y z]^T）

• 矩阵（Matrix）：矩阵是按照方阵排成m行n列的数值集合。简单来说，矩阵是一个二维数组，由行和列组成，每行和每列都是一个向量。矩阵中的每个元素都有自己的行索引和列索引，它可以用来表示线性变换、方程组或数据表

• 张量（Tensor）：张量源于力学，张量是多维数组，目的是把向量、矩阵推向更高的维度。张量是一种泛化的多维数组概念，它可以是任何维度（秩）的，例如向量（矢量）是一阶张量，矩阵是二阶张量，高于二维的称为三阶张量、四阶张量等

总的来说，标量是最简单的数据形式，而向量、矩阵和更高维度的张量则是复杂度逐渐增加的多维数据结构，它们在现代科学和技术的许多领域中都扮演着重要角色

2、概率函数、概率分布、概率密度、分布函数

研究一个随机变量，不只是要看它能取哪些值，更重要的是它取各种值的概率如何！概率函数、概率分布、概率密度、分布函数，都是在描述概率

1）概率函数

概率函数使用函数的形式来表达概率$$P_i=P(X=x_i)(i=1,2,3,...)$$

例如，$P(X$=$1)=1/6$，这个概率函数表示当随机变量取值为1的概率为1/6。概率函数一次只能表示一个随机变量取值的概率

2）概率分布

概率分布是离散型随机变量和每个随机变量对应的概率：

X	$x_1$	$x_2$	$x_3$	…	$x_n$
$P_i$	$P_1$	$P_2$	$P_3$	…	$P_n$

这样的列表被叫做离散型随机变量的概率分布。具体就是离散型随机变量的值与这个取值的概率分布列表

对于连续型随机变量，概率分布被叫作概率密度

3）分布函数

对于离散型随机变量，分布函数称为概率分布函数，是指将某一点的概率与该点前面所有概率的累加，又称累积概率函数$$F(X)=P(X\le x_i)=\sum _1^i{P}_i$$

分布函数是一个永不递减的函数，最右边即为最大值1，最左边为最小值0

对于连续型随机变量，分布函数称为概率密度函数，它就是概率密度从负无穷到当前随机变量值的定积分（面积）
$$F(X)={\int }_{-\infty }^{X}f(x)dx$$

如图所示，左图表示$F(x)$是连续型随机变量的概率密度，右图表示$f(x)$是连续型随机变量的概率密度函数，它们之间的关系是：概率密度函数是概率密度的导函数

需要注意的是，概率密度函数在某点取值的几何意义表示概率密度函数在该点的变化率（导数），而不是概率值

3、向量的线性相关性

所有分量为实数的n维向量构成的集合， 称为一个n维向量空间，向量空间又称线性空间

对于n维向量$a_1,a_2,...a_m$，如果存在不全为0的数使得
$$k_1{a}_1+k_2{a}_2+...+k_m{a}_m=0$$

则称向量组$a_1,a_2,...a_m$是线性相关的，否则，称向量组$a_1,a_2,...a_m$线性无关

例如，对于向量$a_1,a_2,a_3$，若它们之间满足
$${\vec{a}}_3=-\frac{1}{2}{\vec{a}}_1+\frac{2}{3}{\vec{a}}_2$$

即向量$a_3$可以用向量$a_1$和$a_2$线性表示，说明$a_1,a_2,a_3$这三个向量是线性相关的

4、最大似然估计

最大似然估计的原理详解及推导见文章：传送门

5、正态分布（高斯分布）

正态分布（高斯分布）的介绍详见文章：传送门

6、向量的外积（叉积）

向量的叉乘（叉积），也叫向量的外积、向量积。在二维空间中，对于两个向量$\vec{a}=(x_1,y_1)$和$\vec{b}=(x_2,y_2)$，定义它们的向量积为以下向量：
$$\vec{a}\times \vec{b}=\left|\begin{array}{cc}\vec{i}& \vec{j}\\ x_1& y_1\\ x_2& y_2\end{array}\right|=x_1{y}_2\vec{i}-y_1{x}_2\vec{j}$$

对于行列数相同的两个向量，叉积运算就是对这两个向量对角位相乘后求差的操作，叉积的结果是一个向量

在二维空间中，叉乘的几何意义是：叉乘的结果表示由向量$\vec{a}$和向量$\vec{b}$所构成的平行四边形的面积

即
$$\vec{a}\times \vec{b}=|\vec{a}||\vec{b}|\sin \theta$$

在三维空间中，对于两个向量$\vec{a}=(x_1,y_1,z_1)$和$\vec{b}=(x_2,y_2,z_2)$，定义它们的向量积为以下向量：
a ⃗ × b ⃗ = ∣ i ⃗ j ⃗ k ⃗ x 1 y 1 z 1 x 2 y 2 z 2 ∣ = ( y 1 z 2 − y 2 z 1 ) i ⃗ − ( x 1 z 2 − x 2 z 1 ) j ⃗ + ( x 1 y 2 − x 2 y 1 ) k ⃗ \vec a \times \vec b= \begin{vmatrix} \vec i&\vec j&\vec k\\ x_1&y_1&z_1\\ x_2&y_2&z_2 \end{vmatrix} = (y_1z_2-y_2z_1)\vec i-(x_1z_2-x_2z_1)\vec j+(x_1y_2-x_2y_1)\vec k a ×b = ​