机器学习线性代数--(1)核心思想

线性代数是数学中非常优美且实用的一门学科它研究的是线性关系——一种最简单、最基础的关系。你可能已经在生活中不知不觉地用到它的思想了。比如在平面上移动一个点、解方程组、或者处理图像旋转背后都是线性代数。1.1 什么是“线性”“线性”这个词直观理解就是像直线一样。在数学中线性关系有两个关键性质可加性如果输入x xx得到输出f ( x ) f(x)f(x)输入y yy得到f ( y ) f(y)f(y)那么输入x y xyxy就应该得到f ( x ) f ( y ) f(x)f(y)f(x)f(y)。简单说整体等于部分之和。齐次性如果输入x xx得到f ( x ) f(x)f(x)那么把输入放大c cc倍c ⋅ x c\cdot xc⋅x输出也应该放大同样的倍数f ( c ⋅ x ) c ⋅ f ( x ) f(c\cdot x) c\cdot f(x)f(c⋅x)c⋅f(x)。举个例子比如“价格 单价 × 数量”就是线性的。买两个苹果的钱等于买一个苹果的钱的两倍齐次性买一个苹果和一个香蕉的总价等于各自价格之和可加性。而“邮费 首重 续重”就不是线性的因为有固定成本。线性代数研究的就是这种简单而普遍的关系。它的核心工具是向量和矩阵。1.2 向量把数据组织起来向量是线性代数的基本元素。你可以把它想象成一组有序的数字比如[ 2 , 3 ] [2, 3][2,3]可以表示平面上的一个点也可以表示从原点到这个点的箭头。更抽象地向量可以表示任何能用一组数描述的事物一个学生的成绩语文、数学、英语、一张图片的像素值、一部电影的特征时长、评分、年份。向量有两个基本运算加法把对应位置的数字相加。比如[ 1 , 2 ] [ 3 , 4 ] [ 4 , 6 ] [1,2] [3,4] [4,6][1,2][3,4][4,6]。几何上这相当于两个箭头首尾相接。数乘用一个数乘以向量的每个分量。比如2 × [ 1 , 2 ] [ 2 , 4 ] 2 \times [1,2] [2,4]2×[1,2][2,4]。几何上这相当于把箭头拉长或缩短。所有可能向量的集合比如整个平面就构成了一个向量空间。这个空间必须对加法和数乘封闭——即运算结果仍在这个空间里。1.3 线性变换如何操作向量线性变换是作用在向量上的“函数”它把向量变成另一个向量并且保持上面说的可加性和齐次性。比如旋转整个平面、拉伸某个方向、投影到一条直线上都是线性变换。那么如何描述一个线性变换呢我们只需要知道它如何作用于一组基向量就够了。比如在二维平面中我们取两个基向量i [ 1 , 0 ] \mathbf{i}[1,0]i[1,0]指向x轴正方向和j [ 0 , 1 ] \mathbf{j}[0,1]j[0,1]指向y轴正方向。如果知道变换后i \mathbf{i}i和j \mathbf{j}j变成了什么那么任意向量a i b j a\mathbf{i}b\mathbf{j}aibj的变换结果就是a ⋅ ( 变换后的 i ) b ⋅ ( 变换后的 j ) a\cdot(\text{变换后的}\mathbf{i}) b\cdot(\text{变换后的}\mathbf{j})a⋅(变换后的i)b⋅(变换后的j)。于是我们可以把变换后的i \mathbf{i}i和j \mathbf{j}j作为列拼成一个数字表格这就是矩阵。例如变换后i \mathbf{i}i变成[ p , q ] [p,q][p,q]j \mathbf{j}j变成[ r , s ] [r,s][r,s]那么矩阵就是[ p r q s ] \begin{bmatrix} p r \\ q s \end{bmatrix}[pq​rs​]。矩阵就像一个指令集告诉你怎么把旧坐标变成新坐标。1.4 矩阵乘法复合变换与方程组当你对一个向量连续施加两个线性变换就相当于把它们对应的矩阵乘起来。矩阵乘法的定义左行乘右列正是为了保证这个复合效果。反过来解线性方程组A x b A\mathbf{x}\mathbf{b}Axb可以看作寻找一个向量x \mathbf{x}x使得经过矩阵A AA代表的变换后恰好得到目标b \mathbf{b}b。这就像在问哪个输入经过这个变换会得到这个输出1.5 核心概念特征值与特征向量在许多应用中我们关心一个变换的“不动方向”——那些经过变换后方向不变、只被拉伸或压缩的向量。这些向量叫做特征向量拉伸倍数叫做特征值。比如一个旋转操作通常没有特征向量因为方向都变了而一个拉伸操作则有很多特征向量沿着拉伸方向。特征值和特征向量能帮我们理解变换的本质比如在图像压缩中我们保留特征值大的部分丢弃小的部分。1.6 为什么重要线性代数的思想无处不在计算机图形学旋转、缩放、平移物体全靠矩阵。数据科学主成分分析PCA用特征向量降维。机器学习神经网络中的每一层都是线性变换加激活函数。物理量子力学中用向量表示状态矩阵表示观测。1.7 总结三个核心思想向量是数据的基本单元可以相加和缩放。矩阵是描述线性变换的工具它把向量映射到新向量。特征分析揭示了变换的内在结构找到“不变的方向”。初学者可以先从几何直观入手想象二维平面上的箭头和网格然后慢慢扩展到高维抽象空间。记住线性代数就是研究“线性”这个简单性质的数学而正是这种简单性让它成为描述世界的强大语言。下一章机器学习线性代数–(2)向量究竟是什么