机器学习期末考突击指南：从线性回归到SVM的实战解题技巧

机器学习期末考突击指南从线性回归到SVM的实战解题技巧期末考试临近面对机器学习课程中纷繁复杂的算法和公式许多同学感到无从下手。本文将从实际考题出发手把手带你攻克线性回归、朴素贝叶斯和SVM三大核心考点不仅告诉你怎么做更解释清楚为什么这么做。1. 线性回归从概率视角理解最小二乘线性回归看似简单却是理解机器学习基础理论的最佳切入点。考试中常见的三类题型——概率解释、等价性证明和正则化处理其实都围绕着一个核心思想如何建立数据与模型之间的联系。1.1 误差项的正态分布假设题目中给出yθxϵ且ϵ~N(0,σ²)这实际上是在建立线性回归的概率模型。理解这一点需要把握三个关键误差项的物理意义ϵ代表所有未被模型捕捉的因素包括测量误差、遗漏变量等正态假设的合理性根据中心极限定理多个微小独立随机因素的总和趋向正态分布条件概率的推导给定x时y的分布为p(y|x) N(θx, σ²)考试技巧遇到概率密度函数题目先明确随机变量及其分布类型再写出标准概率密度函数形式最后代入具体参数。1.2 最大似然与最小二乘的等价性证明两者等价是高频考点解题步骤如下写出似然函数L(θ) ∏ p(yⁱ|xⁱ;θ) ∏ (1/√(2πσ²)) exp(-(yⁱ-θxⁱ)²/(2σ²))取对数得到对数似然ℓ(θ) -n/2 log(2πσ²) - 1/(2σ²) ∑(yⁱ-θxⁱ)²最大化ℓ(θ)等价于最小化∑(yⁱ-θxⁱ)²关键洞察最小二乘实际上是高斯噪声假设下的最大似然估计。1.3 正则化正态方程推导带L2正则项的代价函数J(θ) ||Xθ-y||² λ||θ||²求导并令导数为零∇J(θ) 2Xᵀ(Xθ-y) 2λθ 0解得正则化正态方程θ (XᵀX λI)⁻¹Xᵀy对比项普通正态方程正则化正态方程公式(XᵀX)⁻¹Xᵀy(XᵀX λI)⁻¹Xᵀy数值稳定性可能奇异总是可逆解的性质可能过拟合控制模型复杂度2. 高斯朴素贝叶斯从原理到实现朴素贝叶斯虽然朴素但在文本分类等领域表现优异。考试重点通常集中在似然函数构造和决策边界分析。2.1 高斯分布的参数估计给定数据集{(xⁱ,yⁱ)}其中y ~ Bernoulli(θ)x|yc ~ N(μ_c, σ_c²)似然函数构造步骤拆分联合概率p(X,Y) ∏ p(yⁱ)p(xⁱ|yⁱ)代入具体分布L(θ,μ,σ) ∏ [θ^{yⁱ}(1-θ)^{1-yⁱ}] × [(1/√(2πσ₁²))exp(-(xⁱ-μ₁)²/(2σ₁²))]^{yⁱ} × [(1/√(2πσ₀²))exp(-(xⁱ-μ₀)²/(2σ₀²))]^{1-yⁱ}参数估计结果θ̂ (∑yⁱ)/nμ̂_c (∑xⁱI(yⁱc))/n_cσ̂_c² (∑(xⁱ-μ̂_c)²I(yⁱc))/n_c2.2 决策边界的对数几率形式通过贝叶斯定理推导p(Y1|x) p(x|Y1)p(Y1)/p(x) 1/[1 exp(-z)]其中z log(p(x|Y1)/p(x|Y0)) log(θ/(1-θ))对于高斯分布代入概率密度函数后可得z ∑ [log(σ₀/σ₁) - (x-μ₁)²/(2σ₁²) (x-μ₀)²/(2σ₀²)] log(θ/(1-θ))3. SVM从线性可分到核技巧支持向量机是机器学习课程中最富数学美感的算法之一也是考试难点集中区域。3.1 线性可分性判断给定一维三点-1(负),0(正),1(负)。判断过程寻找分割超平面w·x b 0需要满足w·(-1) b ≤ -1 w·0 b ≥ 1 w·1 b ≤ -1从第二式得b≥1结合第一式w≥b1≥2但第三式要求w≤-b-1≤-2矛盾结论原始空间线性不可分。3.2 特征映射后的可分性使用核函数k(x,z)1 2xz x²z²对应的特征映射φ(x) [1, √2x, x²]映射后三个点变为φ(-1) [1, -√2, 1]φ(0) [1, 0, 0]φ(1) [1, √2, 1]寻找分割超平面w·φ(x) b 0例如取w[-1,0,1],b0-1·1 0·(-√2) 1·1 0 (边界) -1·1 0·0 1·0 -1 0 (负类) -1·1 0·√2 1·1 0 (边界)注意实际SVM求解需要最大化间隔这里只是说明可分性。3.3 SVM对偶问题求解对于给定的三个点构建拉格朗日函数L 1/2||w||² - ∑αⁱ[yⁱ(w·φ(xⁱ)b)-1]KKT条件包括原始可行yⁱ(w·φ(xⁱ)b)≥1对偶可行αⁱ≥0互补松弛αⁱ[yⁱ(w·φ(xⁱ)b)-1]0通过求解对偶问题得到最优分类器。4. 其他重要考点精要4.1 PCA算法步骤数据标准化x̂ (x - μ)/σ计算协方差矩阵Σ (1/n)XᵀX特征值分解Σ UΛUᵀ选择主成分按特征值大小排序取前k个特征向量投影数据Z XU[:,:k]关键点特征向量单位化特征值反映方差贡献。4.2 核K-means实现步骤选择核函数k(x,z)如高斯核exp(-γ||x-z||²)计算核矩阵K其中K_ij k(xⁱ,xʲ)初始化聚类中心在特征空间迭代计算点到中心的距离||φ(x)-μ_c||² k(x,x) - 2/m_c ∑k(x,xⁱ) 1/m_c² ∑∑k(xⁱ,xʲ)重新分配簇标签更新簇统计量4.3 常见考题陷阱正则化方向L1正则产生稀疏解L2正则防止过拟合核函数选择高斯核需要调γ多项式核需确定次数概率模型假设明确区分生成模型(如NB)与判别模型(如LR)优化目标SVM最大化间隔LR最大化似然记住这些核心公式和推导思路配合课后习题练习相信你能在期末考试中游刃有余。遇到证明题时先理清已知条件和目标再选择最合适的数学工具逐步展开。