AI 入门 30 天挑战 - Day 6 费曼学习法版 - 模型评估和优化

完整项目和代码本教程是AI 入门 30 天挑战系列的一部分GitHub 仓库: https://github.com/Lee985-cmd/AI-30-Day-ChallengeCSDN 专栏: https://blog.csdn.net/m0_67081842?typeblog⭐欢迎 Star 支持今天学习模型评估和优化如何判断模型好不好每个概念都解释每行代码都说明白预计时间2-3 小时含费曼输出练习 第 1 步快速复习前几天的内容20 分钟费曼输出 #0考考你合上教程尝试回答□ 什么是无监督学习用自己的话解释不要用没有标签这种术语 □ K-means 的工作原理是什么用至少 2 个生活例子说明 □ 肘部法则的核心思想是什么画图说明 □ 如果让你向朋友解释为什么 K 值不能太大你会怎么说⏰ 时间15 分钟如果都能答出来我们开始今天的内容如果有忘记的花 5 分钟翻一下 Day05。 第 2 步为什么需要模型评估30 分钟故事时间 想象你在参加一场考试情况 1只看总分老师说你考了 95 分很好 但实际情况可能是 ✓ 简单的题都做对了 ✗ 难的题全错了 → 真的学好了吗不一定情况 2详细分析老师给你一份详细报告 - 选择题10/10满分 - 填空题8/10错 2 个 - 计算题15/20步骤对结果错 - 应用题2/10完全不会 这样你才知道哪里需要改进✅机器学习也一样你训练了一个模型准确率 95% ❌ 只看准确率 可能掩盖严重问题 场景 1癌症检测 - 100 个人里只有 1 个癌症患者 - 模型说全部健康 → 准确率 99% - 但有用吗没用漏掉了真正的患者 场景 2地震预警 - 宁可误报 100 次不能漏报 1 次 - 准确率重要吗不重要召回率才重要 所以需要多个评估指标 费曼输出 #1解释为什么需要多个指标任务 1向小学生解释场景有个小朋友问你为什么不能只看准确率要求不用假阳性、假阴性、类别不平衡这些专业术语用考试、游戏、比赛等生活场景比喻让小学生能听懂参考模板评估模型就像______一样。 比如考试如果只看______ 你就不知道______。 但是如果给你______ 你就能知道______。 所以我们需要多个指标⏰ 时间15 分钟 卡壳检查点如果你在解释时卡住了□ 我说不清楚准确率的局限性 □ 我不知道如何解释类别不平衡问题 □ 我只能说不准确但不能说明为什么不准确这很正常标记下来回去再看上面的内容然后重新尝试解释提示准确率 总体印象其他指标 详细分析就像看人不能只看外表 第 3 步混淆矩阵 - 评估的基础50 分钟什么是混淆矩阵就像一个成绩单考试结果 预测通过 预测挂科 实际通过 80 10 实际挂科 5 5 这个表格就是混淆矩阵 它告诉你具体哪里对了哪里错了四个关键数字TP/TN/FP/FN以癌症检测为例预测癌症 预测健康 实际癌症 TP FN 实际健康 FP TN TP真阳性 确实是癌症也预测对了 ✅ → 好事及时发现病情 FN假阴性 其实是癌症但没预测出来 ❌ → 危险漏诊了耽误治疗 FP假阳性 其实健康但误判为癌症 ❌ → 虚惊一场浪费钱做进一步检查 TN真阴性 确实健康也预测对了 ✅ → 好事放心了 记忆技巧 TTrue真FFalse假 PPositive阳性NNegative阴性生活中的例子场景 1安检TP 有危险品查出来了 ✅保护安全 FN 有危险品没查出来 ❌危险 FP 没危险品误报警 ❌耽误时间 TN 没危险品顺利通过 ✅正常通行 哪个最严重FN宁可 FP不能 FN场景 2垃圾邮件过滤TP 是垃圾邮件过滤掉了 ✅清净了 FN 是垃圾邮件没过滤 ❌骚扰 FP 不是垃圾邮件误过滤 ❌错过重要信息 TN 不是垃圾邮件正常接收 ✅正常 哪个更严重看需求 费曼输出 #2深入理解混淆矩阵任务 1创造多个场景场景 A向医生解释用医学检测的例子 重点强调 FN 的危险性场景 B向产品经理解释用用户体验的例子 重点强调 FP 的影响场景 C向普通人解释用日常生活的例子 平衡说明 FN 和 FP要求每个场景都要用具体的数字说明任务 2解释为什么叫混淆思考题1. 为什么叫混淆矩阵 2. 混淆的是什么 3. 这个名字说明了什么问题⏰ 时间20 分钟 卡壳检查点□ 我解释不清 TP 和 TN 的区别 □ 我说不明白 FN 和 FP 哪个更严重 □ 我不能用生活中的例子说明提示TP/TN 预测正确好事FP/FN 预测错误坏事哪个更严重看应用场景 第 4 步四大核心指标60 分钟1. 准确率Accuracy- 最直观公式(TPTN) / (TPTNFPFN) 含义所有预测中猜对的比例 例子 100 次预测对了 95 次 → 准确率 95% 问题 类别不平衡时不可靠 就像考试 - 100 道题99 道简单1 道难题 - 你把简单的都做对难题全错 - 得分 99% → 真的学会了吗2. 精确率Precision- 查准率公式TP / (TPFP) 含义预测为阳性的样本中真正阳性的比例 关注宁缺毋滥 例子 - 预测 10 个是癌症结果 8 个真是 → Precision80% - 推荐系统宁愿少推荐也不要推荐错的 - 选美比赛宁愿漏选不能选错 生活化理解 你说谁是好人就真的是好人吗 → 精确率 你的眼光有多准3. 召回率Recall- 查全率公式TP / (TPFN) 含义所有阳性样本中被正确找出的比例 关注宁可错杀不可放过 例子 - 100 个癌症患者找出 90 个 → Recall90% - 地震预警宁可误报 100 次不能漏报 1 次 - 抓坏人宁可错抓不能放过 生活化理解 所有好人里你找出了多少 → 召回率 你的覆盖面有多广4. F1 分数F1-Score- 综合考量公式2 × (Precision×Recall) / (PrecisionRecall) 含义精确率和召回率的调和平均 作用综合考量两者兼顾 当 Precision 和 Recall 冲突时用 F1 就像选对象 - 精确率高 眼光准说的都对 - 召回率高 覆盖面广不错的都认识 - F1 高 既准又广完美 费曼输出 #3对比四大指标任务 1用故事解释指标差异故事框架三个猎人打猎猎人 A准确率高 开了 100 枪打中 95 只兔子 但其中有 50 只是误伤的家禽 → 准确率高但 precision 低 猎人 B精确率高 只开了 10 枪打中 10 只野兔 但错过了 90 只逃跑的野兔 → 精确率高但 recall 低 猎人 CF1 高 开了 50 枪打中 45 只野兔 只误伤了 2 只家禽 → 既准又广F1 最高 如果你是老板选哪个猎人任务 2解释什么时候用哪个指标场景分析1. 癌症检测 → 哪个指标最重要为什么 2. 垃圾邮件过滤 → 应该关注哪个 3. 推荐系统 → 优先考虑什么 4. 地震预警 → 宁可怎样⏰ 时间25 分钟 卡壳检查点□ 我解释不清精确率和召回率的区别 □ 我说不明白 F1 的意义 □ 我不能用生活中的例子说明各个指标的用途提示精确率 说的对不对召回率 找的齐不齐全F1 综合评分 第 5 步动手计算各项指标50 分钟完整代码实现from sklearn.metrics import confusion_matrix, classification_report, accuracy_score, precision_score, recall_score, f1_score from sklearn.datasets import load_breast_cancer import matplotlib.pyplot as plt import seaborn as sns import numpy as np print( * 50) print( 模型评估指标详解) print( * 50) # 加载数据乳腺癌数据集 cancer load_breast_cancer() X cancer.data y cancer.target # 0恶性1良性 print(f\n数据集信息) print(f样本数{len(X)}) print(f恶性0: {sum(y0)} 例) print(f良性1: {sum(y1)} 例) # 划分数据集 from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42 ) # 训练模型 from sklearn.linear_model import LogisticRegression model LogisticRegression(max_iter10000) model.fit(X_train, y_train) # 预测 y_pred model.predict(X_test) # 1. 混淆矩阵 cm confusion_matrix(y_test, y_pred) print(\n * 50) print( 混淆矩阵) print( * 50) print(\n混淆矩阵) print(cm) # 可视化 plt.figure(figsize(10, 8)) plt.subplot(2, 2, 1) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabels[预测恶性, 预测良性], yticklabels[实际恶性, 实际良性]) plt.xlabel(预测值) plt.ylabel(真实值) plt.title(混淆矩阵) # 提取四个数字 TN cm[0, 0] # 真阴性 FP cm[0, 1] # 假阳性 FN cm[1, 0] # 假阴性 TP cm[1, 1] # 真阳性 print(\n详细解读) print(f真阴性TN: {TN} - 恶性肿瘤 correctly 识别为恶性 ✅) print(f假阳性FP: {FP} - 恶性肿瘤 incorrectly 识别为良性 ❌漏诊危险) print(f假阴性FN: {FN} - 良性肿瘤 incorrectly 识别为恶性 ❌虚惊一场) print(f真阳性TP: {TP} - 良性肿瘤 correctly 识别为良性 ✅) # 2. 计算各项指标 print(\n * 50) print( 四大核心指标) print( * 50) # 准确率 accuracy accuracy_score(y_test, y_pred) print(f\n【准确率 Accuracy】) print(f公式(TPTN) / (TPTNFPFN)) print(f计算({TP}{TN}) / ({TP}{TN}{FP}{FN})) print(f结果{accuracy*100:.2f}%) print(f含义所有预测中猜对的比例) # 精确率 precision precision_score(y_test, y_pred) print(f\n【精确率 Precision】) print(f公式TP / (TPFP)) print(f计算{TP} / ({TP}{FP})) print(f结果{precision*100:.2f}%) print(f含义预测为恶性的样本中真正恶性的比例) print(f场景宁缺毋滥时使用) # 召回率 recall recall_score(y_test, y_pred) print(f\n【召回率 Recall】) print(f公式TP / (TPFN)) print(f计算{TP} / ({TP}{FN})) print(f结果{recall*100:.2f}%) print(f含义所有恶性样本中被正确找出的比例) print(f场景宁可错杀不可放过) # F1 分数 f1 f1_score(y_test, y_pred) print(f\n【F1 分数 F1-Score】) print(f公式2 × (Precision×Recall) / (PrecisionRecall)) print(f计算2 × ({precision:.2f}×{recall:.2f}) / ({precision:.2f}{recall:.2f})) print(f结果{f1:.4f}) print(f含义精确率和召回率的综合考量) print(f场景需要平衡两者时) # 3. 分类报告 print(\n * 50) print( 完整分类报告) print( * 50) report classification_report(y_test, y_pred, target_names[恶性, 良性]) print(report) # 4. 可视化对比 plt.subplot(2, 2, 2) metrics [准确率, 精确率, 召回率, F1 分数] values [accuracy, precision, recall, f1] colors [#FF6B6B, #4ECDC4, #45B7D1, #FFA07A] bars plt.bar(metrics, values, colorcolors, alpha0.7) plt.ylim(0, 1.1) plt.title(指标对比) plt.xticks(rotation15) # 在柱子上标注数值 for bar, value in zip(bars, values): plt.text(bar.get_x() bar.get_width()/2., bar.get_height() 0.02, f{value:.2f}, hacenter, vabottom, fontsize10) # 5. 实际应用建议 print(\n * 50) print( 实际应用建议) print( * 50) print(\n【不同场景的指标选择】) print(\n1. 医疗诊断如癌症检测:) print( 优先关注召回率Recall) print( 原因宁可误诊不能漏诊) print(f 当前召回率{recall*100:.2f}%) print(\n2. 垃圾邮件过滤:) print( 优先关注精确率Precision) print( 原因宁可放过不能误杀错过重要邮件) print(f 当前精确率{precision*100:.2f}%) print(\n3. 推荐系统:) print( 优先关注F1 分数) print( 原因既要推荐得准又要覆盖得广) print(f 当前 F1 分数{f1:.4f}) print(\n4. 一般分类任务:) print( 可以关注准确率Accuracy) print( 前提类别相对平衡) print(f 当前准确率{accuracy*100:.2f}%) plt.tight_layout() plt.show() print(\n * 50) print( 恭喜你学会了模型评估指标) print( * 50)按 Shift Enter 运行 费曼输出 #4解释代码和计算过程逐行解释给小白听任务假装你在教一个完全不懂编程的人要解释清楚1. confusion_matrix() 返回的是什么 2. TP/TN/FP/FN 分别怎么提取 3. 各个指标的公式和含义 4. 为什么要画热力图 5. classification_report 包含什么信息要求不用混淆矩阵、指标等术语用生活化的比喻每行代码都要说明白参考思路confusion_matrix() 就像是______ TP 就像是______TN 就像是______ 准确率就像是______精确率就像是______ 热力图就像是______⏰ 时间25 分钟 卡壳检查点□ 我解释不清各个指标的计算方法 □ 我说不明白为什么需要可视化 □ 我不能用生活中的例子说明各个指标的用途提示混淆矩阵 成绩单热力图 颜色深浅帮助理解classification_report 详细体检报告 第 6 步过拟合和欠拟合40 分钟什么是过拟合生活中的例子学生小明备考 ✓ 把历年真题背得滚瓜烂熟 ✓ 每道题的答案都记住了 ✗ 但是不理解解题思路 考试时 ✓ 原题出现 → 满分 ✗ 题目稍微变化 → 完全不会 这就是过拟合什么是欠拟合学生小红备考 ✗ 书都没看完 ✗ 题也没做几道 ✗ 觉得自己都会了 考试时 ✗ 大部分题都不会 → 不及格 这就是欠拟合对比图过拟合 vs 欠拟合 vs 刚刚好 欠拟合 │ ╱╲ │ ╱ ╲ ← 太简单了学不到东西 │╱ ╲ └─────── 刚好 │ ╱╲ ╱╲ │ ╱ ╲╱ ╲ ← 恰到好处 │╱ ╲ └─────── 过拟合 │ ╱╲╱╲╱╲╱╲ │╱ ╲ ← 死记硬背太复杂了 └───────── 费曼输出 #5深入理解过拟合任务 1创造多个比喻场景 A学习考试过拟合 死记硬背 欠拟合 没学会 刚好 理解了场景 B学开车过拟合 只会开某一条路 欠拟合 连油门刹车都分不清 刚好 掌握了驾驶技能场景 C学做菜过拟合 只会做这一道菜 欠拟合 连菜名都记不住 刚好 掌握了烹饪原理要求每个场景都要详细说明任务 2解释如何解决过拟合思考题1. 过拟合的根本原因是什么 2. 正则化是如何解决过拟合的 3. Dropout 是什么为什么有效 4. 早停法Early Stopping的原理⏰ 时间20 分钟 卡壳检查点□ 我解释不清过拟合的本质 □ 我说不明白正则化的作用 □ 我不能用生活中的例子说明提示过拟合 想太多正则化 约束Dropout 故意不完整学习早停 见好就收 今日费曼总结30 分钟⭐完整的费曼学习流程第 1 步回顾今天的内容5 分钟□ 为什么需要多个评估指标 □ 混淆矩阵的四个数字 □ 四大核心指标的含义和计算 □ 过拟合和欠拟合的问题第 2 步合上教程尝试完整教授15 分钟⭐任务假装你在给一个完全不懂的人上第六堂课要覆盖为什么不能只看准确率至少 2 个例子混淆矩阵的 TP/TN/FP/FN 各代表什么精确率、召回率、F1 的区别和应用场景过拟合和欠拟合的问题及解决方法方式 写一篇 800 字左右的文章 录一段 10-15 分钟的视频 找个朋友给他讲一遍第 3 步标记卡壳点5 分钟我今天卡壳的地方 □ _________________________________ □ _________________________________ □ _________________________________第 4 步针对性复习5 分钟回到教程中卡壳的地方重新学习然后再次尝试解释 费曼学习笔记模板╔═══════════════════════════════════════════════════╗ ║ Day 6 费曼学习笔记 ║ ╠═══════════════════════════════════════════════════╣ ║ 日期__________ ║ ║ 学习时长__________ ║ ╠═══════════════════════════════════════════════════╣ ║ ║ ║ 1. 我向小白解释了 ║ ║ _______________________________________________ ║ ║ _______________________________________________ ║ ║ ║ ║ 2. 我卡壳的地方 ║ ║ □ _____________________________________________ ║ ║ □ _____________________________________________ ║ ║ ║ ║ 3. 我的通俗比喻 ║ ║ • 评估模型就像 ______ ║ ║ • 精确率就像 ______ ║ ║ • 召回率就像 ______ ║ ║ • 过拟合就像 ______ ║ ║ ║ ║ 4. 我还想知道 ║ ║ _______________________________________________ ║ ║ ║ ╚═══════════════════════════════════════════════════╝ 今日总结✅ 你今天学到了1. 模型评估的重要性不能只看准确率需要多个指标综合评估不同场景关注不同指标2. 混淆矩阵TP/TN/FP/FN 的含义四个关键数字的解读生活中的应用场景3. 四大核心指标准确率 总体印象精确率 宁缺毋滥召回率 宁可错杀F1 综合考量4. 过拟合和欠拟合死记硬背 vs 没学会正则化、Dropout、早停法找到最佳平衡点5. 费曼输出能力⭐能用比喻解释评估指标能向小白说明混淆矩阵能对比不同指标的用途 明日预告明天你将学习主题Week 1 复习和小项目 内容 ✓ 复习本周所有算法 ✓ 综合运用所学知识 ✓ 完成一个小项目 ✓ 准备进入 Week 2 需要准备 ✓ 复习 Day1-Day6 的所有内容 ✓ 准备好提问的问题 ✓ 保持好奇心 常见问题Q1: 精确率和召回率怎么选看应用场景 医疗诊断 → 召回率优先宁可误诊不能漏诊 垃圾邮件过滤 → 精确率优先宁可放过不能误杀 推荐系统 → F1 优先平衡两者 一般分类 → 准确率就可以如果类别平衡Q2: 如何处理过拟合方法 1增加数据 → 见的多了就不容易钻牛角尖 方法 2减少特征 → 别想太多抓住重点 方法 3正则化 → 给自己设限制防止想太多 方法 4Dropout → 故意不完整学习避免依赖 方法 5早停法 → 见好就收别过头 最后的鼓励第六天完成了你已经学会了 ✓ K 近邻Day 2 ✓ 决策树和随机森林Day 3 ✓ SVMDay 4 ✓ K-means 聚类Day 5 ✓ 模型评估Day 6 五种强大的算法和评估方法 你现在已经掌握了机器学习的核心技能 更重要的是 ✓ 你能用自己的话解释抽象概念了 ✓ 你能创造生动的比喻了 ✓ 你能发现并解决知识盲点了 ✓ 你能对比不同算法和指标了 继续加油明天是 Week 1 的复习和项目日 记住费曼的话 如果你不能简单地解释它你就没有真正理解它 今天你能用自己的话解释模型评估指标了吗 如果能你就真的学会了 加油我相信你一定可以的✨ 打卡模板日期___________ 学习时长_______ 小时 费曼输出次数_______ 次 今天学会了 遇到的卡壳点 如何用比喻解释的 明天的目标明天见继续加油✨ 相关链接 项目资源GitHub 仓库: https://github.com/Lee985-cmd/AI-30-Day-ChallengeCSDN 专栏: https://blog.csdn.net/m0_67081842?typeblog⭐如果觉得有帮助请给 GitHub 仓库 Star 支持​​本教程属于 AI 入门 30 天挑战 系列