当前位置: 首页 > news >正文

机器学习(吴恩达第一课)

课程链接

文章目录

  • 第一周
    • 1、机器学习定义
    • 2、监督学习(Supervised learning)
      • 1、回归(Regression)
      • 2、分类(Classification)
    • 3、无监督学习(Unsupervised learning)
    • 4、线性回归模型
    • 5、代价函数
    • 6、梯度下降(Gradient descent)
      • 1、学习率
      • 2、用于线性回归的梯度下降
  • 第二周(多维特征)
    • 1、特征缩放
    • 2、如何设置学习率
    • 3、特征工程(Feature engineering)
    • 4、多项式回归(Polynomial regression)
  • 第三周
    • 1、逻辑回归(二元分类)
    • 2、决策边界(decision boundary)
    • 3、逻辑回归中的代价函数
    • 4、简化逻辑回归代价函数
    • 5、实现梯度下降
    • 6、过拟合问题(The Problem of Overfitting)
    • 7、解决过拟合
    • 8、正则化
    • 9、用于线性回归的正则方法
    • 10、用于逻辑回归的正则方法

第一周

1、机器学习定义

在这里插入图片描述

2、监督学习(Supervised learning)

从给出“正确答案”的数据集中学习

1、回归(Regression)

在这里插入图片描述

2、分类(Classification)

在这里插入图片描述
总结

3、无监督学习(Unsupervised learning)

在这里插入图片描述

4、线性回归模型

1.术语。
在这里插入图片描述
2.单变量线性回归
在这里插入图片描述

5、代价函数

平方误差代价函数
在这里插入图片描述

6、梯度下降(Gradient descent)

梯度下降算法选择不同的起点,可能会得到不同的结果,因为它得到的是一个局部最小值。

在这里插入图片描述
在这里插入图片描述

1、学习率

在这里插入图片描述

2、用于线性回归的梯度下降

线性回归的平方误差成本函数时,成本函数没有也永远不会有多个局部最小值,它只有一个全局最小值。因为这个成本函数是一个凸函数。
在这里插入图片描述
梯度下降过程
在这里插入图片描述

第二周(多维特征)

正规方程法(只适用于线性回归)
在这里插入图片描述

1、特征缩放

多个变量的度量不同,数字之间相差的大小也不同,如果可以将所有的特征变量缩放到大致相同范围,这样会减少梯度算法的迭代。
特征缩放不一定非要落到[-1,1]之间,只要数据足够接近就可以。
讨论了三种特征缩放方法:
1、每个特征除以用户选择的值,得到-1到1之间的范围。
2、Mean normalization: x i = x i − μ i m a x − m i n x_i = \frac{x_i-\mu_i}{max-min} xi=maxminxiμi
3、Z-score normalization: X i = X i − μ i σ i X_i = \frac{X_i-\mu_i}{\sigma_i} Xi=σiXiμi μ i \mu_i μi表示平均值, σ i \sigma_i σi表示标准差。

特征值范围太大可能会导致梯度下降运行缓慢,所以需要进行特征缩放。

在这里插入图片描述

2、如何设置学习率

在这里插入图片描述

从小到大依次尝试,找到一个满足梯度下降的最大学习率。
在这里插入图片描述

3、特征工程(Feature engineering)

在这里插入图片描述

4、多项式回归(Polynomial regression)

上述讨论的都是线性回归(只有一次幂)
在这里插入图片描述
在这里插入图片描述

第三周

了解分类问题。
逻辑回归用于 解决y为零或一的二元分类问题。

1、逻辑回归(二元分类)


在这里插入图片描述

2、决策边界(decision boundary)

在这里插入图片描述
在这里插入图片描述
逻辑回归可以拟合相当复杂的数据
在这里插入图片描述

3、逻辑回归中的代价函数

事实证明,通过这种损失函数的选择,整体成本函数将是凸的,因此你可以可靠的使用梯度下降将您带到全局最小值,证明这个函数是凸的,就超过了这个代价的范围。
在这里插入图片描述

4、简化逻辑回归代价函数

在这里插入图片描述

5、实现梯度下降

逻辑回归的梯度下降
在这里插入图片描述
在这里插入图片描述

6、过拟合问题(The Problem of Overfitting)

在这里插入图片描述
在这里插入图片描述

7、解决过拟合

1、对抗过度拟合的第一个工具是获取更多的训练数据。
在这里插入图片描述
2、如果你有很多的特征,但没有足够的训练数据,那么你的学习算法也可能会过度拟合您的训练集。如果我们只选择最有用的一个特征子集,您可能发现您的模型不再过度拟合。
在这里插入图片描述
3、解决过度拟合的第三个选项----正则化
正则化的作用是让你保留所有的特征,它们只是防止特征产生过大的影响(这有时会导致过度拟合),顺便说一句,按照惯例,我们通常只是减小wj参数的大小,即w1~wn。是否正则化参数b并没有太大的区别,通常不这么做 。在实践中是否也正则化b应该没有什么区别。
在这里插入图片描述
在这里插入图片描述

8、正则化

我们希望最小化原始成本,即均方误差成本加上额外的正则化项。所以这个新的成本函数权衡了你可能拥有的两个目标。尝试最小化第一项,并尽量减小第二项。该算法试图使参数wj保持较小,这将有助于减少过拟合。你选择的lambda值指定了相对重要性或相对权衡或你如何在这两个目标之间取得平衡。
在这里插入图片描述
1、如果lambda为0,您最终会拟合这条过度摆动,过于复杂的曲线,并且过度拟合
2、如果你说lambda是一个非常非常大的数字,比如lambda=10^10,那么你对右边的这个正则化项非常重视。最小化这种情况的唯一方法是确保w的所有值都非常接近于0。因此f(x)基本等于b,因此学习算法拟合水平直线和欠拟合。
 
 
 
接下来的两节,将充实如何将正则化应用于线性回归和逻辑回归,以及如何通过梯度下降训练这些模型。您将能够避免这两种算法的过度拟合。

9、用于线性回归的正则方法


在这里插入图片描述

10、用于逻辑回归的正则方法

在这里插入图片描述

相关文章:

机器学习(吴恩达第一课)

课程链接 文章目录 第一周1、机器学习定义2、监督学习(Supervised learning)1、回归(Regression)2、分类(Classification) 3、无监督学习(Unsupervised learning)4、线性回归模型5、代价函数6、梯度下降(Gradient descent)1、学习率2、用于线性回归的梯度下降 第二周(多维特征…...

固定资产管理怎么改革

固定资产管理改革需要考虑以下几个方面: 建立完善的管理制度和流程:制定固定资产管理的规章制度,明确各部门的职责和任务,规范资产采购、登记、领用、保管、维修、报废等流程。 采用先进的资产管理软件:通过采用先进的…...

【js】防抖和节流的使用场景和区别:

文章目录 一、防抖 (多次触发 只执行最后一次)二、节流 (规定时间内 只触发一次)三、防抖和节流的使用场景【1】防抖(debounce)【2】节流(throttle) 一、防抖 (多次触发 …...

Blazor前后端框架Known-V1.2.14

V1.2.14 Known是基于C#和Blazor开发的前后端分离快速开发框架,开箱即用,跨平台,一处代码,多处运行。 Gitee: https://gitee.com/known/KnownGithub:https://github.com/known/Known 概述 基于C#和Blazo…...

港陆证券:五日线破位怎么看?

在股票交易中,五日线是个重要的技术指标之一,它能够反映出最近的商场趋势。假如五日线破位,这意味着商场呈现了趋势反转,出资者需求注重趋势改动,并采取相应的出资战略。 首先,咱们来看看五日线破位的原因…...

睿趣科技:抖音小店多久可以做起来

随着社交媒体的迅猛发展,抖音成为了全球最受欢迎的短视频平台之一,吸引了数以亿计的用户。在抖音上,人们不仅可以分享自己的生活、才艺和创意,还可以创业经营抖音小店。但是,很多人都想知道,一个抖音小店到…...

onnx 模型切割掉conv后面的节点,设置输出层名称和最后节点名称一致,设置输出层shape和输出节点一致.

某些模型最后卷积层之后的算子不适合在推理引擎里面跑,切割掉conv后面的算子,在cpu上实现有比较好的性能. 包含: 1.获取onnx中间节点的shape的示例 2.增加onnx模型输出,设…...

泛型的学习

泛型深入 泛型&#xff1a;可以在编译阶段约束操作的数据类型&#xff0c;并进行检查 泛型的格式&#xff1a;<数据类型> 注意&#xff1a;泛型只能支持引用数据类型 //没有泛型的时候&#xff0c;集合如何存储数据//如果我们没有给集合指定类型&#xff0c;默认认为…...

L1-061 新胖子公式(Python实现) 测试点全过

前言&#xff1a; {\color{Blue}前言&#xff1a;} 前言&#xff1a; 本系列题使用的是&#xff0c;“PTA中的团体程序设计天梯赛——练习集”的题库&#xff0c;难度有L1、L2、L3三个等级&#xff0c;分别对应团体程序设计天梯赛的三个难度。更新取决于题目的难度&#xff0c;…...

潜艇来袭(Qt官方案例-2维动画游戏)

一、游戏介绍 1 开始界面 启动程序&#xff0c;进入开始界面。 2 开始新游戏 点击菜单&#xff1a;File》New Game &#xff08;或者CtrlN&#xff09;进入新游戏。 开始新游戏之后&#xff0c;会有一个海底的潜艇&#xff0c;和水面舰艇对战。 计算机&#xff1a;自动控制…...

50ETF期权开户平台(0门槛期权开户指南)

50ETF期权开户平台比较好的有&#xff1a;期权馆&#xff0c;期权科普馆&#xff0c;小熊期权&#xff0c;期权酱&#xff0c;财顺财经&#xff0c;财顺期权等&#xff0c;都是国内前十的期权分仓平台&#xff0c;下文为大家结算50ETF期权开户平台&#xff08;0门槛期权开户指南…...

leaflet · 关于轨迹移动

1.引入 import MovingMarker from "../src/utils/MovingMarker"; 2.MovingMarker.js内容 import L from "leaflet"; import eventBus from ../util/eventBus; L.interpolatePosition function(p1, p2, duration, t) {var k t/duration;k (k > 0) ? …...

学生宿舍水电费自动缴费系统/基于javaweb的水电缴费系统

摘 要 “互联网”的战略实施后&#xff0c;很多行业的信息化水平都有了很大的提升。但是目前很多学校日常工作仍是通过人工管理的方式进行&#xff0c;需要在各个岗位投入大量的人力进行很多重复性工作&#xff0c;这样就浪费了许多的人力物力&#xff0c;工作效率较低&#x…...

机器人中的数值优化(十三)——QP二次规划

本系列文章主要是我在学习《数值优化》过程中的一些笔记和相关思考&#xff0c;主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等&#xff0c;本系列文章篇数较多&#xff0c;不定期更新&#xff0c;上半部分介绍无约束优化&#xff0c;…...

语言深入理解指针(非常详细)(三)

目录 数组名的理解使用指针访问数组 一维数组传参的本质二级指针指针数组指针数组模拟二维数组 数组名的理解 在上⼀个章节我们在使用指针访问数组的内容时&#xff0c;有这样的代码&#xff1a; int arr[10] {1,2,3,4,5,6,7,8,9,10}; int *p &arr[0];这里我们使用 &am…...

实训笔记8.31

实训笔记8.31 8.31笔记一、项目开发流程一共分为七个阶段1.1 数据产生阶段1.2 数据采集存储阶段1.3 数据清洗预处理阶段1.4 数据统计分析阶段1.5 数据迁移导出阶段1.6 数据可视化阶段 二、项目数据清洗预处理的实现2.1 清洗预处理规则2.1.1 数据清洗规则2.1.2 数据预处理规则 2…...

el-table 垂直表头

效果如下&#xff1a; 代码如下&#xff1a; <template><div class"vertical_head"><el-table style"width: 100%" :data"getTblData" :show-header"false"><el-table-columnv-for"(item, index) in getHe…...

B081-Lucene+ElasticSearch

目录 认识全文检索概念lucene原理全文检索的特点常见的全文检索方案 Lucene创建索引导包分析图代码 搜索索引分析图代码 ElasticSearch认识ElasticSearchES与Kibana的安装及使用说明ES相关概念理解和简单增删改查ES查询DSL查询DSL过滤 分词器IK分词器安装测试分词器 文档映射(字…...

机器学习:塑造未来的核心力量

着科技的飞速发展&#xff0c;机器学习已经成为我们生活中不可或缺的一部分。无论是搜索引擎、推荐系统&#xff0c;还是自动驾驶汽车和机器人&#xff0c;都依赖于机器学习算法。本文将探讨机器学习的基本概念、应用领域以及未来发展趋势。 一、机器学习的基本概念 机器学习…...

RK3568-i2c-适配8010rtc时钟芯片

硬件连接 从硬件原理图中可以看出&#xff0c;rtc时钟芯片挂载在i2c3总线上&#xff0c;设备地址需要查看芯片数据手册。编写设备树 &i2c3 {status "okay";rx8010: rx801032 {compatible "epson,rx8010";reg <0x32>;}; };使能驱动 /kernel/…...

挑战杯推荐项目

“人工智能”创意赛 - 智能艺术创作助手&#xff1a;借助大模型技术&#xff0c;开发能根据用户输入的主题、风格等要求&#xff0c;生成绘画、音乐、文学作品等多种形式艺术创作灵感或初稿的应用&#xff0c;帮助艺术家和创意爱好者激发创意、提高创作效率。 ​ - 个性化梦境…...

Python爬虫实战:研究feedparser库相关技术

1. 引言 1.1 研究背景与意义 在当今信息爆炸的时代,互联网上存在着海量的信息资源。RSS(Really Simple Syndication)作为一种标准化的信息聚合技术,被广泛用于网站内容的发布和订阅。通过 RSS,用户可以方便地获取网站更新的内容,而无需频繁访问各个网站。 然而,互联网…...

1.3 VSCode安装与环境配置

进入网址Visual Studio Code - Code Editing. Redefined下载.deb文件&#xff0c;然后打开终端&#xff0c;进入下载文件夹&#xff0c;键入命令 sudo dpkg -i code_1.100.3-1748872405_amd64.deb 在终端键入命令code即启动vscode 需要安装插件列表 1.Chinese简化 2.ros …...

oracle与MySQL数据库之间数据同步的技术要点

Oracle与MySQL数据库之间的数据同步是一个涉及多个技术要点的复杂任务。由于Oracle和MySQL的架构差异&#xff0c;它们的数据同步要求既要保持数据的准确性和一致性&#xff0c;又要处理好性能问题。以下是一些主要的技术要点&#xff1a; 数据结构差异 数据类型差异&#xff…...

Map相关知识

数据结构 二叉树 二叉树&#xff0c;顾名思义&#xff0c;每个节点最多有两个“叉”&#xff0c;也就是两个子节点&#xff0c;分别是左子 节点和右子节点。不过&#xff0c;二叉树并不要求每个节点都有两个子节点&#xff0c;有的节点只 有左子节点&#xff0c;有的节点只有…...

重启Eureka集群中的节点,对已经注册的服务有什么影响

先看答案&#xff0c;如果正确地操作&#xff0c;重启Eureka集群中的节点&#xff0c;对已经注册的服务影响非常小&#xff0c;甚至可以做到无感知。 但如果操作不当&#xff0c;可能会引发短暂的服务发现问题。 下面我们从Eureka的核心工作原理来详细分析这个问题。 Eureka的…...

华硕a豆14 Air香氛版,美学与科技的馨香融合

在快节奏的现代生活中&#xff0c;我们渴望一个能激发创想、愉悦感官的工作与生活伙伴&#xff0c;它不仅是冰冷的科技工具&#xff0c;更能触动我们内心深处的细腻情感。正是在这样的期许下&#xff0c;华硕a豆14 Air香氛版翩然而至&#xff0c;它以一种前所未有的方式&#x…...

【Go语言基础【12】】指针:声明、取地址、解引用

文章目录 零、概述&#xff1a;指针 vs. 引用&#xff08;类比其他语言&#xff09;一、指针基础概念二、指针声明与初始化三、指针操作符1. &&#xff1a;取地址&#xff08;拿到内存地址&#xff09;2. *&#xff1a;解引用&#xff08;拿到值&#xff09; 四、空指针&am…...

QT3D学习笔记——圆台、圆锥

类名作用Qt3DWindow3D渲染窗口容器QEntity场景中的实体&#xff08;对象或容器&#xff09;QCamera控制观察视角QPointLight点光源QConeMesh圆锥几何网格QTransform控制实体的位置/旋转/缩放QPhongMaterialPhong光照材质&#xff08;定义颜色、反光等&#xff09;QFirstPersonC…...

招商蛇口 | 执笔CID,启幕低密生活新境

作为中国城市生长的力量&#xff0c;招商蛇口以“美好生活承载者”为使命&#xff0c;深耕全球111座城市&#xff0c;以央企担当匠造时代理想人居。从深圳湾的开拓基因到西安高新CID的战略落子&#xff0c;招商蛇口始终与城市发展同频共振&#xff0c;以建筑诠释对土地与生活的…...