有监督学习基础
基本概念
给定输入有为(x,y),其中x表示学习特征,y表示输出,m表示输入总数,有监督学习旨在根据输入建立能够预测可能输出的模型,大致可以分为回归和分类两种,代表可能输出是无限的或是有限可能。
模型
线性回归模型
通过数据集建立回归模型,表现形式为根据数据点建立曲线,如y~=wx+b,用于预测无限可能的数字。
分类模型
少量可能输出的预测,比如图片内容识别,音频字符识别等情况。
基本训练过程为
训练集—学习算法—预测方法
成本函数J
用于衡量建立曲线与数据点的差异大小,即曲线的拟合程度,通过平均误差成本函数实现—
除m是为了避免误差随着数据集增大而增大,而除2是为了后续化简,使程序整洁。
构建模型的目的是使成本函数J尽可能小,为了简化,暂时不考虑b。
梯度下降
找w和b使成本函数最小的方法,也是逐步确定拟合曲线的方法,将参数初始化为0,每次尝试使J减小的方向,可视化如下:

本质是通过切线找到三维图像的最低点,从任意点开始找w和b使成本函数最小的方法如式:


上述两个迭代公式需同步计算,上述步骤不断重复直到收敛,可以实现成本函数不断向局部最小值更新,其中a又称学习率,用于控制上下坡的步幅。
线性回归
用向量分别表示输入x和参数w,f(x)=w·x+b,特征多数据大时,传统计算方法耗时很长,故考虑采取其他技术解决。
矢量化
w=np.array([]),x=np.array([])生成向量,但计算时不使用循环乘法,二十直接调用f=np.dot(w,x)+b实现点积运算,该方法快于for循环,使用并行硬件,执行快。
梯度下降
w由原有计算式带入可得
相应的,b的新计算式为

这里求导平方的2就和成本函数J分母加的2抵消,使式子简洁。
另外还有法方程法可用,但该方法并不通用,只在这种场景下可以无需迭代求解w和b,但梯度下降是通用的方法。
特征缩放
单个特征对J的影响很大时,会导致曲线变化太大,梯度下降来回跳动,无法找到极值点,如下图

此时我们可以选择缩放特性,使整体的特征值大致在同一范围内,使用除法或平均归一化方法。
判断收敛
通过学习曲线检查梯度下降是否收敛,如下图

可以看出随着迭代次数的上升成本函数不断下降并趋于一个固定值,此时可以声明其收敛,但该方法的难度在于确定一个阈值。
选择学习率
太小则计算步骤增多,太大则可能跨过极值点,导致计算永远达不到最小值,需要尝试绘图找到合适的值,在接近最小值后由于偏导变化,步子会自动变小,同样需要尝试根据学习曲线图像选择。

如果学习曲线上下摆动,则可能是学习率的选择过于大了。
选择特征
可以根据需要创建新特性,如果曲线不能线性拟合,也可以使用特征多项式提高特征次数,获得拟合曲线,在该部分特征缩放显得尤其重要。
logistic回归
用于分类,拟合一条横S曲线,用于二进制的分类,具体公式如下,其中z=w·x+b,0<g(z)<1

图像大致如下:

该模型输出一个范围0-1的数字,代表分类为1的概率,多用于广告推荐算法,输出概率需设置阈值判定,常见的为0.5,该阈值称为决策边界,也就是z为0时的取值。
损失函数
单个点的损失L表示为:
L(z,y)= -log(z) y=1-log(1-z) y=0
具体含义为,当y=1,预测为真则无损,预测为0则损失极大,y=0相同,预测为1损失极大,预测为0无损,区间的损失用对数函数覆盖。
上述损失可以简化为:

当y=1或y=0时带入都可化简为初始式子。
总的损失函数J是所有点损失集合的平均数,表示为:

梯度下降


二者同样需要同时计算,与线性回归的区别只在f(x)上,一个是f=w·x+b,另一个是指数形式1/1+e^(w·x+b)。
其他
矢量化,特征缩放,判断收敛等,都与线性回归相同。
正则化
拟合与数据不匹配,称为偏差,拟合符合数据,但变化太多不能适应新数据,称为方差,或过拟合,如下三图分别表示偏差,合格拟合和方差。

解决过拟合的方法有:
1,收集更多数据,更大的训练集可以限制函数,拟合出摆动没那么大的图像
2,减少特征,数据不足但特征过多,易过拟合
3,减少参数大小,惩罚所有特征,可以使函数更平滑,表示公式如图:

其中lambda>0,使用正则化成本函数的思想为使w尽可能小。
正则化线性回归梯度下降
原有成本函数梯度下降为:


正则化logistic回归梯度下降


总结
本章学习了监督学习的两种算法,回归和分类,分别用于处理预测无限可能的数字,和有限输出的类型,本质都是通过对已有的数据建立拟合模型来实现,区别在于拟合曲线不同,拟合模型内部通过成本函数来衡量预测结果,每次模型调整又借助梯度下降实现,三者统一完成模型的建立与调整,最后,通过正则化来解决过拟合。
总结的总结,有监督学习的要点:标签、拟合曲线、成本函数、梯度下降、正则化,另外与无监督学习的区别就在于训练集有标签,在特定领域和指定情况效果佳。
另外,正则化之前的函数中分母m或2m应该提到最前并改为1/m,修改工作量大偷个小懒。
相关文章:
有监督学习基础
基本概念 给定输入有为(x,y),其中x表示学习特征,y表示输出,m表示输入总数,有监督学习旨在根据输入建立能够预测可能输出的模型,大致可以分为回归和分类两种,代表可能输出是无限的或…...
揭开 AI 绘画提示词的神秘密码!
前言 ** 揭秘AI 绘画 ** 提示词的神秘密码 亲爱的朋友们,今天我们要一起探索 AI 绘画世界中那神秘的“密码”——提示词。 在 AI 绘画的奇妙领域里,提示词就像是一把神奇的钥匙,能够开启无尽的创意之门。它是我们与 AI 进行心灵对话的桥…...
macOS 10.15中屏蔽Microsoft Edge浏览器的更新提示
文章目录 1.效果对比2.安装描述文件3.停用描述文件4.高级操作(可选)参考文献 最近在macOS10.15系统,打开Microsoft Edge浏览器,每次打开都有个烦人的提示“ 要获取将来的 microsoft edge 更新,需要 macos 10.15 或更高…...
Qt 实战(3)数据类型 | 3.2、QVariant
文章目录 一、QVariant1、存储数据1.1、存储Qt内置数据1.2、存储自定义数据 2、获取数据3、判断数据类型4、清空数据5、总结 前言: QVariant是Qt框架中一个非常强大且灵活的类,它提供了一种通用的方式来存储和转换几乎任何类型的数据。无论是基本数据类型…...
Docker中安装的postgresql14在启用vector扩展的时候,找不到该扩展的控制文件。
ERROR: could not open extension control file “/usr/share/postgresql/14/extension/vector.control”: No such file or directory 进入容器 docker exec -it CONTAINER ID /bin/bash 1.更新 apt-get apt-get update 2.安装插件 #不同版本对应修改数字即可 apt-get i…...
JS防抖和节流
一、防抖和节流的适用场景 防抖(Debounce): 适合在输入框输入时的实时搜索、窗口大小调整时的resize事件等。节流(Throttle): 适合如页面滚动时的scroll事件、按钮点击时的请求发送等需要控制频率的场景。 …...
OpenWrt 为软件包和docker空间扩容
参考资料 【openwrt折腾日记】解决openwrt固件刷入后磁盘空间默认小的问题,关联openwrt磁盘扩容空间扩容【openwrt分区扩容】轻松解决空间可用不足的尴尬丨老李一瓶奶油的YouTube 划分空间 参考一瓶奶油的YouTube 系统 -> 磁盘管理 -> 磁盘 -> 修改 格…...
重要的工作任务,怎么在电脑桌面设置倒计时?
在日常工作中,我们总是面临着众多工作任务,如何高效地管理和完成这些任务成为了每个职场人的必备技能。为任务设置倒计时,不仅能让我们清晰地看到任务的先后顺序,还能帮助我们更好地把握时间,提高工作效率。想象一下&a…...
Failed to build get_cli:get:的解决方案
项目场景: 今天安装Getx命令行的时候,输入这面文档报了一个错: dart pub global activate get_cli 问题描述 提示:这里描述项目中遇到的问题: 例如:数据传输过程中数据不时出现丢失的情况,偶尔…...
短视频矩阵源码技术分享
在当今数字媒体时代,短视频已成为吸引观众和传递信息的重要手段。对于开发者而言,掌握短视频矩阵源码技术不仅是提升自身技能的需要,更是把握行业发展趋势的必然选择。本文将深入探讨短视频矩阵源码的关键技术要点及其实现方法,帮…...
轮播图自定义内容
官网:Swiper演示 - Swiper中文网 下载: npm i swiper Vue3示例代码: <template><div class"swiper mySwiper"><div class"swiper-wrapper"><div class"swiper-slide"><div>…...
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完&am…...
Istio_01_Istio初识
文章目录 IstioService Mesh Istio Istio: 以服务网格形态用于服务治理的开放平台和基础设施 本质: 以非侵入式治理服务之间的访问和调用服务治理: 流量管理、可观测性、安全性可同时管理多类基础设施(多种网络方案) 如: Istio和Kubernetes架构的结合 Istio通过Kubernetes的域…...
leetcode日记(47)螺旋矩阵Ⅱ
这题思路不难,就是找规律太难了。 我首先的思路是一行一行来,根据规律填入下一行的数组,第i行是由前i个数字(n-2*i)个增序数列后i个数字组成,后来觉得太难找规律了就换了一种思路。 思路大致是先计算出需…...
centos系统mysql主从复制(一主一从)
文章目录 mysql80主从复制(一主一从)一、环境二、服务器master1操作1.开启二进制日志2. 创建复制用户3. 服务器 slave1操作4. 在主数据库中添加数据 mysql80主从复制(一主一从) 一、环境 准备两台服务器,都进行以下操…...
IEDA怎么把springboot项目 启动多个
利用Idea提供的Edit Configurations配置应用参数。 点击Modify Options进行添加应用参数: 确保这里勾选...
Vue 3项目安装Element-Plus
Element Plus 是一个基于 Vue 3 的现代前端UI框架,它旨在提升开发体验,并为开发者提供高效、优雅的组件。如果你正在使用 Vue 3 进行项目开发,那么安装和集成 Element Plus 是一个不错的选择。在本文中,博主将详细介绍如何在 Vue …...
Git下载安装
一、介绍 Git是一个分布式版本控制系统,最初由Linus Torvalds创建,用于管理和跟踪代码的变化。它可以轻松地处理个人项目和大型团队项目的版本控制需求。 Git的主要特点包括: 分布式:每个开发者都可以拥有自己的本地仓库&#x…...
linux中的目录操作函数
参考 【Linux系统编程】Linux 文件系统探究:深入理解 struct dirent、DIR 和 struct stat结构 stat函数 C标准库提供了访问linux的目录的函数接口现对目录的操作。 一、libc接口 libc访问目录的流程为:打开目录,访问目录,关闭目…...
JSON 文件第一段飘红
问题 原因 这个问题通常发生在尝试用 ESLint 去解析 JSON 文件时。ESLint 主要设计用于检查 JavaScript 代码的语法和风格,而JSON是一种数据交换格式,不包含 JavaScript 的逻辑结构,如函数、变量声明等。 解释报错原因 当ESLint遇到它不能识…...
Docker 离线安装指南
参考文章 1、确认操作系统类型及内核版本 Docker依赖于Linux内核的一些特性,不同版本的Docker对内核版本有不同要求。例如,Docker 17.06及之后的版本通常需要Linux内核3.10及以上版本,Docker17.09及更高版本对应Linux内核4.9.x及更高版本。…...
论文解读:交大港大上海AI Lab开源论文 | 宇树机器人多姿态起立控制强化学习框架(二)
HoST框架核心实现方法详解 - 论文深度解读(第二部分) 《Learning Humanoid Standing-up Control across Diverse Postures》 系列文章: 论文深度解读 + 算法与代码分析(二) 作者机构: 上海AI Lab, 上海交通大学, 香港大学, 浙江大学, 香港中文大学 论文主题: 人形机器人…...
大话软工笔记—需求分析概述
需求分析,就是要对需求调研收集到的资料信息逐个地进行拆分、研究,从大量的不确定“需求”中确定出哪些需求最终要转换为确定的“功能需求”。 需求分析的作用非常重要,后续设计的依据主要来自于需求分析的成果,包括: 项目的目的…...
【SQL学习笔记1】增删改查+多表连接全解析(内附SQL免费在线练习工具)
可以使用Sqliteviz这个网站免费编写sql语句,它能够让用户直接在浏览器内练习SQL的语法,不需要安装任何软件。 链接如下: sqliteviz 注意: 在转写SQL语法时,关键字之间有一个特定的顺序,这个顺序会影响到…...
MODBUS TCP转CANopen 技术赋能高效协同作业
在现代工业自动化领域,MODBUS TCP和CANopen两种通讯协议因其稳定性和高效性被广泛应用于各种设备和系统中。而随着科技的不断进步,这两种通讯协议也正在被逐步融合,形成了一种新型的通讯方式——开疆智能MODBUS TCP转CANopen网关KJ-TCPC-CANP…...
DIY|Mac 搭建 ESP-IDF 开发环境及编译小智 AI
前一阵子在百度 AI 开发者大会上,看到基于小智 AI DIY 玩具的演示,感觉有点意思,想着自己也来试试。 如果只是想烧录现成的固件,乐鑫官方除了提供了 Windows 版本的 Flash 下载工具 之外,还提供了基于网页版的 ESP LA…...
【android bluetooth 框架分析 04】【bt-framework 层详解 1】【BluetoothProperties介绍】
1. BluetoothProperties介绍 libsysprop/srcs/android/sysprop/BluetoothProperties.sysprop BluetoothProperties.sysprop 是 Android AOSP 中的一种 系统属性定义文件(System Property Definition File),用于声明和管理 Bluetooth 模块相…...
ServerTrust 并非唯一
NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...
现代密码学 | 椭圆曲线密码学—附py代码
Elliptic Curve Cryptography 椭圆曲线密码学(ECC)是一种基于有限域上椭圆曲线数学特性的公钥加密技术。其核心原理涉及椭圆曲线的代数性质、离散对数问题以及有限域上的运算。 椭圆曲线密码学是多种数字签名算法的基础,例如椭圆曲线数字签…...
【决胜公务员考试】求职OMG——见面课测验1
2025最新版!!!6.8截至答题,大家注意呀! 博主码字不易点个关注吧,祝期末顺利~~ 1.单选题(2分) 下列说法错误的是:( B ) A.选调生属于公务员系统 B.公务员属于事业编 C.选调生有基层锻炼的要求 D…...
