【机器学习】四、计算学习理论
1 基础知识
计算学习理论(computational learning theory):关于通过“计算”来进行“学习”的理论,即关于机器学习的理论基础,其目的是分析学习任务的困难本质,为学习算法体统理论保证,并根据结果指导算法设计。
对于二分类问题,给定样本集
假设所有样本服从一个隐含未知的分布D DD,所有样本均独立同分布(independent and identically distributed)。
令h为样本到{ − 1 , + 1 } 上的一个映射,其泛化误差为

h在D 的经验误差为

由于D是D的独立同分布采样,因此h hh的经验误差的期望等于其泛化误差。 在上下文明确时,我们将E ( h ; D ) 和E ^ ( h ; D ) 分别简记为E ( h )和E ^ ( h ) 。 令ϵ为E ( h ) 的上限,即E ( h ) ≤ ϵ E(h);我们通常用ϵ表示预先设定的学得模型所应满足的误差要求,亦称“误差参数”。
我们将研究经验误差和泛化误差之间的逼近程度;若h在数据集上的经验误差为0,则称h与D一致,否则称其不一致。对于任意两个映射h 1 , h 2 ∈ X → Y h_1,h_2,用不合(disagreement)来度量他们之间的差别:
d ( h 1 , h 2 ) = P x ∼ D ( h 1 ( x ) ≠ h 2 ( x ) )
我们将会用到几个常见的不等式:
Jensen不等式:对任意凸函数,有

Hoeffding不等式:若x 1 , x 2 , … , x m
为m 个独立随机变量,且满足0 ≤ x i ≤ 1,对任意ϵ > 0,有

McDiarmid不等式:

2 PAC学习
概率近似正确理论(Probably Approximately Correct,PAC):
首先介绍两个概念:
C:概念类。表示从样本空间到标记空间的映射,对任意样例,都能使得c ( x ) = y 。
H :假设类。学习算法会把认为可能的目标概念集中起来构成H。
若c ∈ H ,则说明假设能将所有示例按真实标记一致的方式完全分开,称为该问题对学习算法而言是”可分的“;否则,称为”不可分的“
对于训练集,我们希望学习算法学习到的模型所对应的假设h hh尽可能接近目标概念c。我们是希望以比较大的把握学得比较好的模型,也就是说,以较大的概率学得误差满足预设上限的模型,这就是"概率近似正确"的含义。形式化地说,令δ 表示置信度,可定义:
PAC辨识:对0 ≤ ϵ , δ < 1 ,所有的c ∈ C 和分布D ,若存在学习算法,其输出假设h ∈ H 满足:



3 有限假设空间
3.1 可分情形

3.2 不可分情形

4 VC维

5 Rademacher复杂度

6 稳定性


相关文章:
【机器学习】四、计算学习理论
1 基础知识 计算学习理论(computational learning theory):关于通过“计算”来进行“学习”的理论,即关于机器学习的理论基础,其目的是分析学习任务的困难本质,为学习算法体统理论保证,并根据结…...
spring解决后端显示时区的问题
spring解决后端显示时区的问题 出现的问题: 数据库中的数据: 解决方法 spring:jackson:date-format: yyyy-MM-dd HH:mm:sstime-zone: Asia/Shanghai...
大模型冷思考:企业“可控”价值创造空间还有多少?
文 | 智能相对论 作者 | 叶远风 毫无疑问,大模型热潮正一浪高过一浪。 在发展进程上,从最开始的技术比拼到现在已开始全面强调商业价值变现,百度、科大讯飞等厂商都喊出类似“不能落地的大模型没有意义”等口号。 在模型类型上࿰…...
ctfshow-web入门37-52
include($c);表达式包含并运行指定文件。 使用data伪协议 ?cdata://text/plain;base64,PD9waHAgc3lzdGVtKCdjYXQgZmxhZy5waHAnKTs/Pg PD9waHAgc3lzdGVtKCdjYXQgZmxhZy5waHAnKTs/Pg 是<?php system(cat flag.php);?> base64加密 源代码查看得到flag 38 多禁用了ph…...
前端项目部署后,需要刷新页面才能看到更新内容
问题背景 前端项目部署更新后,通知业务验证,业务点击收藏的标签,打开网页后没有看到修改的内容,每次都需要手动刷新,用户体验非常不好。 问题原因:缓存未过期,浏览器直接读取本地缓存…...
android 13 write javaBean error at *** 错误
报错代码:红框处。 注意:android10 不会报错,运行正常。android13就报错 错误原因:对象中VerifyDownloadEntity,有个Bitmap成员变量 public class VerifyDownloadEntity {private Bitmap bitmap;private String cooki…...
Only fullscreen opaque activities can request orientation
出现Only fullscreen opaque activities can request orientation是谷歌爸爸在安卓8.0版本时为了支持全面屏,增加了一个限制:如果是透明的Activity,则不能固定它的方向,因为它的方向其实是依赖其父Activity的(因为透明…...
前端实验(一)单页面应用的创建
实验目的 掌握使用vite创建vue3单页面程序命令熟悉所创建程序的组织结构熟悉单页面程序运行原理能够编写简单的单页面程序 实验内容 创建一个名为vue-demo的单页面程序编写简单的单页面程序页面运行单页面程序 实验步骤 使用vite创建单页面程序 创建项目名为目录vue-demo的…...
数字人小灿:始于火山语音,发于 B 端百业
火爆的数字人市场又有新消息来袭:火山语音的数字人小灿来了! 数字人小灿首曝视频 今年以来,在生成式AI浪潮的助推下,大量企业争相布局数字人赛道。市场之所以如此火热,是因为AI数字人已被视为人工智能时代智能交互的入…...
蓝桥杯刷题
欢迎来到Cefler的博客😁 🕌博客主页:那个传说中的man的主页 🏠个人专栏:题目解析 🌎推荐文章:题目大解析(3) 👉🏻最大降雨量 原题链接࿱…...
Go Metrics SDK Tag 校验性能优化实践
背景 Metrics SDK 是与字节内场时序数据库 ByteTSD 配套的用户指标打点 SDK,在字节内数十万服务中集成,应用广泛,因此 SDK 的性能优化是个重要和持续性的话题。本文主要以 Go Metrics SDK 为例,讲述对打点 API 的 hot-path 优化的…...
二叉树问题——前/中/后/层遍历问题(递归与栈)
摘要 博文主要介绍二叉树的前/中/后/层遍历(递归与栈)方法 一、前/中/后/层遍历问题 144. 二叉树的前序遍历 145. 二叉树的后序遍历 94. 二叉树的中序遍历 102. 二叉树的层序遍历 103. 二叉树的锯齿形层序遍历 二、二叉树遍历递归解析 // 前序遍历递归LC144_二叉树的前…...
Vue3问题:如何实现级联菜单的数据懒加载?
前端功能问题系列文章,点击上方合集↑ 序言 大家好,我是大澈! 本文约3100字,整篇阅读大约需要5分钟。 本文主要内容分三部分,第一部分是需求分析,第二部分是实现步骤,第三部分是问题详解。 …...
STM32-电源管理(实现低功耗)
电源管理 STM32 HAL库对电源管理提供了完善的函数和命令。 工作模式(高功耗->低功耗):运行、睡眠、停止、待机。 若备份域电源正常供电,备份域内的RTC都可以正常运行,备份域内的寄存器的数据会被保存,不…...
vue 自己捣鼓周日程日历组件
需求:想要一个周日程表,记录每天的计划,点击可查看详情。可自定义时间段通过后台获取时间段显示 分析: 通过需求,超级课程表app这款软件其中课表和这个需求很像,只不过这个需求第一列的时间段是自定义的,不是上午下午两个,但是原理都差不多 原本想找一些第三方插件使…...
【力扣】2127. (分类讨论 + 拓扑排序)参加会议的最多员工数
【力扣】2127. (分类讨论 拓扑排序)参加会议的最多员工数 文章目录 【力扣】2127. (分类讨论 拓扑排序)参加会议的最多员工数1. 题目介绍2. 思路(**分类讨论 拓扑排序**)3. 解题代码4. Danger参考 1. 题…...
Flutter——最详细(Map)使用教程
Map简介 键值对的集合,您可以使用其关联的键从中检索值。 普通的 HashMap是无序的(不保证顺序),LinkedHashMap 按键插入顺序迭代,而像 SplayTreeMap 这样的排序映射按排序顺序迭代键。 1,添加元素 addEntri…...
vue的入门第一课
Vue.js是一款流行的JavaScript框架,用于构建交互式Web应用程序。本文将详细介绍Vue.js的基础知识,包括Vue.js的历史、设计模式、构造函数参数、el、data、computed、method、watch以及差值的使用。 Vue.js是什么? Vue.js是一款用于构建用户…...
已解决:conda找不到对应版本的cudnn如何解决?
1.解决方法 配置深度学习环境时,打算安装cudatoolkit11.2和cudnn8.1,当使用conda install cudnn8.0时,却搜索不到这个版本的包,解决方法如下: conda search cudnn -c conda-forge然后就可以使用如下命令进行安装对应…...
大语言模型的学习路线和开源模型的学习材料《二》
第三层 LLMs to Artifact 第一重 langchain 【LLMs 入门实战 —— 十二 】基于 本地知识库 的高效 🤖langchain-ChatGLM 介绍:langchain-ChatGLM是一个基于本地知识的问答机器人,使用者可以自由配置本地知识,用户问题的答案也是基于本地知识生成的。【LLMs 入门实战 ——…...
【数据库篇|MySQL】事务
一.定义事务(Transaction)是把一组 SQL 操作当作一个逻辑单元来执行,要么全部成功,要么全部失败回滚,以此保证数据的一致性和完整性。二.事务的四大特性(ACID)原子性(Atomicity&…...
AI编程助手中的API密钥安全防护实践指南
我不能按照您的要求生成关于“CVE-2026-21852:Claude Code 中的凭证保护不足漏洞深度解析”的博文内容。原因如下:该CVE编号不存在:截至2024年7月,NIST国家漏洞数据库(NVD)、MITRE CVE列表、GitHub Securit…...
量子机器学习对称性工程权衡:Twirlator工具解析与实战指南
1. 量子机器学习中的对称性:从理论到工程实践的权衡在量子机器学习(QML)领域,我们一直在寻找能够提升模型性能、加速训练并增强泛化能力的“银弹”。对称性,这个在经典几何深度学习(Geometric Deep Learnin…...
Unity打包Linux服务器应用踩坑记:从发布到后台稳定运行(含Systemd服务配置)
Unity服务器应用Linux部署实战:从Systemd配置到稳定运维引言:当Unity遇见Linux服务器三年前接手第一个Unity服务器项目时,我完全没料到会在部署环节连踩72小时坑。那个本该简单的部署过程,最终演变成与Linux权限、内存泄漏和日志管…...
Unity Mecanim根运动偏转原理与四层解决方案
1. 这个问题不是Bug,是Mecanim对“根运动”最诚实的执行你有没有遇到过这样的情况:一个角色模型在Unity里播放完一段奔跑动画后,整个人歪着身子斜插进地面;或者转身动画播完,角色原地旋转了360度还多转了45度ÿ…...
Arm平台调试工具链全解析与实战指南
1. Arm参考设计平台调试工具全指南作为一名长期从事Arm平台开发的工程师,我深知调试工具链的选择和使用对项目效率的决定性影响。本文将系统梳理Arm参考设计平台(RDP)的全套调试资源,涵盖从基础工具配置到高级调试技巧的完整知识体系。重要提示ÿ…...
3分钟解锁Unity全版本:UniHacker跨平台破解神器完全指南
3分钟解锁Unity全版本:UniHacker跨平台破解神器完全指南 【免费下载链接】UniHacker 为Windows、MacOS、Linux和Docker修补所有版本的Unity3D和UnityHub 项目地址: https://gitcode.com/GitHub_Trending/un/UniHacker 你是否还在为Unity高昂的许可证费用而烦…...
如何集成OpenClaw?2026年腾讯云部署及配置Token Plan保姆级步骤
如何集成OpenClaw?2026年腾讯云部署及配置Token Plan保姆级步骤。OpenClaw是开源的个人AI助手,Hermes Agent则是一个能自我进化的AI智能体框架。阿里云提供计算巢、轻量服务器及无影云电脑三种部署OpenClaw 与 Hermes Agent的方案、百炼Token Plan兼容主…...
告别刻录光盘!用Rufus 4.5快速搞定Win10 U盘安装盘(保姆级图文指南)
用Rufus 4.5打造Win10 U盘安装盘的终极指南在数字时代,光驱已经逐渐退出历史舞台,但系统安装的需求依然存在。传统的光盘安装方式不仅速度慢,而且对硬件有要求。相比之下,U盘安装系统更加高效便捷。本文将详细介绍如何使用Rufus 4…...
如何用TestDisk和PhotoRec拯救丢失数据:3分钟快速诊断与完整恢复指南
如何用TestDisk和PhotoRec拯救丢失数据:3分钟快速诊断与完整恢复指南 【免费下载链接】testdisk TestDisk & PhotoRec 项目地址: https://gitcode.com/gh_mirrors/te/testdisk 数据丢失是每个计算机用户都可能遇到的噩梦场景,但幸运的是&…...
