当前位置： 首页 > article >正文

深度学习让鱼与熊掌兼得

article 2025/9/20 7:43:10

通常,一个大的复杂的模型的loss会低,但是拟合方面不够,小的模型在拟合方面更好,但是loss高,我们可以通过深度学习来得到一个有着低loss的小模型

我们之前学过,peacewise linear可以用常数加上一堆这个阶梯型函数得到,然后因为peacewise linear可以逼近任何function,所以理论上,用neural network可以实现任何function 

 所以有人说只要neuron足够多,一层network就可以了,那我们就应该通过矮胖model和高瘦model来对比,看看怎么回事

结果是这样的,这证明同样参数量的时候,深的模型会更好,也更有效率

为什么多层会带来好处?

用逻辑电路是这样子的

在做程序的时候

剪窗花

接下来解释为什么深度比宽度好

第二层是这样子的一个关系,那么第三层是什么样的关系呢

于是我们可以发现,这是dimension上的差别,neuron数量之间有极大差距,也可以这么说,实现同一个function,shallow的model更复杂,也就更容易overfitting

所以,深度学习是一个鱼与熊掌兼得的方法

相关文章：

深度学习让鱼与熊掌兼得

通常,一个大的复杂的模型的loss会低,但是拟合方面不够,小的模型在拟合方面更好,但是loss高,我们可以通过深度学习来得到一个有着低loss的小模型 我们之前学过,peacewise linear可以用常数加上一堆这个阶梯型函数得到,然后因为peacewise linear可以逼近任何function,所以理论上…...

编程日记 2025/9/18 7:23:13

TDuckX 2.6 正式发布｜API 能力开放，核心表单逻辑重构，多项实用功能上线。

大家好，TDuckX 2.6 已正式发布。 本次更新以可集成性提升、数据处理能力增强和交互体验优化为核心，新增了包括 新增OpenAPI 模块、表单数据批量修改、字段导出分列 等多个面向开发者和实际业务落地场景的功能。 我们也重构了部分底层逻辑模块&#xff…...

编程日记 2025/9/18 6:55:42

LeetCode Hot100刷题——除自身以外数组的乘积

238. 除自身以外数组的乘积 给你一个整数数组 nums，返回 数组 answer ，其中 answer[i] 等于 nums 中除 nums[i] 之外其余各元素的乘积 。 题目数据 保证 数组 nums之中任意元素的全部前缀元素和后缀的乘积都在 32 位 整数范围内。 请 不要使用除法&a…...

编程日记 2025/9/19 4:21:10

JAVA EE（进阶）_进阶的开端

别放弃浸透泪水的昨天，晨光已为明天掀开新篇 ——陳長生. ❀主页：陳長生.-CSDN博客❀ 📕上一篇：JAVA EE_HTTP-CSDN博客 1.什么是Java EE Java EE（Java Pla…...

编程日记 2025/9/5 7:44:07

PDF批量合并拆分+加水印转换 编辑 加密 OCR 识别

各位办公小能手们！你们有没有遇到过被PDF文件折腾得晕头转向的时候呀？其实啊，有专门处理、编辑、管理和优化PDF文件的软件，那就是PDF工具。它功能老多了，有文档格式转换、内容编辑、页面管理、安全保护这些核心功能。下…...

编程日记 2025/9/17 19:10:52

Go语言交替打印问题及多种实现方法

Go语言交替打印问题及多种实现方法 在并发编程中，多个线程（或 goroutine）交替执行任务是一个经典问题。本文将以 Go 语言为例，介绍如何实现多个 goroutine 交替打印数字的功能，并展示几种不同的实现方法。 Go 语言相关…...

编程日记 2025/9/18 1:28:51

ArcGIS Pro调用多期历史影像

一、访问World Imagery Wayback，基本在我国范围 如下图： 二、 放大到您感兴趣的区域 三、 查看影像版本信息 点击第二步的按钮后，便可跳转至World Imagery (Wayback 2025-04-24)的相关信息。 四 、点击上图影像版本信息，页面跳转…...

编程日记 2025/9/18 11:25:21

10.11 LangGraph多角色Agent开发实战：生产级AI系统架构与性能优化全解析

LangGraph 项目：High-level API for Multi-actor Agents 关键词：LangGraph 多角色 Agent, 状态管理, 持久化机制, 工作流编排, 生产级 AI 系统 1. LangGraph 设计哲学与架构演进 LangGraph 是 LangChain 生态中首个面向 多角色协作 Agent 的高阶 API 框架，其核心设计思想可…...

编程日记 2025/6/15 22:30:50

组态王|组态王中如何添加西门子1200设备

哈喽，你好啊，我是雷工！ 最近使用组态王采集设备数据，设备的控制器为西门子的1214CPU， 这里边实施边记录，以下为在组态王中添加西门子1200PLC的笔记。 1、新建 在组态王工程浏览器中选择【设备】→点击【新建】。 2、选择设备 和设备建立通讯要通过对应的设备驱动。 在…...

编程日记 2025/9/18 7:55:00

发布时将多个bpl 打包成一个bpl的方法，或者说：不需要vcl60.bpl情况下 18.5K的exe 照常可以运行。

其实这种方式 就是把项目的逻辑和业务 和 依赖分开。 控件和IDE 相对来说一段时间内不会改变。 更新只是更新一些项目的逻辑，例如你在代码里多写了一个 if ，这样就可以只更新这个极小的exe。 题：关于bpl发布时将vcl60.bpl，vcld…...

编程日记 2025/9/5 8:24:18

6.2.2邻接表法-图的存储

知识总览： 为什么要用邻接表 因为邻接矩阵的空间复杂度高(O(n))，且不适合边少的稀疏图，所以有了邻接表 用代码表示顶点、图 声明顶点图信息 声明顶点用一维数组存储各个顶点的信息，一维数组字段包括2个，每个顶点的…...

编程日记 2025/9/18 1:49:16

C++23 放宽范围适配器以允许仅移动类型（P2494R2）

文章目录 引言背景与动机提案内容与实现细节提案 P2494R2实现细节编译器支持 对开发者的影响提高灵活性简化代码向后兼容性 示例代码总结 引言 C23 标准中引入了许多重要的改进，其中一项值得关注的特性是放宽范围适配器（range adaptors）以允…...

编程日记 2025/9/5 6:07:27

【技海登峰】Kafka漫谈系列（十一）SpringBoot整合Kafka之消费者Consumer

【技海登峰】Kafka漫谈系列（十一）SpringBoot整合Kafka之消费者Consumer spring-kafka官方文档： https://docs.spring.io/spring-kafka/docs/2.8.10/reference/pdf/spring-kafka-reference.pdf KafkaTemplate API： https://docs.spring.io/spring-kafka/api/org/springframe…...

编程日记 2025/9/18 23:16:53

Spring Boot三层架构设计模式

Spring Boot 的三层架构设计模式是一种经典的软件分层设计模式，旨在将应用程序划分为 表现层（Controller）、业务逻辑层（Service）、数据访问层（Repository/DAO），通过清晰的职责划分提…...

编程日记 2025/7/3 6:35:35

在Java中调用Ant命令

在Java中调用Ant命令 在Java程序中调用Ant命令有几种方法，下面介绍两种常用的方式： 1. 使用Runtime.exec()方法 import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader;public class AntRunner {public stat…...

编程日记 2025/7/8 18:13:09

WebRTC技术下的EasyRTC音视频实时通话SDK，助力车载通信打造安全高效的智能出行体验

一、方案背景​ 随着智能交通与车联网技术的飞速发展，车载通信在提升行车安全、优化驾驶体验以及实现智能交通管理等方面发挥着越来越重要的作用。传统的车载通信方式在实时性、稳定性以及多媒体交互能力上存在一定局限，难以满足现代车载场景日益复杂的…...

编程日记 2025/9/17 11:04:00

数据科学和机器学习的“看家兵器”——pandas模块 之二

目录 pandas 模块介绍 4.2 pandas 数据读取 4.2.1 课程目标 4.2.2 读取 Excel 文件中的数据 （一）读取某个工作表中的数据 （二）读取指定数据列的标签内容 （三）读取指定数据行的标签内容 （四）读取指定行或者列 4.2.3、读取 CSV 文件数据 4.2.4、课程总结回顾 4.2.5、课后…...

编程日记 2025/9/18 21:56:00

本地部署Firecrawl+Dify调用踩坑记录

最近自己研究Dify，使用到Firecrawl这个比较好用的工具。用Firecrawl官网的不知道为什么总是卡住得不到结果，于是我打算自己去本地部署一个。好家伙真给我人搞麻了，太多问题了。 我是在京东云上面租的一台服务器。 首先就是docker的安装&…...

编程日记 2025/6/14 10:55:53

MySQL--day2--基本的select语句

（以下内容全部来自上述课程） SQL概述 结构化查询语句 1. SQL分类 DDL：数据定义（definition）语言：create、drop、alter… DML：数据操作（manipulation）语言&#xff…...

编程日记 2025/9/18 0:42:30

什么是dom？作用是什么

DOM 的定义 DOM（Document Object Model，文档对象模型）是 HTML 和 XML 文档的编程接口。它将文档解析为一个由节点和对象组成的树状结构，允许开发者通过编程方式动态访问和操作文档的内容、结构和样式。 DOM 的作用 DOM 的主要作…...

编程日记 2025/7/2 11:02:22

Trae - 国人Cursor的免费平替产品

前情提要：Cursor-零基础使用flutter完成贪吃蛇游戏-迄今为止世上最牛的AI编辑工具，不需要程序员也可以编程 Cursor 不是我的最佳选择 Cursor 是基于 VSCode 进化而来，虽然好用，但总结下来有几点点是我有所顾虑的。 第一&#x…...

编程日记 2025/6/12 22:29:56

自动化：批量文件重命名

自动化：批量文件重命名 1、前言 2、效果图 3、源码 一、前言 今天来分享一款好玩的自动化脚：批量文件重命名 有时候呢，你的文件被下载下来文件名都是乱七八糟毫无规律，但是当时你下载的时候没办法重名或者你又不想另存为重新重…...

编程日记 2025/9/18 23:16:28

Jsoup库和Apache HttpClient库有什么区别？

Jsoup 和 Apache HttpClient 是两个功能不同的库，它们在 Java 开发中被广泛使用，但用途和功能有明显的区别： Jsoup 用途：Jsoup 是一个用于解析 HTML 文档的库。它提供了非常方便的方法来抓取和解析网页内容，提取和操作…...

编程日记 2025/6/21 8:58:45

学习！FastAPI

目录 FastAPI简介快速开始安装FastApiFastAPI CLI自动化文档 Reqeust路径参数Enum 类用于路径参数路径参数和数值校验 查询参数查询参数和字符串校验 请求体多个请求体参数嵌入单个请求体参数 CookieHeader表单文件直接使用请求 ResponseResponse Model多个关联模型 响应状态码…...

编程日记 2025/9/18 21:55:40

Linux 安装 Unreal Engine

需要对在unreal engine官网进行绑定github账号，然后到unreal engine github仓库中进行下载对应的版本，并进行安装unreal engine官网 github地址...

编程日记 2025/9/11 7:46:08

【第三十六周】LoRA 微调方法

LoRA 摘要Abstract文章信息引言方法LoRA的原理LoRA在Transformer中的应用补充其他细节 实验与分析LoRA的使用论文实验结果分析 总结 摘要 本篇博客介绍了LoRA（Low-Rank Adaptation），这是一种面向大规模预训练语言模型的参数高效微调方法&…...

编程日记 2025/9/18 21:55:05

什么是 Boosting

什么是 Boosting Boosting 通过按顺序纠正错误并将弱学习器组合成强预测器来提高机器学习性能。机器学习的最新进展引入了解决复杂问题的新方法。Boosting 是一种不断显示出希望的技术。它通过使用多种算法来提高性能，从而改变了我们进行数据建模的方式。随着 Boost…...

编程日记 2025/6/26 1:29:21

Redis 数据类型与操作完全指南

Redis 是一个开源的、内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。与传统的关系型数据库不同，Redis 提供了丰富的数据类型和灵活的操作方式，这使得它能够高效地解决各种不同场景下的数据存储和处理问题。本文将全面介绍 R…...

编程日记 2025/9/18 21:54:37

Digi XBee XR 系列介绍

Digi 延续了 20 多年来亚 GHz 射频模块的传统，推出了 Digi XBee XR 系列远距离模块，包括 Digi XBee XR 900 - 已通过多个地区的预先认证 - 以及 Digi XBee XR 868 - 已通过欧洲地区应用的预先认证。 这些先进的射频模块专为远距离抗干扰无线通信而设计。…...

编程日记 2025/9/18 18:54:45

【方法论】金字塔原理概述：写作逻辑的底层架构与实践法则

文章目录 一、为何采用金字塔结构：对抗认知局限的思维框架1、 梳理逻辑，抽象归纳2、自上而下，结论居首3、 结论先行之必要 三、金字塔结构1、纵向逻辑：上层思想必须是下层思想的概括提炼2、横向逻辑：每组思想需属于同一…...

编程日记 2025/9/18 1:48:51