模型调参及优化
调参
-
调权重参数，偏置参数
训练数据集用来训练参数w，b
-
调超参数
验证数据集用来选择超参数学习率lr，隐藏层大小等
-
如何调参
当泛化误差和训练误差都没有降下去说明欠拟合；当训练误差降下去，但泛化误差出现上升形式，说明过拟合
优化
-
权重衰退
在过拟合时，可以使用权重衰退，每次更新参数W_t+1时都会先将W_t减小，梯度计算如下
参数更新如下
使用torch框架可以简洁实现权重衰退，wd就是上述的ʎ：
-
丢弃法
丢弃法相当于在输入中加入噪音，且输入的期望（期望是所有元素出现概率乘以元素值值之和）不变，公式如下
在过拟合时可以使用丢弃法，常用于多层感知机的隐藏层输出，将输出的某些元素随机设为0，剩下元素放大，丢失法通常在每层的激活函数之后使用，丢弃法和权重衰退都是正则项，用于权重的变化，所以只在训练中使用，不用于测试。丢弃法是多层感知机中主流的一种正则化方法，高复杂模型+丢弃法效果一般比低复杂模型效果好一些。torch的简洁实现如下
相关文章：
模型调参及优化
调参 调权重参数，偏置参数 训练数据集用来训练参数w，b 调超参数 验证数据集用来选择超参数学习率lr，隐藏层大小等 如何调参 当泛化误差和训练误差都没有降下去说明欠拟合；当训练误差降下去，但泛化误差出现上升形式&…...
多数据源数据转换和同步的ETL工具推荐
有许多支持多数据源数据转换和同步的ETL工具可供选择。以下是一些常见的ETL工具和它们支持多数据源数据转换和同步的特点： Apache NiFi：Apache NiFi是一个开源的ETL工具，支持多种数据源的连接，包括文件系统、数据库、消息队列、网…...
配置 gitlab https 访问
文章目录 1. 备份2. 生成SSL证书3. 配置文件4. 重启5. 访问 1. 备份 docker exec -ti gitlab-ce gitlab-rake gitlab:backup:create2. 生成SSL证书 yum install openssl openssl-devel -y mkdir /data/gitlab/config/ssl ; cd /data/gitlab/config/ssl### 生成证书 openssl…...
Kepware Modbus驱动简介
1. Modbus驱动能够解决什么问题？ 它是Modbus设备驱动的集合，为用户提供一种方便快捷的Modbus设备数采解决方案。 只需要通过简单的配置就可以将常见的例如Modbus TCP/IP Ethernet、RTU Serial 和 ASCII Serial等协议设备无缝连接到 HMI/SCADA、MES/His…...
从零开始学习CTF——CTF是什么
引言： 从2019年10月开始接触CTF，学习了sql注入、文件包含等web知识点，但都是只知道知识点却实用不上，后来在刷CTF题才发现知识点的使用方法，知道在哪里使用，哪里容易出漏洞，可是在挖src漏洞中还…...
为Android构建现代应用——主体结构
创建Screents和ViewModels 在前面的章节中，我们已经分析了OrderNow项目的理论概念和我们将赋予的组织。 在本章中，我们将开始实现初始结构和模板，这将联接每一个应用程序的部分。 首先将添加以下带有各自视图模型的主屏幕： •…...
【shell脚本】shell脚本之日志切割（进阶实战三）
恭喜你，找到宝藏博主了，这里会分享shell的学习整过程。 shell 对于运维来说是必备技能之一，它可以提高很多运维重复工作，提高效率。 shell的专栏，我会详细地讲解shell的基础和使用，以及一些比较常用的she…...
VMLogin和虚拟机里的浏览器有什么区别？
虚拟机（Virtual Machine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。 指纹浏览器，也称防关联浏览器。 简单来说，就是允许在同一台电设备上操作和管理多个平台、多个账号，账…...
unimrcp server的session资源分配与回收
unimrcp使用APR的内存池管理内存，因此，处理函数中一般都会传递一个pool指针，需要内存时，就从pool里分配一块，一般也不需要关心内存的释放。因为，一路呼叫关联一个session，一个session对应一个po…...
【图论】三种中心性 —— 特征向量、katz 和 PageRank
维基百科：在图论和网络分析中，中心性指标为图中相应网络位置的节点分配排名或数值。中心性这一概念最初起源于社交网络分析，因此很多衡量中心性的术语也反映了其社会学背景。 不同中心性指标对 “重要” 的衡量方式不同，因此适用于…...
[sqoop]将hive查询后的数据导入到MySQL
一、知识点 export:将Hive的表导入到mysql叫导出 搜了很多，发现sqoop在hive导出到mysql时 1）不支持where参数对数据进行过滤。 2）不支持指定hive表的方式导出，只能指定Hive目录进行导出。 二、操作 1、在MySQL中建表 creat…...
Linux df、du命令
df：查看文件系统硬盘使用情况 df 命令，用于显示 Linux 系统中各文件系统的硬盘使用情况，包括文件系统所在硬盘分区的总容量、已使用的容量、剩余容量等。 df 命令的基本格式为： [rootlocalhost ~]# df [选项] [目录或文件名] df…...
java版+免费商城搭建+小程序商城免费搭建+Spring Cloud + Spring Boot + MybatisPlus + 前后端分离 + 二次开发
J2EE企业分布式微服务云快速开发架构 Spring CloudSpring Boot2MybatisOauth2ElementUI 前后端分离 1. 鸿鹄Cloud架构清单 2. Commonservice（通用服务） 通用服务：对spring Cloud组件的使用&封装，是一套完整的针对于分布式微…...
软件设计师学习第一章
计算机组成与体系结构（6分） 内容概述 数据的表示 进制转换 R 进制转十进制使用按权展开法，其具体操作方式为：将 R 进制数的每一位数值用 Rk 形示，即幂的底数是 R ，指数为 k ， k 与该位和小数点…...
蓝桥杯单片机第十一届国赛 真题+代码
iic.c /* # I2C代码片段说明1. 本文件夹中提供的驱动代码供参赛选手完成程序设计参考。2. 参赛选手可以自行编写相关代码或以该代码为基础，根据所选单片机类型、运行速度和试题中对单片机时钟频率的要求，进行代码调试和修改。 */ #include <STC1…...
IDC报告背后：大模型时代，重新理解AI公有云
大模型之于AI公有云的意义，在于大模型可以改变过去“手工作坊定制算法”的高成本模式，转向“工厂模式”，只需要微调和精调，就可以形成针对性的场景算法。 作者|葛覃 出品|产业家 一年前，依然有不少云计算从业者思…...
UNH-IOL Reservation 一致性测试用例【7】- 清除Reservation
Reservation 系列导航 UNH-IOL Reservation 一致性测试用例【1】- Reservation Report 命令验证 UNH-IOL Reservation 一致性测试用例【2】- Reservation注册 UNH-IOL Reservation 一致性测试用例【3】- 取消注册 UNH-IOL Reservation 一致性测试用例【4】- Reservation Acqui…...
Python 生成随机图片验证码
使用Python生成图片验证码 Python 生成随机图片验证码安装pillow包pillow包生成图片基本用法生成图片验证码 Python 生成随机图片验证码 在写一个Web项目的时候一般要写登录操作，而为了安全起见，现在的登录功能都会加上输入图片验证码这一功能ÿ…...
一些有趣的 js 功能函数
一些有趣的 js 功能函数 数组生成数组打乱数组数组简单数据去重数组唯一值数据去重多数组取交集查找最大值索引查找最小值索引找到最接近的数值压缩多个数组（拉链函数）矩阵交换行和列 数字转换进制转换 正则手机号格式化去除多余空格 web重新加载当前页面…...
摄像头m2dock（MAIX-II DOCK）
官方文档地址 https://wiki.sipeed.com/soft/maixpy3/zh/index.html 一、软件准备 1 烧录镜像软件 2 镜像 当前最近版本镜像文件 3 SDFormatter 4 Maixpy IDE 二、SD卡准备 1 格式化SD卡（用SDFormatter） 2 烧录 3 弹出，插入开发板中 出现…...
第19节 Node.js Express 框架
Express 是一个为Node.js设计的web开发框架，它基于nodejs平台。 Express 简介 Express是一个简洁而灵活的node.js Web应用框架, 提供了一系列强大特性帮助你创建各种Web应用，和丰富的HTTP工具。 使用Express可以快速地搭建一个完整功能的网站。 Expre…...
进程地址空间（比特课总结）
一、进程地址空间 1. 环境变量 1 ）⽤户级环境变量与系统级环境变量 全局属性：环境变量具有全局属性，会被⼦进程继承。例如当bash启动⼦进程时，环 境变量会⾃动传递给⼦进程。 本地变量限制：本地变量只在当前进程(ba…...
相机Camera日志实例分析之二：相机Camx【专业模式开启直方图拍照】单帧流程日志详解
【关注我，后续持续新增专题博文，谢谢！！！】 上一篇我们讲了： 这一篇我们开始讲： 目录 一、场景操作步骤 二、日志基础关键字分级如下 三、场景日志如下： 一、场景操作步骤 操作步…...
YSYX学习记录（八）
C语言，练习0： 先创建一个文件夹，我用的是物理机： 安装build-essential 练习1： 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件，随机修改或删除一部分，之后…...
NLP学习路线图（二十三）：长短期记忆网络（LSTM）
在自然语言处理（NLP）领域，我们时刻面临着处理序列数据的核心挑战。无论是理解句子的结构、分析文本的情感，还是实现语言的翻译，都需要模型能够捕捉词语之间依时序产生的复杂依赖关系。传统的神经网络结构在处理这种序列依赖时显得力不从心，而循环神经网络（RNN） 曾被视为…...
IoT/HCIP实验-3/LiteOS操作系统内核实验(任务、内存、信号量、CMSIS..)
文章目录 概述HelloWorld 工程C/C配置编译器主配置Makefile脚本烧录器主配置运行结果程序调用栈 任务管理实验实验结果osal 系统适配层osal_task_create 其他实验实验源码内存管理实验互斥锁实验信号量实验 CMISIS接口实验还是得JlINKCMSIS 简介LiteOS->CMSIS任务间消息交互…...
Mac下Android Studio扫描根目录卡死问题记录
环境信息 操作系统: macOS 15.5 (Apple M2芯片)Android Studio版本: Meerkat Feature Drop | 2024.3.2 Patch 1 (Build #AI-243.26053.27.2432.13536105, 2025年5月22日构建) 问题现象 在项目开发过程中，提示一个依赖外部头文件的cpp源文件需要同步，点…...
安宝特方案丨船舶智造的“AR+AI+作业标准化管理解决方案”（装配）
船舶制造装配管理现状：装配工作依赖人工经验，装配工人凭借长期实践积累的操作技巧完成零部件组装。企业通常制定了装配作业指导书，但在实际执行中，工人对指导书的理解和遵循程度参差不齐。 船舶装配过程中的挑战与需求 挑战 (1…...
多模态图像修复系统：基于深度学习的图片修复实现
多模态图像修复系统：基于深度学习的图片修复实现 1. 系统概述 本系统使用多模态大模型（Stable Diffusion Inpainting）实现图像修复功能，结合文本描述和图片输入，对指定区域进行内容修复。系统包含完整的数据处理、模型训练、推理部署流程。 import torch import numpy …...
解决：Android studio 编译后报错\app\src\main\cpp\CMakeLists.txt‘ to exist
现象： android studio报错： [CXX1409] D:\GitLab\xxxxx\app.cxx\Debug\3f3w4y1i\arm64-v8a\android_gradle_build.json : expected buildFiles file ‘D:\GitLab\xxxxx\app\src\main\cpp\CMakeLists.txt’ to exist 解决： 不要动CMakeLists.…...