当前位置： 首页 > news >正文

【机器学习基础】激活函数

news 2026/3/28 10:40:49

激活函数

  • 1. Sigmoid函数
  • 2. Tanh（双曲正切）函数
  • 3. ReLU函数
  • 4. Leaky ReLU函数

1. Sigmoid函数

在这里插入图片描述

  • 观察导数图像
  • 在我们深度学习里面，导数是为了求参数W和B，W和B是在我们模型model确定之后，找出一组最优的W和B，使我们那个模型输入的x，得出我们Y最近我们真实结果的一个Y
  • 导数函数图像，往两边走的话，它的导数越来越接近零。如果这样的情况出现的话，出现梯度消失。我们希望它的导数是一个平稳值，不要大也不要小
  • 值落在，无穷大的时候或者无穷小的时候，它的导数就接近于零，此时W和B就不能更新了，无法找到最优的W和B。你就是你不断找不找，每天也走一走个几米几米远，事实上W和B在几千米远之外

2. Tanh（双曲正切）函数

在这里插入图片描述

  • 和Sigmoid类似，优缺点也类似
  • 函数图像，值域在-1到1之间，Sigmoid在0~1之间
  • 导数图像，值域么在0到1之间，Sigmoid在0~0.25之间是吧
  • 比Sigmoid快，原因比Sigmoid0.25大，Sigmoid可能训练100轮，Tanh找50轮就够

3. ReLU函数

在这里插入图片描述

  • 分段函数，函数图像大于0为Z，小于0为0
  • 导数图像，大于0为1，小于0为0
  • 认为解决梯度消失不太严谨，因为小于0直接是0了，上两个是接近于0，直接神经元死亡。但落在大于0确实解决梯度消失，都等于1很平缓

4. Leaky ReLU函数

在这里插入图片描述

  • 对ReLU的改进
  • 函数图像大于0与ReLU相同，小于0为aZ，a≠0也≠1
  • 导数图像不为0了
  • 没有完美的激活函数，只有不合适的激活函数

相关文章：

【机器学习基础】激活函数

激活函数 1. Sigmoid函数2. Tanh（双曲正切）函数3. ReLU函数4. Leaky ReLU函数 1. Sigmoid函数 观察导数图像在我们深度学习里面，导数是为了求参数W和B，W和B是在我们模型model确定之后，找出一组最优的W和B，使…...

编程日记 2024/10/25 14:48:26

nnMamba用于糖尿病视网膜病变检测测试

1.代码修改 源码是针对3D单通道图像的，只需要简单改写为2D就行，修改nnMamba4cls.py代码如下： # -*- coding: utf-8 -*- # 作者: Mr Cun # 文件名: nnMamba4cls.py # 创建时间: 2024-10-25 # 文件描述：修改nnmamba，使…...

编程日记 2024/10/25 14:46:24

【Spring MVC】创建项目和建立请求连接

我的主页：2的n次方_ 1. MVC MVC 是 Model View Controller 的缩写，它是软件⼯程中的⼀种软件架构设计模式，它把软件系统分为模型、视图和控制器三个基本部分。 View (视图)： 指在应⽤程序中专⻔⽤来与浏览器进⾏交互&…...

编程日记 2024/10/25 14:45:21

台达A2伺服

驱动器： L 外接脉冲 U 在L的基础上增加DI E ethercat总线 F 台达 M CANopen总线 电机： ECMA-C A 0604 SS...

编程日记 2024/10/25 14:43:17

ReactOS系统中搜索给定长度的空间地址区间中的二叉树

搜索给定长度的空间地址区间 //搜索给定长度的空间地址区间 MmFindGap MmFindGapTopDown PVOID NTAPI MmFindGap(PMADDRESS_SPACE AddressSpace,ULONG_PTR Length,ULONG_PTR Granularity,BOOLEAN TopDown );PMADDRESS_SPACE AddressSpace,//该进程用户空间 ULONG_PTR Length,…...

编程日记 2024/10/25 14:39:12

Postgresql中和时间相关的字段类型及其适用场景

PostgreSQL 提供了多种数据类型来表示时间和日期，适用于不同的场景和需求。以下是常用的时间类型及其适用场景： 1. TIMESTAMP WITH TIME ZONE (TIMESTAMPTZ) 用途: 表示一个包含时区信息的日期和时间。 使用场景: 适合存储需要考虑时区变化的全球化应用…...

编程日记 2024/10/25 14:38:07

储能蓝海：技术革新与成本骤降引爆市场

在当今全球能源转型的大背景下，储能项目的前景无疑呈现出前所未有的乐观态势。其快速增长的装机规模、持续的技术创新与成本降低、政策的强力支持以及市场的迫切需求，共同绘制了一幅充满机遇与挑战的壮丽画卷。 快速增长的装机规模：储能市场的…...

编程日记 2024/10/25 14:35:02

java抽象类和接口

前言： 在 Java 编程中，抽象类和接口是面向对象编程（OOP）中的重要概念。它们都是用来定义抽象类型的机制，来帮助程序员构建更加灵活、可维护和可扩展的软件系统。 但是随着软件系统规模的不断扩大和复杂度的增加&…...

编程日记 2024/10/25 14:30:57

法治在沃刷积分-刷文章浏览数

最近有一个任务，需要通过浏览文章来获取积分，一个个手点文章太麻烦，专业的事情还得专业的来。 法1：模拟发包 抓包发现，是通过接口来使积分增长，那直接模拟发包即可。 至于info_id的获取，可以通…...

编程日记 2024/10/25 14:28:55

【深度学习实验七】 自动梯度计算

目录 一、利用预定义算子重新实现前馈神经网络 （1）使用pytorch的预定义算子来重新实现二分类任务 （2）完善Runner类 （3） 模型训练 （4）性能评价 二、增加一个3个神经元的隐藏层，再次实现二分类，并与1做对比 三、自定义隐藏层层数和每个隐藏层中的神经元个数，尝…...

编程日记 2024/10/25 14:26:53

JAVA毕业设计192—基于Java+Springboot+vue的个人博客管理系统(源代码+数据库+万字论文+开题+任务书)

毕设所有选题： https://blog.csdn.net/2303_76227485/article/details/131104075 基于JavaSpringbootvue的个人博客管理系统(源代码数据库万字论文开题任务书)192 一、系统介绍 本项目前后端分离，分为用户、管理员两种角色，角色菜单可自行…...

编程日记 2024/10/25 14:25:52

must be ‘pom‘ but is ‘jar‘解决思路

这个错误信息表明在 Maven 的 pom.xml 文件中，定义的父 POM 的 packaging 类型设置不正确。具体来说，它应该是 pom 类型，但当前设置为 jar。这个问题通常会导致构建失败。以下是解决这个问题的步骤。 解决步骤 检查父 POM 的 packaging 类型…...

编程日记 2024/10/25 14:24:51

STM32启动文件浅析

目录 STM32启动文件简介启动文件中的一些指令 启动文件代码详解栈空间的开辟堆空间的开辟中断向量表定义（简称：向量表）复位程序对于weak的理解对于_main函数的分析 中断服务程序用户堆栈初始化 系统启动流程 STM32启动文件简介 STM32启动文件…...

编程日记 2024/10/25 14:22:48

h5页面与小程序页面互相跳转

小程序跳转h5页面 一个home页 /pages/home/home 一个含有点击事件的元素&#xff1a;<button type"primary" bind:tap"toWebView">点击跳转h5页面</button>toWebView(){ wx.navigateTo({ url: /pages/webview/webview }) } 一个webView页 /pa…...

编程日记 2024/10/25 14:21:47

探索 JavaScript 事件机制（四）：React 合成事件系统

前言 在前端开发中&#xff0c;事件处理是不可或缺的一部分。在众多的前端框架中&#xff0c;React 凭借其高效和灵活性受到众多开发者的喜爱。React 的事件处理系统&#xff0c;即“合成事件系统”&#xff0c;是其性能优化的一大亮点。 本文将带你深入浅出地探索 React 的合…...

编程日记 2024/10/25 14:20:46

openlayers 封装加载本地geojson数据 - vue3

Geojson数据是矢量数据&#xff0c;主要是点、线、面数据集合 Geojson数据获取&#xff1a;DataV.GeoAtlas地理小工具系列 实现代码如下&#xff1a; import {ref,toRaw} from vue; import { Vector as VectorLayer } from ol/layer.js; import { Vector as VectorSource } fr…...

编程日记 2024/10/25 14:17:42

手机号码携号转网查询接口-在线手机号码携号转网查询-手机号码携号转网查询API

接口简介&#xff1a;通过手机号精准查询该号码转网前及转网后所归属运营商 可查询号码是否为虚拟手机号 可查询到号码归属地信息 高准确率&#xff0c;实时查询运营商数据库 多用于营销场景&#xff0c;如运营商业务办理、客户信息查询、携号转网、电话营销等 接口地址&#x…...

编程日记 2024/10/25 14:16:41

yolo目标检测和姿态识别和目标追踪

要检测摄像头画面中有多少人&#xff0c;人一排排坐着&#xff0c;像教室那样。由于摄像头高度和角度的原因&#xff0c;有的人会被遮挡。 yolo v5 首先需要下载yolo v5官方代码&#xff0c;可以克隆或下载主分支的代码&#xff0c;或者下载release中发布的。 简单说一下环境…...

编程日记 2024/10/25 14:13:37

Docker搭建开源Web云桌面操作系统Puter和DaedalOS

文章目录 Puter 操作系统说明基于 Docker 启动 Puter 操作系统拉取镜像运行容器基于 Docker-Compose 启动 Puter操作系统创建目录编写docker-compose.yml运行在本地直接运行puter操作系统puter界面截图puter个人使用总结构建自己的Puter镜像daedalos基于web的操作系统说明技术特…...

编程日记 2024/10/25 14:10:33

FAQ-为什么交换机发给服务器的日志显示的时间少8小时

问题描述 配置交换机向日志服务器发送日志&#xff0c;在交换机上面查看日志显示的时间比日志服务器显示的时间快8个小时 解决方案 根据公司全球化整改的要求&#xff0c;syslog默认发送的是UTC时间。 当前设备上配置了时区UTC8&#xff0c;因此&#xff0c;设备上显示的本地…...

编程日记 2024/10/25 14:08:31

SUPER COLORIZER社区贡献指南：如何参与模型改进与工具开发

SUPER COLORIZER社区贡献指南&#xff1a;如何参与模型改进与工具开发 想为AI图像上色项目添砖加瓦&#xff0c;却不知从何下手&#xff1f;看着开源社区里活跃的讨论和不断迭代的代码&#xff0c;你是否也跃跃欲试&#xff1f;别担心&#xff0c;贡献开源项目并没有想象中那么…...

编程新知 2026/3/28 10:35:00

3分钟实现Figma中文界面：设计师的本地化解决方案

3分钟实现Figma中文界面&#xff1a;设计师的本地化解决方案 【免费下载链接】figmaCN 中文 Figma 插件&#xff0c;设计师人工翻译校验 项目地址: https://gitcode.com/gh_mirrors/fi/figmaCN FigmaCN是一款专为中文设计师打造的浏览器插件&#xff0c;通过3800条人工校…...

编程新知 2026/3/28 9:08:08

xhs：突破小红书数据采集壁垒的5个实战方法

xhs&#xff1a;突破小红书数据采集壁垒的5个实战方法 【免费下载链接】xhs 基于小红书 Web 端进行的请求封装。https://reajason.github.io/xhs/ 项目地址: https://gitcode.com/gh_mirrors/xh/xhs 从反爬困境到合规采集的完整解决方案 在数字化营销与市场研究领域&am…...

编程新知 2026/3/28 8:29:53

从下载到运行：Qwen-Image-Edit-2511量化模型一站式部署教程

从下载到运行&#xff1a;Qwen-Image-Edit-2511量化模型一站式部署教程 1. 环境准备与快速部署 Qwen-Image-Edit-2511作为Qwen-Image-Edit-2509的增强版本&#xff0c;在图像编辑任务中展现出更强大的能力。但对于大多数开发者而言&#xff0c;如何快速部署这个模型才是当务之…...

编程新知 2026/3/28 7:41:20

零基础玩转Ostrakon-VL-8B：餐饮零售AI视觉助手部署与使用

零基础玩转Ostrakon-VL-8B&#xff1a;餐饮零售AI视觉助手部署与使用 1. 为什么选择Ostrakon-VL-8B&#xff1f; 在餐饮零售行业&#xff0c;每天都有大量视觉数据需要处理&#xff1a;货架商品、门店环境、价格标签等。传统的人工检查方式效率低、成本高且容易出错。Ostrako…...

编程新知 2026/3/28 7:08:55

CAN总线波特率计算器工具开发指南（Python+PyQt5）

CAN总线波特率计算器工具开发指南&#xff08;PythonPyQt5&#xff09; 在汽车电子工程领域&#xff0c;CAN总线作为车载网络的骨干&#xff0c;其通信质量直接影响整车系统的稳定性。而波特率作为CAN通信的基础参数&#xff0c;其配置精度直接决定了总线能否正常工作。传统的手…...

编程新知 2026/3/28 4:19:55

2026搜索量暴涨！这几款配音软件火到刷屏

如果你最近刷短视频&#xff0c;一定注意到了——声音比画面更抓人。从悬疑解说的低沉旁白&#xff0c;到小说推文的多角色演绎&#xff0c;再到带货视频的情绪播报&#xff0c;一条爆款视频的背后&#xff0c;往往藏着一款好用的配音软件。2026年&#xff0c;AI配音市场迎来爆…...

编程新知 2026/3/28 3:13:13

从‘瓦特’到‘分贝瓦’：一个公式讲透无线通信中的功率与信噪比换算

从‘瓦特’到‘分贝瓦’&#xff1a;无线通信中的功率与信噪比实战指南 在无线通信系统设计中&#xff0c;功率与信噪比的换算如同工程师的"货币兑换"——你需要熟练掌握瓦特&#xff08;W&#xff09;、分贝瓦&#xff08;dBW&#xff09;、分贝毫瓦&#xff08;dB…...

编程新知 2026/3/28 2:26:52

嵌入式开发核心技术：内存管理与中断处理详解

嵌入式实习岗位面试技术要点解析1. 内存管理基础1.1 C/C内存分配机制在嵌入式系统中&#xff0c;内存分配主要涉及以下几个区域&#xff1a;栈(Stack)&#xff1a;用于存储局部变量、函数参数和返回地址&#xff0c;由编译器自动分配和释放堆(Heap)&#xff1a;通过malloc/free…...

编程新知 2026/3/28 1:56:18

python-flask-djangol框架的校园餐厅菜品自选系统

目录 技术选型核心功能模块数据库设计开发流程部署方案关键代码示例测试重点 项目技术支持源码获取详细视频演示 &#xff1a;文章底部获取博主联系方式&#xff01;同行可合作 技术选型 使用Python的Flask或Django框架作为后端基础。Flask适合轻量级快速开发&#xff0c;Djan…...

编程新知 2026/3/28 1:11:38