手刻 Deep Learning -第壹章 -PyTorch教学-激励函数与感知机入门(上)
一、前言
本文接续前篇教学 Pytorch 与线性回归 ,本文着重在 Activation Function ( 中文称 激励函数 ),我们会介绍激励函数 (也有人称 激活函数? 激发函数? ) 为什么会有用,还有通过示例来探讨/实作(本文介绍常用的 ReLU, Tanh, Sigmoid, Softmax )
阅读本文需要有矩阵计算的知识,还有知道线性回归的原理
另外我们也使用 Pytorch
本文希望透过生活中的范例,白话文的精神,让各位了解 Deep Learning/Machine Learning 中的激励函数 ( Activation Function )
了解激励函数,其实就是往 Deep Learning 更迈进了一步
二、激励函数(Activation Function) 为什么会有用
网络上大家应该看过什么激励函数解决线性,非线性问题,这些都是抽象的老生常谈,不是数学领域的人应该很难理解,但其实他的概念很简单:
我相信编程程序的人,一定都有用过if这个语法
而激励函数的精神,其实就是用数学的形式来表达if else语法
核心概念就是这么简单
我们通过大量的 if else 去编织(矩阵计算)出结果,这就是为什么需要激励函数,用这种方法配合微分就可以解决问题
三、激励函数 — 生活中的概念范例
我们来看一个简单的问题:传统电饭锅 / 电热水壶
電鍋示意圖,非當事電鍋
傳統電鍋/熱水壺是溫度達到一個程度後就會跳開 ( 燒開水 ),這就是激勵函數的概念
例如:
- 溫度 130 度 以下保持加熱 ( switch = 0 )
- 超過 130 度的時候跳停 (switch = 1 )
溫度在 130 度的時候跳停 ( switch 1 )
我們來看看程式怎麼寫
def check(t):if t > 130:return 1return 0
看到我們使用 if 來解決問題了嗎?
四、激勵函數之 Sigmoid
數學上,我們可以透過函數達到這種效果,我們來看 sigmoid 這個範例;關於 Sigmoid 的計算公式有興趣可以看看 wiki ,我們這邊主要說明他的概念為什麽有效
簡單的說,Sigmoid 是透過計算讓他的範圍維持在於 0 到 1 之間
先看 Pytorch 程式碼繪製的 sigmoid activation function
x = torch.arange(-10., 10., step=0.01)
plt.plot(x, torch.sigmoid(x))

解说:
- torch.arange 是产生一个 -10 ... 10 的 array ( tensor )
- torch.sigmoid 就是 torch 的 sigmoid 函数
- 我们把它绘制成图表来看
可以看到在不同的 X 范围,最多输出 ( y) 就是 0~1 之间,就算是 -100000 到 100000 也是 ( 如下图)

看起来是不是和电饭锅跳停的图片有八成像?
那么问题来了,怎么套用在我们的电饭锅问题上?
五、激励函数与线性回归组合
我们这边,假设 x 是温度,是不是只要有办法让 sigmoid(x) 在 x 大于 130的时候输出 1 就好 ?
回到线性归公式, y = ax + b
所以我们要改写成 y = sigmoid(ax + b)
(a 和 b 是我们的变量 )
我们写成 Pytorch 代码来看,套用之前文章讲到的自动微分
( 后面有完整可执行示例,以下是片段代码)
a = torch.rand(1, requires_grad=True)
b = torch.rand(1, requires_grad=True)
def forward(t):return torch.sigmoid( a * t + b )
- 这边我们要使用自动导数 (Auto grad ) 来找出正确的 a, b ,所以 requires_grad=True
- 我们这边 forward(t) 使用 t ,避免变量名称与 x 混淆
先看我们没有训练前的结果
# 溫度範圍 0 ~ 200 度
x = torch.arange(0, 200, step=0.1)
# y_p 是 y predict, 我們預測的 y
y_p = forward(x).detach().numpy() # .detach().numpy() 是轉換成 numpy
# 繪圖
plt.plot(x, y_p)

還沒訓練以前,看起來一點也不像是有用的東西
現在我們開始訓練,這之前,先準備一下正確答案 ( y 為正確答案)
def check(t):if t > 130:return 1return 0
y = torch.tensor([check(t) for t in x]).float()
註 1: torch.tensor 是將 python array 變成 torch 的 array ( tensor ),類似於 np.array
註 2: 因為我們計算都是用 float, 所以要轉成 torch 的 float
然後準備一下 優化器 和 損失函數 ( Loss function )
( 優化器我們使用 Adam ,損失函數我們先用 BCELoss, 這部分有空再另寫文章介紹… )
# 準備變數
a = torch.rand(1, requires_grad=True)
b = torch.rand(1, requires_grad=True)
# 定義計算
def forward(t):# y = sigmoid(ax + b)return torch.sigmoid(a * t + b)
# 優化器
opt = torch.optim.Adam([a, b], lr=0.05)
# 損失函數
loss_func = torch.nn.BCELoss()
開始訓練的程式碼
for _ in range(10000):y_p = forward(x) # 預測 yloss = loss_func(y_p, y) # 計算誤差opt.zero_grad() # 導數重置loss.backward() # 反向傳導opt.step() # 優化器修正
我們整理一下,完整可執行範例 :
import numpy as np
import torch
import matplotlib.pyplot as plt# 溫度範圍
x = torch.arange(0, 200, step=0.1)# 我們先做出正確答案
def check(t):if t > 130:return 1return 0
y = torch.tensor([check(t) for t in x]).float()
plt.figure(figsize=(30, 10))
plt.subplot(1, 2, 1)
plt.plot(x, y)# 準備變數
a = torch.rand(1, requires_grad=True)
b = torch.rand(1, requires_grad=True)# 定義計算
def forward(t):# y = sigmoid(ax + b)return torch.sigmoid(a * t + b)# 優化器
opt = torch.optim.Adam([a, b], lr=0.05)# 損失函數
loss_func = torch.nn.BCELoss()# 開始訓練
for _ in range(10000):y_p = forward(x) # 預測 yloss = loss_func(y_p, y) # 計算誤差opt.zero_grad() # 導數重置loss.backward() # 反向傳導opt.step() # 優化器修正plt.subplot(1, 2, 2)
y_p = forward(x).detach().numpy()
plt.plot(x, y_p)
得到的如下圖

左邊 ( 正確答案 ) 和 右邊 ( 預測結果 ) 看起來有八成像了,用 y 約 0.5 做分界點, 落在 130 度左右的範圍
以上的範例中,我們從來沒有真正的去管 a, b 的實際數值多少,這就是 Machine Learning 厲害的地方,他會自己去找到答案
( 我們一直是用 y = ax + b 這個公式,上面範例也是一種最簡單的感知機 )
六、激勵函數之 Sigmoid / ReLU / Tanh / Softmax 比較
其實 relu, tanh, softmax 各有自己的應用場景,本文篇幅有限,我們無法在本篇說明實際的應用( 實際應用會於日後文章再說明)
6.1 - ReLU, Tanh 和 Sigmoid 簡介
ReLU, Tanh 和 Sigmoid 其實差別就是輸出的範圍
- Sigmoid:上面提過,數字越大(正數),越趨近於 1,數字越小(負數),越趨近於 0,主要用在 0 / 1 的判斷場景,目前比較多的應用是放在輸出層 ( Deep Learning )
- ReLU:數字大於 0 ,就會是那個數字,如果小於 0 就會是 0 ,用程式碼來看就是 “if x > 0 then x else 0" 又或是 max(x, 0)
因為這個特性適合用在線性回歸的問題或是保留特徵值傳遞 ( Deep Learning ) - Tanh :和 Sigmoid 類似,但它的輸出範圍從 0 變成 -1,所以是 -1 與 1,不少場合使用 Tanh 會有更高的效率 ( 因為他比 Sigmoid 有更大的範圍可以傳遞資訊 )
看文字敘述不清楚的話,可以看看輸出範圍圖 ( 我們都假設 x 是 -5 ~ 5)

6.2 - Softmax 簡介
其中 Softmax 有些特別,他不是一個單純的計算,他適用於分類
( 例如物件辨識,手寫辨識… )
白話文的說,他是用來計算機率的,他會將輸入的數字給出對應的機率,該機率總和就是就是 1 ( 意即 100% )
例如,我們常常看到的物件辨識範例,可能會有
- 貓 70%
- 狗 25%
- 馬 5%
這個 0.70 + 0.25 + 0.05 = 1.00 就是 softmax 輸出的總和
他不管輸入的數值(x) 範圍是多少,就是會給出一個對應的 x 機率範圍
大家可以跑看看以下程式碼
x = torch.randn(30)
plt.stem(torch.softmax(x, dim=0))
print('總和:', torch.sum(torch.softmax(x, dim=0)))
類似下圖的東西 ( 因為是亂數,所以每次結果都不會相同 )
總和會是: tensor(1.0000)
Softmax 会告诉我们哪个 x 发生的机率更大
而那个 x 怎么来的,我们可以透过 Machine Learning 找出来
所以用在图像识别方面的输出层很常见
七、小结
本文是激励函数的简介上篇,以上是很常用的激励函数 ( Activation Funcitons )
往后我们的 Deep Learning 基本上都脱离不了他们的概念,下篇我们会来看实际范例的应用 ( 下篇等本人有空再写.... )
另外激励函数使用需要注意的部分,有兴趣的读者可以多多研究
- 输出范围与传递信息问题
- 微分问题
- 选择正确的输出函数
Seachaos
相关文章:

手刻 Deep Learning -第壹章 -PyTorch教学-激励函数与感知机入门(上)
一、前言 本文接续前篇教学 Pytorch 与线性回归 ,本文着重在 Activation Function ( 中文称 激励函数 ),我们会介绍激励函数 (也有人称 激活函数? 激发函数? ) 为什么会有用…...
物理内存分配
目录 内核物理内存分配接口 内存分配行为(物理上) 内存分配的行为操作 内存 三个水位线 水线计算 水位线影响内存分配行为 内存分配核心__alloc_pages 释放页 1、内核物理内存分配接口 struct page *alloc_pages(gfp_t gfp, unsigned int ord…...

RFID产线自动化升级改造管理方案
应用背景 在现代制造业中,产线管理是实现高效生产和优质产品的关键环节,产线管理涉及到生产过程的监控、物料管理、工艺控制、质量追溯等多个方面,有效的产线管理可以提高生产效率、降低成本、改善产品质量,并满足市场需求的变化…...

全量数据采集:不同网站的方法与挑战
简介 在当今数字化时代中,有数据就能方便我们做出很多决策。数据的获取与分析已经成为学术研究、商业分析、战略决策以及个人好奇心的关键驱动力。本文将分享不同网站的全量数据采集方法,以及在这一过程中可能会遇到的挑战。 部分全量采集方法 1. 撞店…...

Redis——渐进式遍历和数据库管理命令
介绍 如果使用keys * 这样的操作,将Redis中所有的key都获取到,由于Redis是单线程工作,这个操作本身又要消耗很多时间,那么就会导致Redis服务器阻塞,后续的操作无法正常执行 而渐进式遍历,通过多次执行遍历…...

如何打造可视化警务巡防通信解决方案
近年来,科学技术飞速发展,给予了犯罪分子可乘之机。当面临专业化的犯罪分子、高科技的犯罪手段,传统警务模式似乎不能满足警方打击犯罪的需要,因此当今公安工作迫切需要构建智能化、系统化、信息化的警务通信管理模式。 警务人员…...

ATF(TF-A) SPMC威胁模型-安全检测与评估
安全之安全(security)博客目录导读 ATF(TF-A) 威胁模型汇总 目录 一、简介 二、评估目标 1、数据流图 三、威胁分析 1、信任边界 2、资产 3、威胁代理 4、威胁类型 5、威胁评估 5.1 端点在直接请求/响应调用中模拟发送方或接收方FF-A ID 5.2 篡改端点和SPMC之间的…...
BIO AIO NIO 的区别
BIO AIO NIO 是 Java 中用于 I/O 操作的三种不同的编程模型。它们的区别在于它们执行I/O 操作的方式和效率。在讲 BIO,NIO,AIO 之前先来回顾一下这样几个概念:同步与异步,阻塞与非阻塞。 同步与异步 同步:同步就是发起一个调用后ÿ…...

大数据学习1.1-Centos8网络配置
1.查看虚拟网卡 2.配置网络信息 打勾处取消 记住箭头的数字 3.修改 网络连接 4.进入虚拟网络 5.进入属性 6.修改IPv4 5.将iIP和DNS进行修改 6.配置网络信息-进入修改网络配置文件 # 进入root用户 su root # 进入网络配置文件 cd /etc/sysconfig/network-scripts/ # 修改网络配…...

在Android studio 创建Flutter项目运行出现问题总结
在Android studio 中配置Flutter出现的问题 A problem occurred configuring root project ‘android’出现这个问题。解决办法 首先找到flutter配置的位置 在D:\xxx\flutter\packages\flutter_tools\gradle位置中的flutter.gradle buildscript { repositories { googl…...

Ceph入门到精通-ceph对于长文件名如何处理
RADOS object with short name 上一篇博文,我们将介绍了对象相关的数据结构ghobject_t,以及对象在底层文件系统存储的文件名,以及如何从文件名对应到 ghobject_t对象。 映射关系如下图所示: 这里面有一个漏洞,即obje…...
vue+element-ui 项目实战示例详解【目录】
vue 和 element是两个流行的前端即时,通常用于管理后台,PC等页面 能够快速构建美观的界面 1. vue2 介绍 Vue.js是一个流行的JavaScript框架,用于构建用户界面。它的版本分为Vue 2和Vue 3,而Element是一个基于Vue.js 2的UI组件库。…...

性能测试-性能调优主要方向和原则(15)
性能调优主要方向明确性能瓶颈之后,就需要进行性能调优了,调优主要从图所示的多个方向入手。能优化手段并不一定是独立应用的,在一次优化过程中很可能应用了多种优化技巧。 硬件层面优化 硬件层面优化更偏向于监控,当定位到硬件资源成为瓶颈后,更多是采用扩容等手段来解决…...

关于taos数据库使用过程中突发“unable to establish connection”问题解决
项目使用的版本信息 1.taos的版本信息 3.0.4.1 2.jdbc的版本 3.2.1 3.druid连接池版本 1.2.11问题描述 Java应用服务连接,突然大量抛出如下的异常信息导致应用宕机: sql: select server_status(), desc: unable to establish connection和集团DBA沟通…...
【Qt】Qt中将字符串转换为数字类型的函数总结以及用法示例
在Qt中,可以使用以下函数将字符串转换为数字类型: toInt():将字符串转换为int类型。toDouble():将字符串转换为double类型。toFloat():将字符串转换为float类型。toLongLong():将字符串转换为long long类型…...
效率工具3-计算机网络工具
查看各个状态的tcp连接情况 netstat -n | awk ‘/^tcp/ {S[$NF]} END {for(a in S) print a, S[a]}’ /^tcp/ 正则表达式匹配 netstat 命令输出的匹配部分,即以 "TCP" 开始的行{S[$NF]} 对于符合条件的每一行,awk 命令将使用数组 S 来计算每…...

2万多条汉字笔画笔顺查询ACCESS\EXCEL数据库
发现很多新华字典类的数据都没有笔顺的相关数据,因此就找了一下笔顺查询相关,发现有两个模式,一种是每个字每个笔画都有一张图片(很庞大的图片数据量);一种是笔画图片文件显示型,比如今天采集的…...

我的一周年创作纪念日,感谢有你们
机缘 还记得 2022 年 09 月 19 日吗? 我撰写了第 1 篇技术博客:《纯CSS实现Material文本框(PC和移动端都可以使用)》;从此就开始了我在CSDN记录日常工作中开发和学习的第一步。在后续又参加了新星计划,取得…...

【音视频】ffplay源码解析-PacketQueue队列
包队列架构位置 对应结构体源码 MyAVPacketList typedef struct MyAVPacketList {AVPacket pkt; //解封装后的数据struct MyAVPacketList *next; //下一个节点int serial; //播放序列 } MyAVPacketList;PacketQueue typedef struct PacketQueue {MyAVPacketList …...
C++ 霍夫变换圆形检测
霍夫变换圆形检测 一、检测原理二、实现步骤三、算法实现一、检测原理 HoughCircles 参数说明: HoughCircles( InputArray image, // 输入图像 ,必须是 8 位的单通道灰度图像 OutputArray circles, // 输出结果,发现的圆信息 Int method, // 方法 - HOUGH…...
KubeSphere 容器平台高可用:环境搭建与可视化操作指南
Linux_k8s篇 欢迎来到Linux的世界,看笔记好好学多敲多打,每个人都是大神! 题目:KubeSphere 容器平台高可用:环境搭建与可视化操作指南 版本号: 1.0,0 作者: 老王要学习 日期: 2025.06.05 适用环境: Ubuntu22 文档说…...

UE5 学习系列(三)创建和移动物体
这篇博客是该系列的第三篇,是在之前两篇博客的基础上展开,主要介绍如何在操作界面中创建和拖动物体,这篇博客跟随的视频链接如下: B 站视频:s03-创建和移动物体 如果你不打算开之前的博客并且对UE5 比较熟的话按照以…...

STM32标准库-DMA直接存储器存取
文章目录 一、DMA1.1简介1.2存储器映像1.3DMA框图1.4DMA基本结构1.5DMA请求1.6数据宽度与对齐1.7数据转运DMA1.8ADC扫描模式DMA 二、数据转运DMA2.1接线图2.2代码2.3相关API 一、DMA 1.1简介 DMA(Direct Memory Access)直接存储器存取 DMA可以提供外设…...

Python爬虫(一):爬虫伪装
一、网站防爬机制概述 在当今互联网环境中,具有一定规模或盈利性质的网站几乎都实施了各种防爬措施。这些措施主要分为两大类: 身份验证机制:直接将未经授权的爬虫阻挡在外反爬技术体系:通过各种技术手段增加爬虫获取数据的难度…...
linux 下常用变更-8
1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行,YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID: YW3…...
今日学习:Spring线程池|并发修改异常|链路丢失|登录续期|VIP过期策略|数值类缓存
文章目录 优雅版线程池ThreadPoolTaskExecutor和ThreadPoolTaskExecutor的装饰器并发修改异常并发修改异常简介实现机制设计原因及意义 使用线程池造成的链路丢失问题线程池导致的链路丢失问题发生原因 常见解决方法更好的解决方法设计精妙之处 登录续期登录续期常见实现方式特…...
Xen Server服务器释放磁盘空间
disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...

安宝特方案丨船舶智造的“AR+AI+作业标准化管理解决方案”(装配)
船舶制造装配管理现状:装配工作依赖人工经验,装配工人凭借长期实践积累的操作技巧完成零部件组装。企业通常制定了装配作业指导书,但在实际执行中,工人对指导书的理解和遵循程度参差不齐。 船舶装配过程中的挑战与需求 挑战 (1…...
Fabric V2.5 通用溯源系统——增加图片上传与下载功能
fabric-trace项目在发布一年后,部署量已突破1000次,为支持更多场景,现新增支持图片信息上链,本文对图片上传、下载功能代码进行梳理,包含智能合约、后端、前端部分。 一、智能合约修改 为了增加图片信息上链溯源,需要对底层数据结构进行修改,在此对智能合约中的农产品数…...
【SSH疑难排查】轻松解决新版OpenSSH连接旧服务器的“no matching...“系列算法协商失败问题
【SSH疑难排查】轻松解决新版OpenSSH连接旧服务器的"no matching..."系列算法协商失败问题 摘要: 近期,在使用较新版本的OpenSSH客户端连接老旧SSH服务器时,会遇到 "no matching key exchange method found", "n…...