当前位置： 首页 > news >正文

【03】深度学习——神经网络原理 | 多层感知机 | 前向传播和反向传播 | 多层感知机代码实现 | 回归问题、分类问题 | 多分类问题代码实现

news 文章来源：https://blog.csdn.net/m0_52162042/article/details/135982998 2025/5/13 19:18:29

深度学习

  • 1.神经网络原理
    • 1.1神经元模型
    • 1.2神经网络结构
    • 1.3隐藏层
      • 1.3.1激活函数层
    • 1.4输出层
      • 1.4.1softmax层
    • 1.5损失函数
    • 1.6反向传播
  • 2.多层感知机
    • 2.1线性网络的局限性
    • 2.2引入非线性
    • 2.3多层感知机（Multi-Layer Perceptron，MLP）
    • 2.4激活函数（Activation Function）
      • 2.4.1Sigmoid函数
      • 2.4.2Tanh函数
      • 2.4.3ReLU函数
      • 2.4.4Softmax函数
  • 3.前向传播和反向传播
    • 3.1前向传播
    • 3.2损失函数
    • 3.3反向传播
      • 3.3.1反向传播原理
      • 3.3.2最小化损失函数
  • 4.多层感知机代码实现
    • 4.1MNIST数据集
    • 4.2Pytorch搭建神经网络
      • 4.2.1导入数据
      • 4.2.2创建网络结构
      • 4.2.3定义损失函数
      • 4.2.4创建优化器
      • 4.2.5训练模型
      • 4.2.6测试模型
      • 4.2.7保存模型参数
  • 5.回归问题
    • 5.1一元线性回归
    • 5.2多元线性回归
    • 5.3多项式回归
    • 5.4线性回归代码实现
      • 5.4.1数据生成
      • 5.4.2设置超参数
      • 5.4.3初始化参数
      • 5.4.3开始训练
      • 5.4.4可视化
      • 5.4.5利用Pytorch实现线性回归
  • 6.分类问题
    • 6.1分类任务的定义
    • 6.2机器学习算法流程
    • 6.3多分类问题的数学表示
    • 6.4Softmax回归
    • 6.4损失函数
      • 6.4.1对数损失函数
      • 6.4.2交叉熵损失函数
  • 7.多分类问题代码实现
    • 7.1加载MNIST数据集
    • 7.2数据加载器
    • 7.3构建网络
    • 7.4定义损失函数和优化器
    • 7.5模型评估
    • 7.6模型训练

1.神经网络原理

1.1神经元模型

  神经网络是一种数学模型，下图是一个最简单的神经元，通常用带有输入输出的圆圈来表示，虽然其名为神经元，但是其内在是线性模型。
在这里插入图片描述
  神经元模型用数学公式表示为 y = f ( ∑ i = 1 n

相关文章：

【03】深度学习——神经网络原理 | 多层感知机 | 前向传播和反向传播 | 多层感知机代码实现 | 回归问题、分类问题 | 多分类问题代码实现

深度学习 1.神经网络原理1.1神经元模型1.2神经网络结构1.3隐藏层1.3.1激活函数层1.4输出层1.4.1softmax层1.5损失函数1.6反向传播2.多层感知机2.1线性网络的局限性2.2引入非线性2.3多层感知机（Multi-Layer Perceptron，MLP）2.4激活函数（Activation Function）2.4.1Sigmoid函…...

编程日记 2024/9/16 8:13:54

MySQL行锁的实践

在MySQL中，根据加锁的粒度，可以将数据库的锁细分为表锁、行锁、页锁。其中，表锁(Table Lock)是一种粗粒度的锁，它锁定整个表，阻止其他事务访问表中的任何行；行锁(Row Lock)是一种细粒度的锁，它锁…...

编程日记 2024/9/16 8:11:52

iOS 18 將在 9 月 16 日正式上線

現在有了正式的上線日期了。一如往常的，它會在 iPhone 16 系列正式推出前的 9 月 16 日先行上線。 iOS 18 最受矚目的無疑是它的 Apple Intelligence 功能，不過並非所有的 iPhone 機種都能享用，而是只有去年的 iPhone 15 Pro 和 Pro Max 才能…...

编程日记 2024/9/16 8:10:51

css选择器有几种？选择器的优先级是怎样的？

CSS选择器的主要分类 元素选择器（Type Selectors）：选择HTML文档中的特定类型的元素。 示例：p { color: red; } 类选择器（Class Selectors）：选择具有指定类名的元素。 示例：.myClass …...

编程日记 2024/9/16 8:08:49

果蔬识别系统性能优化之路（四）

目录 前情提要剩下问题 问题排查解决方案下一步 前情提要 果蔬识别系统性能优化之路（三） 剩下问题 同步数据库数据并初始化ivf依然要8,9秒 问题排查 通过断点加时间打印，发生其实初始化ivf的时间很快，慢的是数据在网络间的传…...

编程日记 2024/9/16 8:05:45

kafka之protobuf

Protobuf 的 .proto 文件是一种描述消息结构的定义文件，使用这种文件可以定义数据结构（消息），然后生成对应语言的类或代码用于序列化和反序列化数据。生成 .proto 文件涉及到编写 .proto 文件定义，然后通过 protoc 编译…...

编程日记 2024/9/16 8:01:40

BARTBERT

BART和BERT都是基于Transformer架构的预训练语言模型。 模型架构： BERT (Bidirectional Encoder Representations from Transformers) 主要是一个编码器（Encoder）模型，它使用了Transformer的编码器部分来处理输入的文本&#xff0…...

编程日记 2024/9/16 7:58:37

C++ 11新特性（1）

文章目录 C11新特性之auto和decltype知识点autoauto推导规则什么时候使用auto？ decltypedecltype推导规则 auto和decltype的配合使用 C11新特性之左值引用、右值引用、移动语义、完美转发左值、右值纯右值、将亡值纯右值将亡值左值引用、右值引用 移动语义深拷贝、浅…...

编程日记 2024/9/16 7:54:32

彻底理解浅拷贝和深拷贝

目录 浅拷贝实现 深拷贝实现自己手写 浅拷贝 浅拷贝是指创建一个新对象，这个对象具有原对象属性的精确副本 基本数据类型（如字符串、数字等），在浅拷贝过程中它们是通过值传递的，而不是引用传递，修改值并不…...

编程日记 2024/9/16 7:53:31

Spring4-IoC2-基于注解管理bean

目录 开启组件扫描 使用注解定义bean Autowired注入 场景一：属性注入 场景二：set注入 场景三：构造方法注入 场景四：形参注入 场景五：只有一个构造函数，无注解 场景六：Autowired和Quali…...

编程日记 2024/9/16 7:51:29

AI基础 L22 Uncertainty over Time I 时间的不确定性

Time and Uncertainty 1 Time and Uncertainty States and Observations • discrete-time models: we view the world as a series of snapshots or time slices • the time interval ∆ between slices, we assume to be the same for every interval • Xt: denotes the se…...

编程日记 2024/9/16 7:48:20

中小型企业网络构建

1 什么是 VLAN？ VLAN，指的是虚拟局域网，是一种 2 层技术。可以在交换机上实现广播域的隔离。从而可以减小 数据广播风暴对交换网络的影响，降低了网络管理难度，同时可以实现网络规模的灵活扩展。 2 Trunk 链路与 Acces…...

编程日记 2024/9/16 7:47:19

PXE服务

一.PXE服务的功能介绍 1.无盘启动：PXE允许计算机在没有本地存储设备的情况下启动操作系统。这对于构建无盘工作站非常有用，因为计算机可以直接从网络加载操作系统和其他应用程序1。 2.远程安装操作系统：PXE技术可以用于远程安装操作系统&…...

编程日记 2024/9/16 7:45:17

Docker技术深度解析与实践应用

Docker技术深度解析与实践应用 引言 在现代软件开发与部署的浪潮中，Docker作为一种轻量级的容器化技术，凭借其高效、一致和灵活的特性，逐渐成为云原生应用开发和部署的基石。本文将深入探讨Docker的核心概念、技术原理、实践应用&#xff0…...

编程日记 2024/9/16 7:44:16

链动321模式小程序开发源码

链动31模式概述 链动31模式是一种基于技术的新型商业模式，它通过激励用户分享和推广，实现用户、企业和平台的共赢。该模式通常涉及商品展示、积分系统、分享推广和排行榜等功能，旨在通过用户之间的社交裂变来扩大销售和品牌影响力。如何开发这…...

编程日记 2024/9/16 7:43:15

java开发中间件学习记录（持续更新中~）

1 Redis 2JVM 3 java基础底层 4Mysql 5 spring 6 微服务 7.......(持续更新) One:Redis篇 1:Redis 1.穿透 1.1缓存穿透 1.1.1布隆过滤器 1.2缓存击穿 2：击穿 1.3：缓存雪崩 1.4:双写一致 1.5.持久化（RDB,AOF） 1.6…...

编程日记 2024/9/16 7:42:14

（批处理）无限弹窗cmd

代码部分 echo off echo 好了，可以退出了 pause>nul echo 再点就要无限弹窗了！ pause >nul echo 你还点？ pause >nul echo 再给你最后一次机会，别点了，再点准备重启 pause >nul echo 点击任意键变身奥特曼…...

编程日记 2024/9/16 7:40:12

解决ubuntu 24.04 ibus出现卡死、高延迟问题

问题描述 ubuntu中使用ibus经常会出现卡死、高延迟的问题，网上找了一些解决方法就手动输入命令是重启。但是键盘卡死了没法输入，不能很有效的解决问题。 解决思路 通过一个bash脚本监测ibus进程，当出现进程卡死的时候自动重启。 bash代码…...

编程日记 2024/9/16 7:39:11

减少脏页标记技术中处理时间的方法

减少脏页标记技术中处理时间的方法 一、引言 在数据库系统中，脏页标记技术对于确保数据的一致性和持久性至关重要。然而，脏页标记过程可能会消耗一定的处理时间，影响数据库的性能。因此，寻找有效的方法来减少脏页标记技术中的处理时间具有重要意义。 二、优化数据结构 …...

编程日记 2024/9/16 7:38:10

828华为云征文 | 华为云Flexusx与Docker技术融合，打造个性化WizNote服务

前言 华为云Flexus X实例携手Docker技术，创新融合打造高效个性化WizNote服务。华为云Flexus X实例的柔性算力与Docker的容器化优势相结合，实现资源灵活配置与性能优化，助力企业轻松构建稳定、高效的云端笔记平台。828华为云企业上云节特惠来袭…...

编程日记 2024/9/16 7:37:09

JavaScript事件处理和常用对象

文章目录 前言一、事件处理程序 1.JavaScript 常用事件2.事件处理程序的调用二、常用对象 1.Window 对象2.String 对象3.Date 对象总结 前言 JavaScript 语言是事件驱动型的。这意味着，该门语言可以通过事件触发来调用某一函数或者一段代码。该文还简单介绍了Window…...

编程日记 2024/9/16 7:34:07

Qt基础类05-尺寸类QSize

Qt基础类05-尺寸类QSize 摘要基本信息写在前面重要成员函数举例7个QSize QSize::boundedTo(const QSize &otherSize) constQSize QSize::expandedTo(const QSize &otherSize) constbool QSize::isEmpty() constbool QSize::isNull() constbool QSize::isValid() constQ…...

编程日记 2024/9/16 7:33:05

Vue 2中的this指向详解

在JavaScript中，this的指向是许多开发者经常遇到的问题，尤其是在使用Vue这样的框架时。在Vue 2中，理解this的指向对于正确地访问组件的数据和方法至关重要。 1. this在Vue组件中的指向 在Vue组件的选项中，this通常指向当前组件实…...

编程日记 2024/9/16 7:32:04

长业务事务的离线并发问题

事务指代一组操作同时成功或同时失败，事务可分为两类： 系统事务：即关系数据库事务，一次数据库连接中由start transaction或begin开启，commit表示提交，rollback表示回滚；业务事务：完…...

编程日记 2024/9/16 7:30:02

黑马程序员Java笔记整理(day01)

1.windowsR进入运行，输入cmd 2.环境变量 3.编写java第一步 4.使用idea 5.注释 6.字面量 7.变量 8.二进制 9.数据类型 10.关键词与标识符...

编程日记 2024/9/16 7:27:59

VMware Tools系列一：安装VMware Tools的作用

最近笔者安装了VMware Workstation pro 17，同时在VMware中安装了华为的Open Euler服务器，由于虚拟机Open Euler经常需要与宿主机win10交换数据，很不方便，而安装VMware Workstation pro 17并没有自动安装了VMware Tools &#xff0…...

编程日记 2024/9/16 7:26:59

使用大语言模型（LLM）修正小段乱码（Mojibake）为正常文本

Python方案 在上一篇文章ftfy：修正小段乱码（Mojibake）为正常文本的Python库中，我介绍了ftfy这个库。但随着持续的开发，我发现它仍然有一些解决不了的转换。如下： >>> ftfy.fix_text(‡›‘…...

编程日记 2024/9/16 7:25:58

C++ 访问限定符

个人主页：Jason_from_China-CSDN博客 所属栏目：C系统性学习_Jason_from_China的博客-CSDN博客 所属栏目：C知识点的补充_Jason_from_China的博客-CSDN博客 概念概述 C一种实现封装的方式，用类将对象的属性与方法结合在一块&#xf…...

编程日记 2024/9/16 7:24:57

几种mfc140u.dll常见错误情况，以及mfc140u.dll文件修复的方法

如果你遇到与mfc140u.dll 文件相关的错误，这通常指的是该mfc140u.dll文件可能丢失、损坏或与您的应用程序不兼容。详细分析关于mfc140u.dll文件错误会对系统有什么影响，mfc140u.dll文件处于什么样的位置？以下是几种常见的错误情况及其修复方法…...

编程日记 2024/9/16 7:23:35

[产品管理-21]：NPDP新产品开发 - 19 - 产品设计与开发工具 - 详细设计与规格定义

目录 前言： 一、详细设计与规格定义概述 1、产品详细设计 2、规格定义 3、详细设计与规格定义的关系 4、实际应用中的注意事项 二、详细设计与规格定义主要工具 2.1 质量功能展开QFD - 需求跟踪矩阵 1、QFD的基本原理 2、QFD的实施步骤 3、QFD的优势与应…...

编程日记 2024/9/16 7:22:31