当前位置： 首页 > news >正文

【03】深度学习——神经网络原理 | 多层感知机 | 前向传播和反向传播 | 多层感知机代码实现 | 回归问题、分类问题 | 多分类问题代码实现

news 2025/11/14 21:32:02

深度学习

  • 1.神经网络原理
    • 1.1神经元模型
    • 1.2神经网络结构
    • 1.3隐藏层
      • 1.3.1激活函数层
    • 1.4输出层
      • 1.4.1softmax层
    • 1.5损失函数
    • 1.6反向传播
  • 2.多层感知机
    • 2.1线性网络的局限性
    • 2.2引入非线性
    • 2.3多层感知机（Multi-Layer Perceptron，MLP）
    • 2.4激活函数（Activation Function）
      • 2.4.1Sigmoid函数
      • 2.4.2Tanh函数
      • 2.4.3ReLU函数
      • 2.4.4Softmax函数
  • 3.前向传播和反向传播
    • 3.1前向传播
    • 3.2损失函数
    • 3.3反向传播
      • 3.3.1反向传播原理
      • 3.3.2最小化损失函数
  • 4.多层感知机代码实现
    • 4.1MNIST数据集
    • 4.2Pytorch搭建神经网络
      • 4.2.1导入数据
      • 4.2.2创建网络结构
      • 4.2.3定义损失函数
      • 4.2.4创建优化器
      • 4.2.5训练模型
      • 4.2.6测试模型
      • 4.2.7保存模型参数
  • 5.回归问题
    • 5.1一元线性回归
    • 5.2多元线性回归
    • 5.3多项式回归
    • 5.4线性回归代码实现
      • 5.4.1数据生成
      • 5.4.2设置超参数
      • 5.4.3初始化参数
      • 5.4.3开始训练
      • 5.4.4可视化
      • 5.4.5利用Pytorch实现线性回归
  • 6.分类问题
    • 6.1分类任务的定义
    • 6.2机器学习算法流程
    • 6.3多分类问题的数学表示
    • 6.4Softmax回归
    • 6.4损失函数
      • 6.4.1对数损失函数
      • 6.4.2交叉熵损失函数
  • 7.多分类问题代码实现
    • 7.1加载MNIST数据集
    • 7.2数据加载器
    • 7.3构建网络
    • 7.4定义损失函数和优化器
    • 7.5模型评估
    • 7.6模型训练

1.神经网络原理

1.1神经元模型

  神经网络是一种数学模型，下图是一个最简单的神经元，通常用带有输入输出的圆圈来表示，虽然其名为神经元，但是其内在是线性模型。
在这里插入图片描述
  神经元模型用数学公式表示为 y = f ( ∑ i = 1 n

相关文章：

【03】深度学习——神经网络原理 | 多层感知机 | 前向传播和反向传播 | 多层感知机代码实现 | 回归问题、分类问题 | 多分类问题代码实现

深度学习 1.神经网络原理1.1神经元模型1.2神经网络结构1.3隐藏层1.3.1激活函数层1.4输出层1.4.1softmax层1.5损失函数1.6反向传播2.多层感知机2.1线性网络的局限性2.2引入非线性2.3多层感知机（Multi-Layer Perceptron，MLP）2.4激活函数（Activation Function）2.4.1Sigmoid函…...

编程日记 2024/9/16 8:13:54

MySQL行锁的实践

在MySQL中，根据加锁的粒度，可以将数据库的锁细分为表锁、行锁、页锁。其中，表锁(Table Lock)是一种粗粒度的锁，它锁定整个表，阻止其他事务访问表中的任何行；行锁(Row Lock)是一种细粒度的锁，它锁…...

编程日记 2024/9/16 8:11:52

iOS 18 將在 9 月 16 日正式上線

現在有了正式的上線日期了。一如往常的，它會在 iPhone 16 系列正式推出前的 9 月 16 日先行上線。 iOS 18 最受矚目的無疑是它的 Apple Intelligence 功能，不過並非所有的 iPhone 機種都能享用，而是只有去年的 iPhone 15 Pro 和 Pro Max 才能…...

编程日记 2024/9/16 8:10:51

css选择器有几种？选择器的优先级是怎样的？

CSS选择器的主要分类 元素选择器（Type Selectors）：选择HTML文档中的特定类型的元素。 示例：p { color: red; } 类选择器（Class Selectors）：选择具有指定类名的元素。 示例：.myClass …...

编程日记 2024/9/16 8:08:49

果蔬识别系统性能优化之路（四）

目录 前情提要剩下问题 问题排查解决方案下一步 前情提要 果蔬识别系统性能优化之路（三） 剩下问题 同步数据库数据并初始化ivf依然要8,9秒 问题排查 通过断点加时间打印，发生其实初始化ivf的时间很快，慢的是数据在网络间的传…...

编程日记 2024/9/16 8:05:45

kafka之protobuf

Protobuf 的 .proto 文件是一种描述消息结构的定义文件，使用这种文件可以定义数据结构（消息），然后生成对应语言的类或代码用于序列化和反序列化数据。生成 .proto 文件涉及到编写 .proto 文件定义，然后通过 protoc 编译…...

编程日记 2024/9/16 8:01:40

BARTBERT

BART和BERT都是基于Transformer架构的预训练语言模型。 模型架构： BERT (Bidirectional Encoder Representations from Transformers) 主要是一个编码器（Encoder）模型，它使用了Transformer的编码器部分来处理输入的文本&#xff0…...

编程日记 2024/9/16 7:58:37

C++ 11新特性（1）

文章目录 C11新特性之auto和decltype知识点autoauto推导规则什么时候使用auto？ decltypedecltype推导规则 auto和decltype的配合使用 C11新特性之左值引用、右值引用、移动语义、完美转发左值、右值纯右值、将亡值纯右值将亡值左值引用、右值引用 移动语义深拷贝、浅…...

编程日记 2024/9/16 7:54:32

彻底理解浅拷贝和深拷贝

目录 浅拷贝实现 深拷贝实现自己手写 浅拷贝 浅拷贝是指创建一个新对象，这个对象具有原对象属性的精确副本 基本数据类型（如字符串、数字等），在浅拷贝过程中它们是通过值传递的，而不是引用传递，修改值并不…...

编程日记 2024/9/16 7:53:31

Spring4-IoC2-基于注解管理bean

目录 开启组件扫描 使用注解定义bean Autowired注入 场景一：属性注入 场景二：set注入 场景三：构造方法注入 场景四：形参注入 场景五：只有一个构造函数，无注解 场景六：Autowired和Quali…...

编程日记 2024/9/16 7:51:29

AI基础 L22 Uncertainty over Time I 时间的不确定性

Time and Uncertainty 1 Time and Uncertainty States and Observations • discrete-time models: we view the world as a series of snapshots or time slices • the time interval ∆ between slices, we assume to be the same for every interval • Xt: denotes the se…...

编程日记 2024/9/16 7:48:20

中小型企业网络构建

1 什么是 VLAN？ VLAN，指的是虚拟局域网，是一种 2 层技术。可以在交换机上实现广播域的隔离。从而可以减小 数据广播风暴对交换网络的影响，降低了网络管理难度，同时可以实现网络规模的灵活扩展。 2 Trunk 链路与 Acces…...

编程日记 2024/9/16 7:47:19

PXE服务

一.PXE服务的功能介绍 1.无盘启动：PXE允许计算机在没有本地存储设备的情况下启动操作系统。这对于构建无盘工作站非常有用，因为计算机可以直接从网络加载操作系统和其他应用程序1。 2.远程安装操作系统：PXE技术可以用于远程安装操作系统&…...

编程日记 2024/9/16 7:45:17

Docker技术深度解析与实践应用

Docker技术深度解析与实践应用 引言 在现代软件开发与部署的浪潮中，Docker作为一种轻量级的容器化技术，凭借其高效、一致和灵活的特性，逐渐成为云原生应用开发和部署的基石。本文将深入探讨Docker的核心概念、技术原理、实践应用&#xff0…...

编程日记 2024/9/16 7:44:16

链动321模式小程序开发源码

链动31模式概述 链动31模式是一种基于技术的新型商业模式，它通过激励用户分享和推广，实现用户、企业和平台的共赢。该模式通常涉及商品展示、积分系统、分享推广和排行榜等功能，旨在通过用户之间的社交裂变来扩大销售和品牌影响力。如何开发这…...

编程日记 2024/9/16 7:43:15

java开发中间件学习记录（持续更新中~）

1 Redis 2JVM 3 java基础底层 4Mysql 5 spring 6 微服务 7.......(持续更新) One:Redis篇 1:Redis 1.穿透 1.1缓存穿透 1.1.1布隆过滤器 1.2缓存击穿 2：击穿 1.3：缓存雪崩 1.4:双写一致 1.5.持久化（RDB,AOF） 1.6…...

编程日记 2024/9/16 7:42:14

（批处理）无限弹窗cmd

代码部分 echo off echo 好了，可以退出了 pause>nul echo 再点就要无限弹窗了！ pause >nul echo 你还点？ pause >nul echo 再给你最后一次机会，别点了，再点准备重启 pause >nul echo 点击任意键变身奥特曼…...

编程日记 2024/9/16 7:40:12

解决ubuntu 24.04 ibus出现卡死、高延迟问题

问题描述 ubuntu中使用ibus经常会出现卡死、高延迟的问题，网上找了一些解决方法就手动输入命令是重启。但是键盘卡死了没法输入，不能很有效的解决问题。 解决思路 通过一个bash脚本监测ibus进程，当出现进程卡死的时候自动重启。 bash代码…...

编程日记 2024/9/16 7:39:11

减少脏页标记技术中处理时间的方法

减少脏页标记技术中处理时间的方法 一、引言 在数据库系统中，脏页标记技术对于确保数据的一致性和持久性至关重要。然而，脏页标记过程可能会消耗一定的处理时间，影响数据库的性能。因此，寻找有效的方法来减少脏页标记技术中的处理时间具有重要意义。 二、优化数据结构 …...

编程日记 2024/9/16 7:38:10

828华为云征文 | 华为云Flexusx与Docker技术融合，打造个性化WizNote服务

前言 华为云Flexus X实例携手Docker技术，创新融合打造高效个性化WizNote服务。华为云Flexus X实例的柔性算力与Docker的容器化优势相结合，实现资源灵活配置与性能优化，助力企业轻松构建稳定、高效的云端笔记平台。828华为云企业上云节特惠来袭…...

编程日记 2024/9/16 7:37:09

接口测试中缓存处理策略

在接口测试中，缓存处理策略是一个关键环节，直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性，避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明： 一、缓存处理的核…...

编程新知 2025/11/14 19:42:17

椭圆曲线密码学(ECC)

一、ECC算法概述 椭圆曲线密码学（Elliptic Curve Cryptography）是基于椭圆曲线数学理论的公钥密码系统，由Neal Koblitz和Victor Miller在1985年独立提出。相比RSA，ECC在相同安全强度下密钥更短（256位ECC ≈ 3072位RSA…...

编程新知 2025/10/1 22:26:06

Unity3D中Gfx.WaitForPresent优化方案

前言 在Unity中，Gfx.WaitForPresent占用CPU过高通常表示主线程在等待GPU完成渲染（即CPU被阻塞），这表明存在GPU瓶颈或垂直同步/帧率设置问题。以下是系统的优化方案： 对惹，这里有一个游戏开发交流小组&…...

编程新知 2025/11/13 15:51:45

循环冗余码校验CRC码 算法步骤+详细实例计算

通信过程：（白话解释） 我们将原始待发送的消息称为 M M M，依据发送接收消息双方约定的生成多项式 G ( x ) G(x) G(x)（意思就是 G （ x ) G（x) G（x) 是已知的）&#xff0…...

编程新知 2025/11/12 1:33:39

高频面试之3Zookeeper

高频面试之3Zookeeper 文章目录 高频面试之3Zookeeper3.1 常用命令3.2 选举机制3.3 Zookeeper符合法则中哪两个？3.4 Zookeeper脑裂3.5 Zookeeper用来干嘛了 3.1 常用命令 ls、get、create、delete、deleteall3.2 选举机制 半数机制（过半机制&#xff0…...

编程新知 2025/11/12 20:02:46

使用van-uploader 的UI组件，结合vue2如何实现图片上传组件的封装

以下是基于 vant-ui&#xff08;适配 Vue2 版本 &#xff09;实现截图中照片上传预览、删除功能&#xff0c;并封装成可复用组件的完整代码&#xff0c;包含样式和逻辑实现&#xff0c;可直接在 Vue2 项目中使用&#xff1a; 1. 封装的图片上传组件 ImageUploader.vue <te…...

编程新知 2025/10/1 2:59:48

《基于Apache Flink的流处理》笔记

思维导图 1-3 章 4-7章 8-11 章 参考资料 源码&#xff1a; https://github.com/streaming-with-flink 博客 https://flink.apache.org/bloghttps://www.ververica.com/blog 聚会及会议 https://flink-forward.orghttps://www.meetup.com/topics/apache-flink https://n…...

编程新知 2025/11/8 9:16:25

NLP学习路线图（二十三）：长短期记忆网络（LSTM）

在自然语言处理（NLP）领域，我们时刻面临着处理序列数据的核心挑战。无论是理解句子的结构、分析文本的情感，还是实现语言的翻译，都需要模型能够捕捉词语之间依时序产生的复杂依赖关系。传统的神经网络结构在处理这种序列依赖时显得力不从心，而循环神经网络（RNN） 曾被视为…...

编程新知 2025/11/10 21:24:48

SpringTask-03.入门案例

一.入门案例 启动类&#xff1a; package com.sky;import lombok.extern.slf4j.Slf4j; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; import org.springframework.cache.annotation.EnableCach…...

编程新知 2025/11/12 5:14:55

ios苹果系统，js 滑动屏幕、锚定无效

现象&#xff1a;window.addEventListener监听touch无效&#xff0c;划不动屏幕&#xff0c;但是代码逻辑都有执行到。 scrollIntoView也无效。 原因&#xff1a;这是因为 iOS 的触摸事件处理机制和 touch-action: none 的设置有关。ios有太多得交互动作&#xff0c;从而会影响…...

编程新知 2025/11/12 5:13:39