当前位置： 首页 > news >正文

【03】深度学习——神经网络原理 | 多层感知机 | 前向传播和反向传播 | 多层感知机代码实现 | 回归问题、分类问题 | 多分类问题代码实现

news 2025/9/23 11:50:47

深度学习

  • 1.神经网络原理
    • 1.1神经元模型
    • 1.2神经网络结构
    • 1.3隐藏层
      • 1.3.1激活函数层
    • 1.4输出层
      • 1.4.1softmax层
    • 1.5损失函数
    • 1.6反向传播
  • 2.多层感知机
    • 2.1线性网络的局限性
    • 2.2引入非线性
    • 2.3多层感知机（Multi-Layer Perceptron，MLP）
    • 2.4激活函数（Activation Function）
      • 2.4.1Sigmoid函数
      • 2.4.2Tanh函数
      • 2.4.3ReLU函数
      • 2.4.4Softmax函数
  • 3.前向传播和反向传播
    • 3.1前向传播
    • 3.2损失函数
    • 3.3反向传播
      • 3.3.1反向传播原理
      • 3.3.2最小化损失函数
  • 4.多层感知机代码实现
    • 4.1MNIST数据集
    • 4.2Pytorch搭建神经网络
      • 4.2.1导入数据
      • 4.2.2创建网络结构
      • 4.2.3定义损失函数
      • 4.2.4创建优化器
      • 4.2.5训练模型
      • 4.2.6测试模型
      • 4.2.7保存模型参数
  • 5.回归问题
    • 5.1一元线性回归
    • 5.2多元线性回归
    • 5.3多项式回归
    • 5.4线性回归代码实现
      • 5.4.1数据生成
      • 5.4.2设置超参数
      • 5.4.3初始化参数
      • 5.4.3开始训练
      • 5.4.4可视化
      • 5.4.5利用Pytorch实现线性回归
  • 6.分类问题
    • 6.1分类任务的定义
    • 6.2机器学习算法流程
    • 6.3多分类问题的数学表示
    • 6.4Softmax回归
    • 6.4损失函数
      • 6.4.1对数损失函数
      • 6.4.2交叉熵损失函数
  • 7.多分类问题代码实现
    • 7.1加载MNIST数据集
    • 7.2数据加载器
    • 7.3构建网络
    • 7.4定义损失函数和优化器
    • 7.5模型评估
    • 7.6模型训练

1.神经网络原理

1.1神经元模型

  神经网络是一种数学模型，下图是一个最简单的神经元，通常用带有输入输出的圆圈来表示，虽然其名为神经元，但是其内在是线性模型。
在这里插入图片描述
  神经元模型用数学公式表示为 y = f ( ∑ i = 1 n

相关文章：

【03】深度学习——神经网络原理 | 多层感知机 | 前向传播和反向传播 | 多层感知机代码实现 | 回归问题、分类问题 | 多分类问题代码实现

深度学习 1.神经网络原理1.1神经元模型1.2神经网络结构1.3隐藏层1.3.1激活函数层1.4输出层1.4.1softmax层1.5损失函数1.6反向传播2.多层感知机2.1线性网络的局限性2.2引入非线性2.3多层感知机（Multi-Layer Perceptron，MLP）2.4激活函数（Activation Function）2.4.1Sigmoid函…...

编程日记 2024/9/16 8:13:54

MySQL行锁的实践

在MySQL中，根据加锁的粒度，可以将数据库的锁细分为表锁、行锁、页锁。其中，表锁(Table Lock)是一种粗粒度的锁，它锁定整个表，阻止其他事务访问表中的任何行；行锁(Row Lock)是一种细粒度的锁，它锁…...

编程日记 2024/9/16 8:11:52

iOS 18 將在 9 月 16 日正式上線

現在有了正式的上線日期了。一如往常的，它會在 iPhone 16 系列正式推出前的 9 月 16 日先行上線。 iOS 18 最受矚目的無疑是它的 Apple Intelligence 功能，不過並非所有的 iPhone 機種都能享用，而是只有去年的 iPhone 15 Pro 和 Pro Max 才能…...

编程日记 2024/9/16 8:10:51

css选择器有几种？选择器的优先级是怎样的？

CSS选择器的主要分类 元素选择器（Type Selectors）：选择HTML文档中的特定类型的元素。 示例：p { color: red; } 类选择器（Class Selectors）：选择具有指定类名的元素。 示例：.myClass …...

编程日记 2024/9/16 8:08:49

果蔬识别系统性能优化之路（四）

目录 前情提要剩下问题 问题排查解决方案下一步 前情提要 果蔬识别系统性能优化之路（三） 剩下问题 同步数据库数据并初始化ivf依然要8,9秒 问题排查 通过断点加时间打印，发生其实初始化ivf的时间很快，慢的是数据在网络间的传…...

编程日记 2024/9/16 8:05:45

kafka之protobuf

Protobuf 的 .proto 文件是一种描述消息结构的定义文件，使用这种文件可以定义数据结构（消息），然后生成对应语言的类或代码用于序列化和反序列化数据。生成 .proto 文件涉及到编写 .proto 文件定义，然后通过 protoc 编译…...

编程日记 2024/9/16 8:01:40

BARTBERT

BART和BERT都是基于Transformer架构的预训练语言模型。 模型架构： BERT (Bidirectional Encoder Representations from Transformers) 主要是一个编码器（Encoder）模型，它使用了Transformer的编码器部分来处理输入的文本&#xff0…...

编程日记 2024/9/16 7:58:37

C++ 11新特性（1）

文章目录 C11新特性之auto和decltype知识点autoauto推导规则什么时候使用auto？ decltypedecltype推导规则 auto和decltype的配合使用 C11新特性之左值引用、右值引用、移动语义、完美转发左值、右值纯右值、将亡值纯右值将亡值左值引用、右值引用 移动语义深拷贝、浅…...

编程日记 2024/9/16 7:54:32

彻底理解浅拷贝和深拷贝

目录 浅拷贝实现 深拷贝实现自己手写 浅拷贝 浅拷贝是指创建一个新对象，这个对象具有原对象属性的精确副本 基本数据类型（如字符串、数字等），在浅拷贝过程中它们是通过值传递的，而不是引用传递，修改值并不…...

编程日记 2024/9/16 7:53:31

Spring4-IoC2-基于注解管理bean

目录 开启组件扫描 使用注解定义bean Autowired注入 场景一：属性注入 场景二：set注入 场景三：构造方法注入 场景四：形参注入 场景五：只有一个构造函数，无注解 场景六：Autowired和Quali…...

编程日记 2024/9/16 7:51:29

AI基础 L22 Uncertainty over Time I 时间的不确定性

Time and Uncertainty 1 Time and Uncertainty States and Observations • discrete-time models: we view the world as a series of snapshots or time slices • the time interval ∆ between slices, we assume to be the same for every interval • Xt: denotes the se…...

编程日记 2024/9/16 7:48:20

中小型企业网络构建

1 什么是 VLAN？ VLAN，指的是虚拟局域网，是一种 2 层技术。可以在交换机上实现广播域的隔离。从而可以减小 数据广播风暴对交换网络的影响，降低了网络管理难度，同时可以实现网络规模的灵活扩展。 2 Trunk 链路与 Acces…...

编程日记 2024/9/16 7:47:19

PXE服务

一.PXE服务的功能介绍 1.无盘启动：PXE允许计算机在没有本地存储设备的情况下启动操作系统。这对于构建无盘工作站非常有用，因为计算机可以直接从网络加载操作系统和其他应用程序1。 2.远程安装操作系统：PXE技术可以用于远程安装操作系统&…...

编程日记 2024/9/16 7:45:17

Docker技术深度解析与实践应用

Docker技术深度解析与实践应用 引言 在现代软件开发与部署的浪潮中，Docker作为一种轻量级的容器化技术，凭借其高效、一致和灵活的特性，逐渐成为云原生应用开发和部署的基石。本文将深入探讨Docker的核心概念、技术原理、实践应用&#xff0…...

编程日记 2024/9/16 7:44:16

链动321模式小程序开发源码

链动31模式概述 链动31模式是一种基于技术的新型商业模式，它通过激励用户分享和推广，实现用户、企业和平台的共赢。该模式通常涉及商品展示、积分系统、分享推广和排行榜等功能，旨在通过用户之间的社交裂变来扩大销售和品牌影响力。如何开发这…...

编程日记 2024/9/16 7:43:15

java开发中间件学习记录（持续更新中~）

1 Redis 2JVM 3 java基础底层 4Mysql 5 spring 6 微服务 7.......(持续更新) One:Redis篇 1:Redis 1.穿透 1.1缓存穿透 1.1.1布隆过滤器 1.2缓存击穿 2：击穿 1.3：缓存雪崩 1.4:双写一致 1.5.持久化（RDB,AOF） 1.6…...

编程日记 2024/9/16 7:42:14

（批处理）无限弹窗cmd

代码部分 echo off echo 好了，可以退出了 pause>nul echo 再点就要无限弹窗了！ pause >nul echo 你还点？ pause >nul echo 再给你最后一次机会，别点了，再点准备重启 pause >nul echo 点击任意键变身奥特曼…...

编程日记 2024/9/16 7:40:12

解决ubuntu 24.04 ibus出现卡死、高延迟问题

问题描述 ubuntu中使用ibus经常会出现卡死、高延迟的问题，网上找了一些解决方法就手动输入命令是重启。但是键盘卡死了没法输入，不能很有效的解决问题。 解决思路 通过一个bash脚本监测ibus进程，当出现进程卡死的时候自动重启。 bash代码…...

编程日记 2024/9/16 7:39:11

减少脏页标记技术中处理时间的方法

减少脏页标记技术中处理时间的方法 一、引言 在数据库系统中，脏页标记技术对于确保数据的一致性和持久性至关重要。然而，脏页标记过程可能会消耗一定的处理时间，影响数据库的性能。因此，寻找有效的方法来减少脏页标记技术中的处理时间具有重要意义。 二、优化数据结构 …...

编程日记 2024/9/16 7:38:10

828华为云征文 | 华为云Flexusx与Docker技术融合，打造个性化WizNote服务

前言 华为云Flexus X实例携手Docker技术，创新融合打造高效个性化WizNote服务。华为云Flexus X实例的柔性算力与Docker的容器化优势相结合，实现资源灵活配置与性能优化，助力企业轻松构建稳定、高效的云端笔记平台。828华为云企业上云节特惠来袭…...

编程日记 2024/9/16 7:37:09

调用支付宝接口响应40004 SYSTEM_ERROR问题排查

在对接支付宝API的时候，遇到了一些问题，记录一下排查过程。 Body:{"datadigital_fincloud_generalsaas_face_certify_initialize_response":{"msg":"Business Failed","code":"40004","sub_msg…...

编程新知 2025/9/15 18:35:09

（十）学生端搭建

本次旨在将之前的已完成的部分功能进行拼装到学生端，同时完善学生端的构建。本次工作主要包括： 1.学生端整体界面布局 2.模拟考场与部分个人画像流程的串联 3.整体学生端逻辑 一、学生端 在主界面可以选择自己的用户角色 选择学生则进入学生登录界面…...

编程新知 2025/9/21 14:37:15

linux arm系统烧录

1、打开瑞芯微程序 2、按住linux arm 的 recover按键 插入电源 3、当瑞芯微检测到有设备 4、松开recover按键 5、选择升级固件 6、点击固件选择本地刷机的linux arm 镜像 7、点击升级 （忘了有没有这步了 估计有） 刷机程序 和 镜像 就不提供了。要刷的时…...

编程新知 2025/9/17 7:09:29

DIY｜Mac 搭建 ESP-IDF 开发环境及编译小智 AI

前一阵子在百度 AI 开发者大会上，看到基于小智 AI DIY 玩具的演示，感觉有点意思，想着自己也来试试。 如果只是想烧录现成的固件，乐鑫官方除了提供了 Windows 版本的 Flash 下载工具 之外，还提供了基于网页版的 ESP LA…...

编程新知 2025/9/15 20:04:28

令牌桶 滑动窗口-＞限流 分布式信号量-＞限并发的原理 lua脚本分析介绍

文章目录 前言限流限制并发的实际理解限流令牌桶代码实现结果分析令牌桶lua的模拟实现原理总结： 滑动窗口代码实现结果分析lua脚本原理解析 限并发分布式信号量代码实现结果分析lua脚本实现原理 双注解去实现限流 并发结果分析： 实际业务去理解体会统一注…...

编程新知 2025/8/25 20:32:49

C++中string流知识详解和示例

一、概览与类体系 C 提供三种基于内存字符串的流&#xff0c;定义在 <sstream> 中&#xff1a; std::istringstream&#xff1a;输入流&#xff0c;从已有字符串中读取并解析。std::ostringstream&#xff1a;输出流&#xff0c;向内部缓冲区写入内容&#xff0c;最终取…...

编程新知 2025/8/15 2:04:44

RNN避坑指南：从数学推导到LSTM/GRU工业级部署实战流程

本文较长&#xff0c;建议点赞收藏&#xff0c;以免遗失。更多AI大模型应用开发学习视频及资料&#xff0c;尽在聚客AI学院。 本文全面剖析RNN核心原理&#xff0c;深入讲解梯度消失/爆炸问题&#xff0c;并通过LSTM/GRU结构实现解决方案&#xff0c;提供时间序列预测和文本生成…...

编程新知 2025/9/22 14:49:04

学习STC51单片机32（芯片为STC89C52RCRC）OLED显示屏2

每日一言 今天的每一份坚持&#xff0c;都是在为未来积攒底气。 案例&#xff1a;OLED显示一个A 这边观察到一个点&#xff0c;怎么雪花了就是都是乱七八糟的占满了屏幕。。 解释 &#xff1a; 如果代码里信号切换太快&#xff08;比如 SDA 刚变&#xff0c;SCL 立刻变&#…...

编程新知 2025/9/22 14:51:58

【分享】推荐一些办公小工具

1、PDF 在线转换 https://smallpdf.com/cn/pdf-tools 推荐理由&#xff1a;大部分的转换软件需要收费&#xff0c;要么功能不齐全&#xff0c;而开会员又用不了几次浪费钱&#xff0c;借用别人的又不安全。 这个网站它不需要登录或下载安装。而且提供的免费功能就能满足日常…...

编程新知 2025/9/22 22:15:11

【Linux】Linux 系统默认的目录及作用说明

博主介绍&#xff1a;✌全网粉丝23W&#xff0c;CSDN博客专家、Java领域优质创作者&#xff0c;掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域✌ 技术范围&#xff1a;SpringBoot、SpringCloud、Vue、SSM、HTML、Nodejs、Python、MySQL、PostgreSQL、大数据、物…...

编程新知 2025/9/23 1:39:34