当前位置： 首页 > news >正文

【03】深度学习——神经网络原理 | 多层感知机 | 前向传播和反向传播 | 多层感知机代码实现 | 回归问题、分类问题 | 多分类问题代码实现

news 2026/1/3 10:58:51

深度学习

  • 1.神经网络原理
    • 1.1神经元模型
    • 1.2神经网络结构
    • 1.3隐藏层
      • 1.3.1激活函数层
    • 1.4输出层
      • 1.4.1softmax层
    • 1.5损失函数
    • 1.6反向传播
  • 2.多层感知机
    • 2.1线性网络的局限性
    • 2.2引入非线性
    • 2.3多层感知机（Multi-Layer Perceptron，MLP）
    • 2.4激活函数（Activation Function）
      • 2.4.1Sigmoid函数
      • 2.4.2Tanh函数
      • 2.4.3ReLU函数
      • 2.4.4Softmax函数
  • 3.前向传播和反向传播
    • 3.1前向传播
    • 3.2损失函数
    • 3.3反向传播
      • 3.3.1反向传播原理
      • 3.3.2最小化损失函数
  • 4.多层感知机代码实现
    • 4.1MNIST数据集
    • 4.2Pytorch搭建神经网络
      • 4.2.1导入数据
      • 4.2.2创建网络结构
      • 4.2.3定义损失函数
      • 4.2.4创建优化器
      • 4.2.5训练模型
      • 4.2.6测试模型
      • 4.2.7保存模型参数
  • 5.回归问题
    • 5.1一元线性回归
    • 5.2多元线性回归
    • 5.3多项式回归
    • 5.4线性回归代码实现
      • 5.4.1数据生成
      • 5.4.2设置超参数
      • 5.4.3初始化参数
      • 5.4.3开始训练
      • 5.4.4可视化
      • 5.4.5利用Pytorch实现线性回归
  • 6.分类问题
    • 6.1分类任务的定义
    • 6.2机器学习算法流程
    • 6.3多分类问题的数学表示
    • 6.4Softmax回归
    • 6.4损失函数
      • 6.4.1对数损失函数
      • 6.4.2交叉熵损失函数
  • 7.多分类问题代码实现
    • 7.1加载MNIST数据集
    • 7.2数据加载器
    • 7.3构建网络
    • 7.4定义损失函数和优化器
    • 7.5模型评估
    • 7.6模型训练

1.神经网络原理

1.1神经元模型

  神经网络是一种数学模型，下图是一个最简单的神经元，通常用带有输入输出的圆圈来表示，虽然其名为神经元，但是其内在是线性模型。
在这里插入图片描述
  神经元模型用数学公式表示为 y = f ( ∑ i = 1 n

相关文章：

【03】深度学习——神经网络原理 | 多层感知机 | 前向传播和反向传播 | 多层感知机代码实现 | 回归问题、分类问题 | 多分类问题代码实现

深度学习 1.神经网络原理1.1神经元模型1.2神经网络结构1.3隐藏层1.3.1激活函数层1.4输出层1.4.1softmax层1.5损失函数1.6反向传播2.多层感知机2.1线性网络的局限性2.2引入非线性2.3多层感知机（Multi-Layer Perceptron，MLP）2.4激活函数（Activation Function）2.4.1Sigmoid函…...

编程日记 2024/9/16 8:13:54

MySQL行锁的实践

在MySQL中，根据加锁的粒度，可以将数据库的锁细分为表锁、行锁、页锁。其中，表锁(Table Lock)是一种粗粒度的锁，它锁定整个表，阻止其他事务访问表中的任何行；行锁(Row Lock)是一种细粒度的锁，它锁…...

编程日记 2024/9/16 8:11:52

iOS 18 將在 9 月 16 日正式上線

現在有了正式的上線日期了。一如往常的，它會在 iPhone 16 系列正式推出前的 9 月 16 日先行上線。 iOS 18 最受矚目的無疑是它的 Apple Intelligence 功能，不過並非所有的 iPhone 機種都能享用，而是只有去年的 iPhone 15 Pro 和 Pro Max 才能…...

编程日记 2024/9/16 8:10:51

css选择器有几种？选择器的优先级是怎样的？

CSS选择器的主要分类 元素选择器（Type Selectors）：选择HTML文档中的特定类型的元素。 示例：p { color: red; } 类选择器（Class Selectors）：选择具有指定类名的元素。 示例：.myClass …...

编程日记 2024/9/16 8:08:49

果蔬识别系统性能优化之路（四）

目录 前情提要剩下问题 问题排查解决方案下一步 前情提要 果蔬识别系统性能优化之路（三） 剩下问题 同步数据库数据并初始化ivf依然要8,9秒 问题排查 通过断点加时间打印，发生其实初始化ivf的时间很快，慢的是数据在网络间的传…...

编程日记 2024/9/16 8:05:45

kafka之protobuf

Protobuf 的 .proto 文件是一种描述消息结构的定义文件，使用这种文件可以定义数据结构（消息），然后生成对应语言的类或代码用于序列化和反序列化数据。生成 .proto 文件涉及到编写 .proto 文件定义，然后通过 protoc 编译…...

编程日记 2024/9/16 8:01:40

BARTBERT

BART和BERT都是基于Transformer架构的预训练语言模型。 模型架构： BERT (Bidirectional Encoder Representations from Transformers) 主要是一个编码器（Encoder）模型，它使用了Transformer的编码器部分来处理输入的文本&#xff0…...

编程日记 2024/9/16 7:58:37

C++ 11新特性（1）

文章目录 C11新特性之auto和decltype知识点autoauto推导规则什么时候使用auto？ decltypedecltype推导规则 auto和decltype的配合使用 C11新特性之左值引用、右值引用、移动语义、完美转发左值、右值纯右值、将亡值纯右值将亡值左值引用、右值引用 移动语义深拷贝、浅…...

编程日记 2024/9/16 7:54:32

彻底理解浅拷贝和深拷贝

目录 浅拷贝实现 深拷贝实现自己手写 浅拷贝 浅拷贝是指创建一个新对象，这个对象具有原对象属性的精确副本 基本数据类型（如字符串、数字等），在浅拷贝过程中它们是通过值传递的，而不是引用传递，修改值并不…...

编程日记 2024/9/16 7:53:31

Spring4-IoC2-基于注解管理bean

目录 开启组件扫描 使用注解定义bean Autowired注入 场景一：属性注入 场景二：set注入 场景三：构造方法注入 场景四：形参注入 场景五：只有一个构造函数，无注解 场景六：Autowired和Quali…...

编程日记 2024/9/16 7:51:29

AI基础 L22 Uncertainty over Time I 时间的不确定性

Time and Uncertainty 1 Time and Uncertainty States and Observations • discrete-time models: we view the world as a series of snapshots or time slices • the time interval ∆ between slices, we assume to be the same for every interval • Xt: denotes the se…...

编程日记 2024/9/16 7:48:20

中小型企业网络构建

1 什么是 VLAN？ VLAN，指的是虚拟局域网，是一种 2 层技术。可以在交换机上实现广播域的隔离。从而可以减小 数据广播风暴对交换网络的影响，降低了网络管理难度，同时可以实现网络规模的灵活扩展。 2 Trunk 链路与 Acces…...

编程日记 2024/9/16 7:47:19

PXE服务

一.PXE服务的功能介绍 1.无盘启动：PXE允许计算机在没有本地存储设备的情况下启动操作系统。这对于构建无盘工作站非常有用，因为计算机可以直接从网络加载操作系统和其他应用程序1。 2.远程安装操作系统：PXE技术可以用于远程安装操作系统&…...

编程日记 2024/9/16 7:45:17

Docker技术深度解析与实践应用

Docker技术深度解析与实践应用 引言 在现代软件开发与部署的浪潮中，Docker作为一种轻量级的容器化技术，凭借其高效、一致和灵活的特性，逐渐成为云原生应用开发和部署的基石。本文将深入探讨Docker的核心概念、技术原理、实践应用&#xff0…...

编程日记 2024/9/16 7:44:16

链动321模式小程序开发源码

链动31模式概述 链动31模式是一种基于技术的新型商业模式，它通过激励用户分享和推广，实现用户、企业和平台的共赢。该模式通常涉及商品展示、积分系统、分享推广和排行榜等功能，旨在通过用户之间的社交裂变来扩大销售和品牌影响力。如何开发这…...

编程日记 2024/9/16 7:43:15

java开发中间件学习记录（持续更新中~）

1 Redis 2JVM 3 java基础底层 4Mysql 5 spring 6 微服务 7.......(持续更新) One:Redis篇 1:Redis 1.穿透 1.1缓存穿透 1.1.1布隆过滤器 1.2缓存击穿 2：击穿 1.3：缓存雪崩 1.4:双写一致 1.5.持久化（RDB,AOF） 1.6…...

编程日记 2024/9/16 7:42:14

（批处理）无限弹窗cmd

代码部分 echo off echo 好了，可以退出了 pause>nul echo 再点就要无限弹窗了！ pause >nul echo 你还点？ pause >nul echo 再给你最后一次机会，别点了，再点准备重启 pause >nul echo 点击任意键变身奥特曼…...

编程日记 2024/9/16 7:40:12

解决ubuntu 24.04 ibus出现卡死、高延迟问题

问题描述 ubuntu中使用ibus经常会出现卡死、高延迟的问题，网上找了一些解决方法就手动输入命令是重启。但是键盘卡死了没法输入，不能很有效的解决问题。 解决思路 通过一个bash脚本监测ibus进程，当出现进程卡死的时候自动重启。 bash代码…...

编程日记 2024/9/16 7:39:11

减少脏页标记技术中处理时间的方法

减少脏页标记技术中处理时间的方法 一、引言 在数据库系统中，脏页标记技术对于确保数据的一致性和持久性至关重要。然而，脏页标记过程可能会消耗一定的处理时间，影响数据库的性能。因此，寻找有效的方法来减少脏页标记技术中的处理时间具有重要意义。 二、优化数据结构 …...

编程日记 2024/9/16 7:38:10

828华为云征文 | 华为云Flexusx与Docker技术融合，打造个性化WizNote服务

前言 华为云Flexus X实例携手Docker技术，创新融合打造高效个性化WizNote服务。华为云Flexus X实例的柔性算力与Docker的容器化优势相结合，实现资源灵活配置与性能优化，助力企业轻松构建稳定、高效的云端笔记平台。828华为云企业上云节特惠来袭…...

编程日记 2024/9/16 7:37:09

linux之kylin系统nginx的安装

一、nginx的作用 1.可做高性能的web服务器 直接处理静态资源（HTML/CSS/图片等），响应速度远超传统服务器类似apache支持高并发连接 2.反向代理服务器 隐藏后端服务器IP地址，提高安全性 3.负载均衡服务器 支持多种策略分发流量…...

编程新知 2026/1/3 2:50:18

React Native 导航系统实战（React Navigation）

导航系统实战（React Navigation） React Navigation 是 React Native 应用中最常用的导航库之一，它提供了多种导航模式，如堆栈导航（Stack Navigator）、标签导航（Tab Navigator）和抽屉…...

编程新知 2025/10/15 5:04:46

Java-41 深入浅出 Spring - 声明式事务的支持 事务配置 XML模式 XML+注解模式

点一下关注吧！！！非常感谢！！持续更新！！！ 🚀 AI篇持续更新中！（长期更新） 目前2025年06月05日更新到： AI炼丹日志-28 - Aud…...

编程新知 2025/12/28 15:16:27

多种风格导航菜单 HTML 实现（附源码）

下面我将为您展示 6 种不同风格的导航菜单实现&#xff0c;每种都包含完整 HTML、CSS 和 JavaScript 代码。 1. 简约水平导航栏 <!DOCTYPE html> <html lang"zh-CN"> <head><meta charset"UTF-8"><meta name"viewport&qu…...

编程新知 2025/12/17 14:12:41

高防服务器能够抵御哪些网络攻击呢？

高防服务器作为一种有着高度防御能力的服务器&#xff0c;可以帮助网站应对分布式拒绝服务攻击&#xff0c;有效识别和清理一些恶意的网络流量&#xff0c;为用户提供安全且稳定的网络环境&#xff0c;那么&#xff0c;高防服务器一般都可以抵御哪些网络攻击呢&#xff1f;下面…...

编程新知 2025/9/3 19:14:38

tree 树组件大数据卡顿问题优化

问题背景 项目中有用到树组件用来做文件目录&#xff0c;但是由于这个树组件的节点越来越多&#xff0c;导致页面在滚动这个树组件的时候浏览器就很容易卡死。这种问题基本上都是因为dom节点太多&#xff0c;导致的浏览器卡顿&#xff0c;这里很明显就需要用到虚拟列表的技术&…...

编程新知 2026/1/1 10:28:21

return this；返回的是谁

一个审批系统的示例来演示责任链模式的实现。假设公司需要处理不同金额的采购申请&#xff0c;不同级别的经理有不同的审批权限&#xff1a; // 抽象处理者&#xff1a;审批者 abstract class Approver {protected Approver successor; // 下一个处理者// 设置下一个处理者pub…...

编程新知 2025/10/16 22:41:12

基于Java+VUE+MariaDB实现（Web）仿小米商城

仿小米商城 环境安装 nodejs maven JDK11 运行 mvn clean install -DskipTestscd adminmvn spring-boot:runcd ../webmvn spring-boot:runcd ../xiaomi-store-admin-vuenpm installnpm run servecd ../xiaomi-store-vuenpm installnpm run serve 注意&#xff1a;运行前…...

编程新知 2026/1/1 0:50:04

在 Spring Boot 中使用 JSP

jsp&#xff1f; 好多年没用了。重新整一下 还费了点时间&#xff0c;记录一下。 项目结构&#xff1a; pom: <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://ww…...

编程新知 2025/12/30 23:30:50

认识CMake并使用CMake构建自己的第一个项目

1.CMake的作用和优势 跨平台支持&#xff1a;CMake支持多种操作系统和编译器&#xff0c;使用同一份构建配置可以在不同的环境中使用 简化配置&#xff1a;通过CMakeLists.txt文件&#xff0c;用户可以定义项目结构、依赖项、编译选项等&#xff0c;无需手动编写复杂的构建脚本…...

编程新知 2025/12/25 3:20:24