激活函数、向前传播、损失函数、梯度下降
激活函数
作用：主要引入了非线性。从而能解决很复杂的非线性关系。能更好地处理现实世界的数据和任务。
向前传播
向前传播描述了，神经网络中，输入层到输出层的信号传播和处理过程。输入层将特征数据输入，加权求和，然后通过激活函数引入非线性，然后得到输出。输出到隐藏层。
隐藏层的输入就是输入层的输入。隐藏层经过多层传递，最后到输出层。
输出层将隐藏层的输出作为输入。经过加权和偏置，然后求和。然后传递给激活函数，激活函数将数据映射成非线性的。最后输出。输出结果得到的就是预测结果。将预测结果放入损失函数，计算损失值。
损失函数
损失函数就是计算预测值与实际值之间的差距。不同的任务需要使用不同类型的损失函数：
均方误差：回归任务
交叉熵损失：分类任务
对数损失：二分类问题
Hinge loss：衡量分类边界与正确分类间隔的差异。
梯度下降
梯度下降是我们深度学习最常用的优化手段。用于调整模型参数到损失函数值到 最小。主要步骤如下：
1、初始化参数
2、计算损失函数
3、计算梯度
4、调整参数
5、重复迭代，直至损失函数收敛
梯度下降的类型:
1、批量梯度下降：准确，效率低
2、随机梯度下降：不准确，效率高
3、小批量梯度下降：较准确，效率高
相关文章：
激活函数、向前传播、损失函数、梯度下降
激活函数 作用：主要引入了非线性。从而能解决很复杂的非线性关系。能更好地处理现实世界的数据和任务。 向前传播 向前传播描述了，神经网络中，输入层到输出层的信号传播和处理过程。输入层将特征数据输入，加权求和，…...
three.js - MeshStandardMaterial（标准网格材质）- 金属贴图、粗糙贴图
金属贴图、粗糙贴图 金属贴图：metalnessMap 和 粗糙贴图：roughnessMap，是用于模拟物体表面属性的两种重要贴图技术，这两种贴图，通常与基于物理的渲染（PBR）材质（如：MeshSt…...
算法-位图与底层运算逻辑
文章目录 1. 位图的理论基础2. 完整版位图实现3. 底层的运算逻辑-位运算 1. 位图的理论基础 首先我们要理解什么是位图, 位图的一些作用是什么 位图法就是bitmap的缩写。所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又…...
黑马点评-Redis的缓存击穿，缓存雪崩，缓存穿透，互斥锁，逻辑过期
文章目录 1.缓存穿透2.缓存雪崩3.缓存击穿3.1 互斥锁3.2 基于逻辑过期 1.缓存穿透 解决办法 写入NULL值到Redis缓存，以后就会命中Redis的控制缓存而不会出现请求直接打到数据库的问题！ 代码 2.缓存雪崩 这个概念很好理解，雪崩就是无数的…...
8624 多项式系数累加和
这个问题可以通过使用数学的导数规则来解决。对于一个多项式，它的导数可以通过将每一项的系数乘以它的指数，然后降低该项的指数来得到。这个过程可以重复M次来得到多项式的M阶导数。然后，我们可以简单地将所有项的系数相加来得到结果。 以下…...
使用 C# 和 OpenXML 读取大型 Excel 文件
介绍 高效读取大型 Excel 文件可能具有挑战性，尤其是在处理需要高性能和可扩展性的应用程序时。Microsoft 的 OpenXML SDK 提供了一套强大的工具来处理 Office 文档（包括 Excel 文件），而无需在服务器上安装 Excel。本文将指导您使…...
【基于R语言群体遗传学】-5-扩展到两个以上等位基因及多基因位点
我们现在继续对于群体遗传学进行统计建模，书接上回，我们讨论了孤雌生殖的物种违反哈代温伯格遗传比例的例子，那我们现在来看多于两个等位基因的情况的计算。 如果没有看过之前文章的同学，可以先去看一下之前的文章： …...
重采样（上采样或下采样）是什么？
重采样（Resampling）是在数据处理中常用的一种技术，主要用于处理数据集中的不平衡问题。具体来说，重采样可以分为上采样（Oversampling）和下采样（Undersampling），它们分别是…...
AI与Python共舞：如何利用深度学习优化推荐系统？（2）
推荐系统的前世今生 推荐系统的历史可以追溯到20世纪90年代，从最初的基于内容过滤和协同过滤，到现在融合了机器学习甚至是深度学习的混合型推荐，其目标始终如一：更精准、更个性化地为用户推荐内容。随着Python的普及，…...
ChatGPT：Java中的对象引用实现方式
ChatGPT：Java中的对象引用实现方式 如果使用句柄的话，那么 Java 堆中将会划分出一块内存来作为句柄池，reference 中存储的就是对象的句柄地址，而句柄中包含了对象实例数据与对象类型数据各自的具体地址信息。 你提到的句柄机制是…...
云渗透实战手册：云API攻防之云服务端点侦查
在云计算环境中的渗透，与传统渗透相比，新增加了许多新的攻击面，同时也因为云计算的特点我们需要转变渗透的思维，用云计算的方式去思考云渗透。 基础知识 在云渗透开始之前，我们需要首先阐述标题中提到的云服务端点概…...
PHP 爬虫之使用 Curl库抓取淘宝商品列表数据网页的方法
使用 PHP 的 cURL 库来抓取淘宝商品列表数据网页需要谨慎，因为淘宝等电商平台通常会有反爬虫机制，以防止数据被滥用。然而，如果你只是出于学习目的，并且了解并遵守了淘宝的robots.txt文件和相关的使用条款，你可以尝试使…...
Python基础小知识问答系列-可迭代型变量赋值
1. 问题： 怎样简洁的把列表中的元素赋值给单个变量？ 当需要列表中指定几个值时，剩余的变量都收集在一起，该怎么进行变量赋值？ 当只需要列表中指定某几个值，其他值都忽略时，该怎么…...
主流 Canvas 库对比：Fabric.js、Konva.js 和 Pixi.js
在前端开发中，HTML5 Canvas 是一个强大的工具，可以用来创建图形、动画和各种视觉效果。为了简化和增强 Canvas 的使用，社区中出现了许多库。本文将对比三种主流的 Canvas 库：Fabric.js、Konva.js 和 Pixi.js，分析它们的…...
backbone是什么？
在深度学习中，特别是计算机视觉领域，"backbone"（骨干网络）是指用于提取特征的基础网络。它通常是卷积神经网络（CNN），其任务是从输入图像中提取高层次特征，这些特征然后被用…...
四十篇：内存巨擘对决：Redis与Memcached的深度剖析与多维对比
内存巨擘对决：Redis与Memcached的深度剖析与多维对比 1. 引言 在现代的系统架构中，内存数据库已经成为了信息处理的核心技术之一。这类数据库系统的高效性主要来源于其对数据的即时访问能力，这是因为数据直接存储在RAM中，而非传统…...
HTML5的多线程技术：Web Worker API
Web Workers API 是HTML5的一项技术，它允许在浏览器后台独立于主线程运行脚本，即允许进行多线程处理。这对于执行密集型计算任务特别有用，因为它可以防止这些任务阻塞用户界面，从而保持网页的响应性和交互性。Web Workers在自己的…...
Java | Leetcode Java题解之第206题反转链表
题目： 题解： class Solution {public ListNode reverseList(ListNode head) {if (head null || head.next null) {return head;}ListNode newHead reverseList(head.next);head.next.next head;head.next null;return newHead;} }...
660错题
不能局部求导，局部洛必达...
GAMES104：04游戏引擎中的渲染系统1：游戏渲染基础-学习笔记
文章目录 概览：游戏引擎中的渲染系统四个课时概览 一，渲染管线流程二，了解GPUSIMD 和 SIMTGPU 架构CPU到GPU的数据传输GPU性能限制 三，可见性Renderable可渲染对象提高渲染效率Visibility Culling 可见性裁剪 四，纹理压…...
Lombok 的 @Data 注解失效，未生成 getter/setter 方法引发的HTTP 406 错误
HTTP 状态码 406 (Not Acceptable) 和 500 (Internal Server Error) 是两类完全不同的错误，它们的含义、原因和解决方法都有显著区别。以下是详细对比： 1. HTTP 406 (Not Acceptable) 含义： 客户端请求的内容类型与服务器支持的内容类型不匹…...
Leetcode 3576. Transform Array to All Equal Elements
Leetcode 3576. Transform Array to All Equal Elements 1. 解题思路2. 代码实现 题目链接：3576. Transform Array to All Equal Elements 1. 解题思路 这一题思路上就是分别考察一下是否能将其转化为全1或者全-1数组即可。 至于每一种情况是否可以达到…...
Cesium1.95中高性能加载1500个点
一、基本方式： 图标使用.png比.svg性能要好 <template><div id"cesiumContainer"></div><div class"toolbar"><button id"resetButton">重新生成点</button><span id"countDisplay&qu…...
基础测试工具使用经验
背景 vtune，perf, nsight system等基础测试工具，都是用过的，但是没有记录，都逐渐忘了。所以写这篇博客总结记录一下，只要以后发现新的用法，就记得来编辑补充一下 perf 比较基础的用法： 先改这…...
P3 QT项目----记事本（3.8）
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...
Linux云原生安全：零信任架构与机密计算
Linux云原生安全：零信任架构与机密计算 构建坚不可摧的云原生防御体系 引言：云原生安全的范式革命 随着云原生技术的普及，安全边界正在从传统的网络边界向工作负载内部转移。Gartner预测，到2025年，零信任架构将成为超…...
select、poll、epoll 与 Reactor 模式
在高并发网络编程领域，高效处理大量连接和 I/O 事件是系统性能的关键。select、poll、epoll 作为 I/O 多路复用技术的代表，以及基于它们实现的 Reactor 模式，为开发者提供了强大的工具。本文将深入探讨这些技术的底层原理、优缺点。 一、I…...
网站指纹识别
网站指纹识别 网站的最基本组成：服务器（操作系统）、中间件（web容器）、脚本语言、数据厍 为什么要了解这些？举个例子：发现了一个文件读取漏洞，我们需要读/etc/passwd，如…...
《C++ 模板》
目录 函数模板 类模板 非类型模板参数 模板特化 函数模板特化 类模板的特化 模板，就像一个模具，里面可以将不同类型的材料做成一个形状，其分为函数模板和类模板。 函数模板 函数模板可以简化函数重载的代码。格式：templa…...
Docker 本地安装 mysql 数据库
Docker: Accelerated Container Application Development 下载对应操作系统版本的 docker ；并安装。 基础操作不再赘述。 打开 macOS 终端，开始 docker 安装mysql之旅 第一步 docker search mysql 》〉docker search mysql NAME DE…...