当前位置： 首页 > article >正文

Spark内存迭代计算

article 2026/3/30 11:55:43

一、宽窄依赖

窄依赖：父RDD的一个分区数据全部发往子RDD的一个分区

宽依赖：父RDD的一个分区数据发往子RDD的多个分区，也称为shuffle

二、Spark是如何进行内存计算的？DAG的作用？Stage阶段划分的作用？

（1）Spark生成DAG图

（2）基于宽窄依赖对DAG图进行阶段划分

（3）每个stage内部都是窄依赖，窄依赖内，前后形成1：1的分区关系，一个stage的多个并行任务就成为了多个内存迭代计算管道

（4）这些内存迭代计算的管道，就是一个个具体的执行Task

（5）一个Task是一个具体的线程，任务跑在一个线程之中，就是走内存计算了。

相关文章：

Spark内存迭代计算

一、宽窄依赖 窄依赖：父RDD的一个分区数据全部发往子RDD的一个分区 宽依赖：父RDD的一个分区数据发往子RDD的多个分区，也称为shuffle 二、Spark是如何进行内存计算的？DAG的作用？Stage阶段划分的作用？ &a…...

编程日记 2026/3/2 17:50:55

数据库基础二（数据库安装配置）

打开MySQL官网进行安装包的下载 https://www.mysql.com/ 接着找到适用于windows的版本 下载版本 直接点击下载即可 接下来对应的内容分别是： 1：安装所有 MySQL 数据库需要的产品； 2：仅使用 MySQL 数据库的服务器； 3&a…...

编程日记 2026/3/13 19:31:17

HumanPro逼真角色皮肤面部动画Blender插件V1.1版

https://www.youtube.com/watch?vnmV_jzgpIPM 本插件是关于HumanPro逼真角色皮肤面部动画Blender插件V1.1版，大小：2.9 MB，支持Blender 4.0 - 4.3版软件，支持Win系统，语言：英语。RRCG分享 HumanPro 是一款…...

编程日记 2026/2/24 23:01:49

基于javaweb的SSM+Maven幼儿园管理系统设计和实现(源码+文档+部署讲解）

技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容：免费功能设计、开题报告、任务书、中期检查PPT、系统功能实现、代码编写、论文编写和辅导、论…...

编程日记 2026/3/26 0:36:59

PyTorch内存优化的10种策略总结：在有限资源环境下高效训练模型

在大规模深度学习模型训练过程中，GPU内存容量往往成为制约因素，尤其是在训练大型语言模型(LLM)和视觉Transformer等现代架构时。由于大多数研究者和开发者无法使用配备海量GPU内存的高端计算集群，因此掌握有效的内存优化技术变得尤为关键。本…...

编程日记 2026/3/23 20:27:27

SQL打折日期交叉问题

1. 数据结构：数据为平台商品促销数据 表名：good_promotion 字段名：brand（品牌）、stt（打折开始日期）、edt（打折结束日期）。 2. 需求： ① 创建表 ② 计算每个…...

编程日记 2025/3/21 15:53:51

【湖北省计算机信息系统集成协会主办，多高校支持 | ACM出版，EI检索，往届已见刊检索】第二届边缘计算与并行、分布式计算国际学术会议（ECPDC 2025)

第二届边缘计算与并行、分布式计算国际学术会议（ECPDC 2025）将于2025年4月11日至13日在中国武汉盛大召开。本次会议旨在为边缘计算、并行计算及分布式计算领域的研究人员、学者和行业专家提供一个高水平的学术交流平台。 随着物联网、云计算和大数据技术…...

编程日记 2026/3/24 15:17:37

硬件工程师入门教程

1.欧姆定律 测电压并联使用万用表测电流串联使用万用表，红入黑出 2.电阻的阻值识别 直插电阻 贴片电阻 3.电阻的功率 4.电阻的限流作用 限流电阻阻值的计算 单位换算关系 5.电阻的分流功能 6.电阻的分压功能 7.电容 电容简单来说是两块不连通的导体加上中间的绝…...

编程日记 2026/3/11 23:47:43

性能测试监控工具jmeter+grafana

1、什么是性能测试监控体系？ 为什么要有监控体系？ 原因： 1、项目-日益复杂（内部除了代码外，还有中间件，数据库） 2、一个系统，背后可能有多个软/硬件组合支撑，影响性能的因…...

编程日记 2026/3/26 12:45:00

DeepSeek如何快速开发PDF转Word软件

一、引言 如今，在线工具的普及让PDF转Word成为了一个常见需求，常见的PDF转Word工具有收费的WPS，免费的有PDFGear（详见：PDFGear:一款免费的PDF编辑、格式转化软件-CSDN博客），以及在线工具SmallP…...

编程日记 2026/3/1 13:13:34

目标检测——数据处理

1. Mosaic 数据增强 Mosaic 数据增强步骤: (1). 选择四个图像： 从数据集中随机选择四张图像。这四张图像是用来组合成一个新图像的基础。 (2) 确定拼接位置： 设计一个新的画布(输入size的2倍)，在指定范围内找出一个随机点（如…...

编程日记 2026/3/21 23:15:21

基于springboot+vue的拖恒ERP-物资管理

开发语言：Java框架：springbootJDK版本：JDK1.8服务器：tomcat7数据库：mysql 5.7（一定要5.7版本）数据库工具：Navicat11开发软件：eclipse/myeclipse/ideaMaven包：…...

编程日记 2026/3/14 12:15:58

python容器之常用操作

以列表list为例，这个list相当于c中的数组或vector容器。那列表有哪些常用的操作呢？ 获取列表的长度 list [1,2,3,4,5] //获取列表的长度 length len(list) 注意这里与c不同，c中的容器都是有各自的定义，每种容器类型都实现了自…...

编程日记 2026/1/6 2:30:14

spring结合mybatis多租户实现单库分表

实现单库分表-水平拆分 思路：student表数据量大，所以将其进行分表处理。一共有三个分表，分别是student0，student1，student2，在新增数据的时候，根据请求头中的meta-tenant参数决定数据存在哪张表…...

编程日记 2026/2/27 7:38:32

YoloV8改进策略：Block改进|CBlock，Transformer式的卷积结构|即插即用

摘要 论文标题: SparseViT: Nonsemantics-Centered, Parameter-Efficient Image Manipulation Localization through Spare-Coding Transformer 论文链接: https://arxiv.org/pdf/2412.14598 官方GitHub: https://github.com/scu-zjz/SparseViT 这段代码出自SparseViT ，代码如…...

编程日记 2026/3/17 12:30:31

微服务架构实践：SpringCloud与Docker容器化部署

## 微服务架构实践：SpringCloud与Docker容器化部署 随着互联网应用的复杂性不断增加，传统的单体应用架构面临着诸多挑战，如难以部署、维护困难、开发效率低下等问题凸显出来。为了解决这些问题，微服务架构应运而生，它通…...

编程日记 2026/3/14 11:07:03

如何从零开始理解LLM训练理论？预训练范式、模型推理与扩容技巧全解析

Part 1：预训练——AI的九年义务教育 📚 想象你往峨眉山猴子面前扔了1000本《五年高考三年模拟》-我那时候还在做的题（海量互联网数据），突然有一天它开口唱起《我在东北玩泥巴》，这有意思的过程就是LLM的预…...

编程日记 2026/1/7 5:49:09

[原创]openwebui解决searxng通过接口请求不成功问题

openwebui 对接 searxng 时 无法查询到联网信息，使用bing搜索，每次返回json是正常的 神秘代码： http://172.30.254.200:8080/search?q北京市天气&formatjson&languagezh&time_range&safesearch0&languagezh&locale…...

编程日记 2026/3/14 11:07:23

8 SpringBootWeb（下）：登录效验、异步任务和多线程、SpringBoot中的事务管理@Transactional

文章目录 案例-登录认证1. 登录功能1.1 需求1.2 接口文档1.3 思路分析1.4 功能开发1.5 测试2. 登录校验2.1 问题分析2.2 会话技术2.2.1 会话技术介绍2.2.2 会话跟踪方案2.2.2.1 方案一 - Cookie2.2.2.2 方案二 - Session2.2.2.3 方案三 - 令牌技术2.2.3 JWT令牌（Token）2.2.3.…...

编程日记 2026/3/11 16:20:20

2025年山东省职业院校技能大赛（高职组）“云计算应用”赛项赛卷1

“云计算应用”赛项赛卷1 2025年山东省职业院校技能大赛（高职组）“云计算应用”赛项赛卷1模块一 私有云（30分）任务1 私有云服务搭建（5分）1.1.1 基础环境配置1.1.2 yum源配置1.1.3 配置无秘钥ssh1.1.4 基础安…...

编程日记 2026/3/14 12:13:31

MySQL数据库基本概念

目录 什么是数据库 从软件角度出发 从网络角度出发 MySQL数据库的client端和sever端进程 mysql的client端进程连接sever端进程 mysql配置文件 MySql存储引擎 MySQL的sql语句的分类 数据库 库的操作 创建数据库 不同校验规则对查询的数据的影响 不区分大小写 区…...

编程日记 2026/3/16 15:28:21

塔能科技：工厂智慧照明，从底层科技实现照明系统的智能化控制

在全球节能减碳和智慧生活需求激增的背景下，基于“用软件定义硬件，让物联运维更简捷更节能”的产品理念，塔能科技的智慧照明一体化方案如新星般崛起，引领照明行业新方向。现在，我们来深入探究其背后的创新技术。该方案…...

编程日记 2026/3/21 3:48:12

P3398 仓鼠找 sugar【题解】

这是LCA的一个应用，关于LCA P3398 仓鼠找 sugar 题目描述 小仓鼠的和他的基（mei）友（zi）sugar 住在地下洞穴中，每个节点的编号为 1 ∼ n 1\sim n 1∼n。地下洞穴是一个树形结构。这一天小仓鼠打算从从他…...

编程日记 2026/3/27 18:16:46

解决VirtualBox - Error In supR3HardenedWinReSpawn报错

问题描述 VirtualBox7.1.6启动虚拟机时报错： Error In supR3HardenedWinReSpawn NtCreateFile(\Device\VBoxDrvStub) failed: 0xc000000034 STATUS_OBJECT_NAME_NOT_FOUND (0 retries) (rc-101) Make sure the kernel module has been loaded successfully.原因分…...

编程日记 2025/8/11 2:46:07

Android Trace埋点beginSection打tag标签，Kotlin

Android Trace埋点beginSection打tag标签，Kotlin import android.os.Bundle import android.os.Trace import android.util.Log import androidx.appcompat.app.AppCompatActivityclass ImageActivity : AppCompatActivity() {companion object {const val TRACE_TA…...

编程日记 2026/3/30 11:16:04

Linux上用C++和GCC开发程序实现两个不同MySQL实例下单个Schema稳定高效的数据迁移到其它MySQL实例

设计一个在Linux上运行的GCC C程序，同时连接三个不同的MySQL实例，其中两个实例中分别有两个Schema的表结构分别与第三实例中两个Schema个结构完全相同，同时复制两个实例中两个Schema里的所有表的数据到第三个实例中两个Schema里，使…...

编程日记 2025/8/11 22:41:30

Lua的table(表)

Lua表的基本概念 Lua中的表（table）是一种多功能数据结构，可以用作数组、字典、集合等。表是Lua中唯一的数据结构机制，其他数据结构如数组、列表、队列等都可以通过表来实现。 表的实现 Lua的表由两部分组成： 数组部分…...

编程日记 2026/3/29 22:55:59

51页精品PPT | 农产品区块链溯源信息化平台整体解决方案

PPT展示了一个基于区块链技术的农产品溯源信息化平台的整体解决方案。它从建设背景和需求分析出发，强调了农产品质量安全溯源的重要性以及国际国内的相关政策要求，指出了食品安全问题在流通环节中的根源。方案提出了全面感知、责任到人、定期考核和追溯反…...

编程日记 2026/3/29 12:08:01

Jenkins 自动打包项目镜像部署到服务器 ---（前端项目）

Jenkins 新增前端项目Job 指定运行的节点 选择部署运行的节点标签，dev标签对应开发环境 节点的远程命令执行配置 jenkins完整流程 配置源码 拉取 Credentials添加 触发远程构建 配置后可以支持远程触发jenkins构建（比如自建的CICD自动化发布平台&…...

编程日记 2026/3/21 3:03:31

使用AoT让.NetFramework4.7.2程序调用.Net8编写的库

1、创建.Net8的库&#xff0c;双击解决方案中的项目&#xff0c;修改如下&#xff0c;启用AoT&#xff1a; <Project Sdk"Microsoft.NET.Sdk"><PropertyGroup><OutputType>Library</OutputType><PublishAot>true</PublishAot>&…...

编程日记 2026/3/18 11:05:55