当前位置： 首页 > article >正文

spark core编程之行动算子、累加器、广播变量

article 2026/1/26 1:36:15

一、RDD 行动算子

reduce：聚集 RDD 所有元素，先聚合分区内数据，再聚合分区间数据。

collect：在驱动程序中以数组形式返回数据集所有元素。

foreach：分布式遍历 RDD 元素并调用指定函数。

count：返回 RDD 中元素个数。

first：返回 RDD 中第一个元素。

take：返回 RDD 前 n 个元素组成的数组。

takeOrdered：返回 RDD 排序后的前 n 个元素组成的数组。

aggregate：分区数据通过初始值和分区内数据聚合，再和初始值进行分区间聚合

fold：折叠操作，是 aggregate 的简化版

countByKey：统计每种 key 的个数。

save 相关算子：将数据保存到不同格式文件

二、累加器

    聚合 Executor 端变量信息到 Driver 端。在 Driver 程序中定义的变量，在

    Executor 端的每个 Task 都会得到这个变量的一份新的副本，每个 task 更新这些副本的值后，传回 Driver 端进行 merge。

    自定义累加器实现 wordcount：先创建自定义累加器类，再调用注册使用

    三、广播变量

    高效分发较大只读对象，向所有工作节点发送一个较大的只读值，以供一个或多个 Spark 操作使用

    相关文章：

    spark core编程之行动算子、累加器、广播变量

    一、RDD 行动算子 reduce：聚集 RDD 所有元素，先聚合分区内数据，再聚合分区间数据。 collect：在驱动程序中以数组形式返回数据集所有元素。 foreach：分布式遍历 RDD 元素并调用指定函数。 count：返回 RDD…...

    编程日记 2026/1/9 2:16:23

    提高课：数据结构之树状数组

    1&#xff0c;楼兰图腾 #include<iostream> #include<cstring> #include<cstdio> #include<algorithm>using namespace std;typedef long long LL;const int N 200010;int n; int a[N]; int tr[N]; int Greater[N], lower[N];int lowbit(int x) {ret…...

    编程日记 2026/1/9 23:10:01

    基于javaweb的SpringBoot新闻视频发布推荐评论系统（源码+部署文档）

    技术范围&#xff1a;SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容&#xff1a;免费功能设计、开题报告、任务书、中期检查PPT、系统功能实现、代码编写、论文编写和辅导、论文…...

    编程日记 2026/1/9 16:06:59

    使用Go语言实现自动清理应用系统日志

    在服务器上部署业务应用系统&#xff0c;每天都会产生大量的日志&#xff0c;随着时间的推移&#xff0c;日志越积累越多&#xff0c;占用了大量的磁盘空间&#xff0c;除了可以手动清理日志外&#xff0c;还可以通过程序实现自动清理日志。 之所以选择Go语言&#xff0c;是因…...

    编程日记 2025/11/27 22:30:06

    机器学习之PCA主成分分析详解

    文章目录 引言一、PCA的概念二、PCA的基本数学原理2.1 内积与投影2.2 基2.3 基变换2.4 关键问题及优化目标2.5 方差2.6 协方差2.7 协方差矩阵2.8 协方差矩阵对角化 三、PCA执行步骤总结四、PCA计算实例五、PCA参数解释六、代码实现七、PCA的优缺点八、总结 引言 在机器学习领域…...

    编程日记 2026/1/11 23:54:27

    回溯——固定套路 | 面试算法12道

    目录 输出二叉树所有路径 路径总和问题 组合总和问题 分割回文串 子集问题 排列问题 字母大小写全排列 单词搜索 复原IP地址 电话号码问题 括号生成问题 给我一种感觉是回溯需要画图思考是否需要剪枝。 元素个数n相当于树的宽度&#xff08;横向&#xff09;&#x…...

    编程日记 2026/1/9 10:18:01

    【11】Strongswan processor 详解1

    processor_t结构体&#xff0c;声明了一些公用方法&#xff1a; get_total_threads获取总的线程数量&#xff1b; get_idle_threads获取空闲线程数量&#xff1b; get_working_threads按指定的优先级获取处理该优先级的job的线程数量&#xff1b; get_job_load 或取指定优先级j…...

    编程日记 2025/11/27 19:12:27

    Maven和MyBatis学习总结

    目录 Maven 1.Maven的概念&#xff1a; 2.在具体的使用中意义&#xff1a; 3.与传统项目引入jar包做对比&#xff1a; 传统方式&#xff1a; 在maven项目当中&#xff1a; 4.在创建maven项目后&#xff0c;想要自定义一些maven配置 5.maven项目的结构 6.maven指令的生…...

    编程日记 2026/1/9 16:09:01

    普通通话CSFB方式（2g/3g）

    一、CSFB的触发条件 当模块&#xff08;或手机&#xff09;驻留在 4G LTE网络 时&#xff0c;若发生以下事件&#xff0c;会触发CSFB流程&#xff1a; 主叫场景&#xff1a;用户主动拨打电话。被叫场景&#xff1a;接收到来电&#xff08;MT Call&#xff09;。紧急呼叫&…...

    编程日记 2025/11/28 15:41:33

    揭开人工智能与机器学习的神秘面纱：开发者的视角

    李升伟 编译 人工智能&#xff08;AI&#xff09;和机器学习&#xff08;ML&#xff09;早已不再是空洞的流行语——它们正在彻底改变我们构建软件、做出决策以及与技术互动的方式。无论是自动化重复性任务&#xff0c;还是驱动自动驾驶汽车&#xff0c;AI/ML都是现代创新的核…...

    编程日记 2025/11/29 18:29:01

    AndroidTV 当贝播放器-v1.5.2-官方简洁无广告版

    AndroidTV 当贝播放器 链接&#xff1a;https://pan.xunlei.com/s/VONXRf0g3cT0ECVt6GEsoODFA1?pwds4qv# AndroidTV 当贝播放器-v1.5.2-官方简洁无广告版...

    编程日记 2026/1/18 20:12:06

    BERT - MLM 和 NSP

    本节代码将实现BERT模型的两个主要预训练任务&#xff1a;掩码语言模型&#xff08;Masked Language Model, MLM&#xff09; 和 下一句预测&#xff08;Next Sentence Prediction, NSP&#xff09;。 1. create_nsp_dataset 函数 这个函数用于生成NSP任务的数据集。 def cr…...

    编程日记 2026/1/19 5:12:28

    Python生成exe

    其中的 -w 参数是 PyInstaller 用于窗口模式&#xff08;Windowed mode&#xff09;&#xff0c;它会关闭命令行窗口的输出&#xff0c;这通常用于 图形界面程序&#xff08;GUI&#xff09;&#xff0c;比如使用 PyQt6, Tkinter, PySide6 等。 所以&#xff1a; 如果你在没有…...

    编程日记 2026/1/11 17:11:51

    MySql 自我总结

    目录 1. 数据库约束 1.1约束类型 2. 表的设计 2.1 一对一 2.2 一对多 2.3 多对多 3. 新增 4. 查询 4.1 聚合查询 4.2 GROUP BY 4.3 HAVING 4.4 联合查询 4.5 内连接 4.5.1 内连接的核心概念 4.5.2 内连接的语法 4.5.3 ON 与 WHERE 的区别 4.6 自连接 4.6.1 定…...

    编程日记 2026/1/22 14:07:03

    uni-app app 安卓和ios防截屏

    首先可参考文档 uni.setUserCaptureScreen 这里需要在项目中引入这个插件 uni-usercapturescreen - DCloud 插件市场 否则会报错，在需要防止截屏录屏的页面中，加入 uni.setUserCaptureScreen({enable: false,success() {console.log(全局截屏录屏功能已禁用);},fail(err)…...

    编程日记 2026/1/9 16:27:21

    Android Input——查找并添加目标窗口（七）

    在 Android 输入系统中，InputDispatcher 的核心职责之一是将输入事件正确地传递到目标窗口。上一篇文章我们介绍到 InputDispatcher 事件分发调用到 findFocusedWindowTargetsLocked() 函数查找焦点窗口，并将焦点窗口添加到目标窗口，这里我们继续往下看。 一、获取焦点窗口…...

    编程日记 2025/11/27 0:48:26

    ruby内置全局变量

    以下是 Ruby 中常见的 内置全局变量 及其用途的详细说明。这些变量以 $ 开头&#xff0c;由 Ruby 解释器自动管理&#xff0c;用于访问系统状态、异常、输入输出等核心信息。 一、异常处理相关 全局变量说明示例$!当前作用域最后抛出的异常对象&#xff08;等同于 rescue >…...

    编程日记 2025/11/26 21:14:50

    pytorch查询字典、列表维度

    输出tensor变量维度 print(a.shape)输出字典维度 for key, value in output_dict.items():if isinstance(value, torch.Tensor):print(f"{key} shape:", value.shape)输出列表维度 def get_list_dimensions(lst):# 基线条件&#xff1a;如果lst不是列表&#xff0…...

    编程日记 2025/11/27 1:49:50

    【Go】windows下的Go安装与配置，并运行第一个Go程序

    【Go】windows下的Go安装与配置&#xff0c;并运行第一个Go程序 安装环境&#xff1a;windows10 64位 安装版本&#xff1a;go1.16 windows/amd64 一、安装配置步骤 1.到官方网址下载安装包 https://golang.google.cn/dl/ 默认情况下 .msi 文件会安装在 c:\Go 目录下。可自行配…...

    编程日记 2026/1/9 16:18:48

    Windows上使用Qt搭建ARM开发环境

    在 Windows 上使用 Qt 和 g++-arm-linux-gnueabihf 进行 ARM Linux 交叉编译（例如针对树莓派或嵌入式设备），需要配置 交叉编译工具链 和 Qt for ARM Linux。以下是详细步骤： 1. 安装工具链 方法 1：使用 MSYS2（推荐） MSYS2 提供 mingw-w64 的 ARM Linux 交叉编译工具链…...

    编程日记 2026/1/20 19:25:25

    CNN（卷积神经网络）

    什么是CNN CNN&#xff08;卷积神经网络&#xff09;&#xff0c;是通过提取特征来压缩计算的一个网络结构&#xff0c;主要由卷积层、池化层、全连接层组成。 卷积层 在卷积层中&#xff0c;通过卷积核的移动对不同的区域提取特征生成一个新的矩阵&#xff0c;比如一个原始…...

    编程日记 2026/1/18 16:41:28

    Linux 内核网络协议栈中的 struct packet_type：以 ip_packet_type 为例

    在 Linux 内核的网络协议栈中，struct packet_type 是一个核心数据结构，用于注册特定协议类型的数据包处理逻辑。它定义了如何处理特定协议的数据包，并通过协议类型匹配机制实现协议分发。本文将通过分析 ip_packet_type 的定义和作用，深入探讨其在网络协议栈中的重要性。 …...

    编程日记 2026/1/9 4:15:03

    网络问题之TCP/UDP协议

    1. TCP是什么&#xff1f; TCP&#xff08;Transmission Control Protocol&#xff0c;传输控制协议&#xff09;是互联网核心协议之一&#xff0c;属于传输层协议&#xff0c;为应用程序提供可靠的、面向连接的字节流服务。 基本特性 可靠性&#xff1a;通过确认机制、重传机…...

    编程日记 2026/1/19 9:21:38

    vue3腾讯云直播 前端拉流（前端页面展示直播）

    1、引入文件&#xff0c;在index.html <link href"https://tcsdk.com/player/tcplayer/release/v5.3.2/tcplayer.min.css" rel"stylesheet" /><!--播放器脚本文件--><script src"https://tcsdk.com/player/tcplayer/release/v5.3.2/t…...

    编程日记 2026/1/17 18:01:29

    【MYSQL从入门到精通】数据库基础操作、数据类型

    目录 一些基础操作语句 创建库名 选择要操作的数据库 删除数据库 磁盘中删除文件的原理 数据库安全的各种措置 查看MYSQL的帮助 数值类型 字符串类型 日期类型 一些基础操作语句 1.使用客户端工具连接数据库服务器&#xff1a;mysql -uroot -p 2.查看所有数据库&am…...

    编程日记 2026/1/17 18:15:01

    JS里对于集合的简单介绍

    JS的集合 前言一、集合二、基本使用1. 创建集合2. 添加元素3. 删除元素4. 检查元素5. 清空集合6. 集合的大小 三、扩展使用1. 遍历集合2. 从数组创建集合3. 集合的应用场景 四、总结 前言 JS里对于集合的简单介绍 同数学的集合&#xff0c;有无序性、唯一性 注意&#xff1a;…...

    编程日记 2026/1/23 6:05:33

    论文阅读笔记——Multi-Token Attention

    MTA 论文 在 Transformer 中计算注意力权重时&#xff0c;仅依赖单个 Q 和 K 的相似度&#xff0c;无法有效捕捉多标记组合信息。&#xff08;对于 A、B 两个词&#xff0c;单标记注意力需要分别计算两个词的注意力分数&#xff0c;再通过后处理定位共同出现的位置或通过多层隐…...

    编程日记 2026/1/20 4:06:21

    Sql with as 语句

    在SQL查询中&#xff0c;经常会遇到需要重复使用的子查询。为了简化查询语句并提高可读性&#xff0c;SQL引入了WITH AS语法。通过使用WITH AS&#xff0c;我们可以创建临时表或视图&#xff0c;将子查询的结果保存起来&#xff0c;并在主查询中使用。本文将通过示例介绍SQL中W…...

    编程日记 2025/11/27 1:51:23

    vue3 antdesign table表格特定单元格背景变色

    效果&#xff1a; <a-table :columns"columnsAll" :data-source"tableAllData"bordered size"middle" :scroll"{ x: 100,y: 600 }" :pagination"false"style"margin: 0 10px 10px 10px;" ><template #…...

    编程日记 2026/1/23 2:20:49

    【C语言】--- 编译和链接

    编译和链接 1. 翻译环境和运行环境2. 翻译环境2.1 预处理2.2 编译2.2.1 词法分析2.2.2 语法分析2.2.3 语义分析 2.3 汇编2.4 链接 3. 运行环境 1. 翻译环境和运行环境 计算机只能运行二进制指令&#xff0c;所以我们的.c的文本程序需要先翻译为二进制程序才能被计算机执行。在…...

    编程日记 2026/1/21 13:45:10