当前位置： 首页 > news >正文

走进Spark

news 2026/4/1 20:59:05
  • 什么是Spark
    • 是一个基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎，因为是基于内存的所以可以更快的完成任务
      • 离线计算:离线计算一般存储在HDFS中使用MapReduce或Hive处理，离线计算启动进程，处理完成后销毁进程
      • 实时计算：实时计算一般存储在消息队列中，使用Spark（DStream）或者Storm、Flink等其他实时计算框架，进程7*24小时运行都在
  • 应用场景
    • 大规模数据处理和分析
    • 流处理 ： Spark Streaming可以处理实时数据流，并将其转换为可供分析和存储的批处理数据。
    • 机器学习 ：Spark提供了机器学习库，可以支持各种机器学习算法和模型训练。
  • 特点
    • 快: Spark 计算速度是 MapReduce 计算速度的10-100倍
    • 易用: MapReduce 支持1种计算模型，Spark 支持更多的计算模型
    • 通用: Spark 能够进行离线计算、交互式查询（快速查询）、实时计算、机器学习、图计算
    • 兼容性：Spark 支持大数据中的 Yarn 调度，支持 mesos。可以处理 hadoop 计算的数据。
  • 架构组件
    • Spark Core: Spark 核心功能均由 Spark Core 模块提供，是 Spark 运行的基础。
    • Spark SQL:Spark 的 SQL 查询和分析引擎，它可以将结构化数据转换为 RDD 数据集，然后使用 Spark 的优化算法来执行查询。
    • Spark Streaming：Spark 的流处理引擎，它可以处理实时数据流并将其转换为 RDD 数据集，然后使用 Spark 的优化算法来执行查询。
    • Spark MLlib：机器学习库，它提供了一组 API，用于训练和部署机器学习模型。
    • Spark GraphX：的图计算库，它提供了一组 API，用于处理图数据
  • 工作原理
    • 应用程序初始化：Spark 应用程序首先在 driver 中初始化 SparkContext
    • 数据分区：Spark 将数据分成多个分区，然后在集群中的不同节点上并行处理这些分区。
    • 任务调度：Spark 的任务调度器将任务分配给可用的执行器。
    • 数据传输：Spark 将数据传输到执行器以进行处理。
    • 数据处理：执行器使用 RDD API 对数据进行处理。
    • 结果返回：执行器将结果返回到驱动程序。
  • 基本概念
    • RDD：弹性分布式数据集，是一种容错的、可以被并行操作的元素集合，是 Spark 对所有数据处理的一种基本抽象。
    • DAG：有向无环图，是 Spark 中最重要的一个概念之一，它描述了数据的依赖关系。
    • Transformation：转换操作，是 Spark 中最常用的一种操作，包括 map、filter、flatmap 等。
    • Action：动作操作，是 Spark 中最基本的一种操作，包括 count、collect、saveAsTextFile 等。
  • 常踩的坑
    • SparkSQL查询优化：SparkSQL是Spark的一个模块，它提供了一种标准化的查询语言，可以轻松操作存储在各种存储系统中的数据。但是，如果查询优化不当，也会影响程序的运行效率
    • 整合Hive报错: 解决方法是在spark-submit命令中添加上hive-site.xml配置文件。
    • 数据倾斜问题: Spark SQL 的执行过程中，由于某些 key 的数据量过大，导致这些 key 对应的 partition 中的数据量过大，从而使得这些 partition 的计算时间过长，从而影响整个查询的执行效率
      • 分区键的设计
      • 分桶
      • 哈希算法和随机数解决
    • Spark SQL 数据类型不匹配

相关文章：

走进Spark

什么是Spark 是一个基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎，因为是基于内存的所以可以更快的完成任务 离线计算:离线计算一般存储在HDFS中使用MapReduce或…...

编程日记 2023/10/15 5:09:07

“小程序：改变电商行业的新趋势“

目录 引言1. 小程序的简介1.1 什么是小程序？1.2 小程序的优势 2. 小程序之电商演示1.注册微信小程序2.安装开发工具3.创建项目 3. 小程序之入门案例总结 引言 随着移动互联网的迅猛发展，小程序作为一种全新的应用形态，正在逐渐改变着传统电商…...

编程日记 2023/10/15 5:06:04

Python与CAD系列基础篇（五）创建图案填充

目录 0 简述1 win32com2 ezdxf0 简述 本篇详细介绍使用①pyautocadpyautocad本质是调用接口连接autocad，由于此处未找到正确的填充函数，通过win32com库找到相应填充函数，测试发现更为好用，因此后续将用win32com代替pyautocad连接AutoCAD进行处理 ②通过ezdxf处理dxf格式文…...

编程日记 2023/10/15 5:05:02

终端仿真软件连接交换机调试步骤

背景： 通过一台电脑，连接交换机的console口进行命令行调试； 需要用到终端仿真软件以图形界面显示交换机的命令； 本文以华为交换机和华为提供的终端仿真软件IPOP V4.02为例，其他仿真软件应该类似，可模仿。…...

编程日记 2023/10/15 5:04:02

redis基本数据类型

一) 字符串(String) String是redis最基本的类型，value最大是512M，String类型是二进制安全的，可以包含任何数据，如jpg图片或者序列化的对象 1 使用场景 1) 缓存：redis作为缓存层，mysql做持久化层&#xff0…...

编程日记 2023/10/15 5:03:01

C++笔记之std::async的用法

C笔记之std::async的用法 code review! 文章目录 C笔记之std::async的用法1.概念2.C 异步任务的使用示例 - 使用 std::async 和 std::future3. std::launch::async 和 std::launch::deferred4.如果需要真正的异步，请指定std::launch::async 1.概念 std::async 是 …...

编程日记 2023/10/15 5:02:00

OpenCV4（C++）—— 图像连通域的详细分析

文章目录 前言一、connectedComponents函数二、connectedComponentsWithStats函数 前言 图像连通域，其实就是图像分割的一种方法。它通过检测像素之间的连接关系和相似性来划分图像中的区域，以便进行后续处理。图像邻域和图像邻域分析就不介绍了&#x…...

编程日记 2023/10/15 4:59:56

Rule-Engine-Starter V1.0.0

一个轻量级的规则引擎、搜索引擎，让条件匹配简单、优雅。 GIT地址 https://gitcode.cosmoplat.com/15011240224/rule-engine-starter 介绍 Rule-Engine-Starter 是一个轻量级规则引擎，V1.0.0主要解决条件匹配问题。比如飞书文档，每个文档都…...

编程日记 2023/10/15 4:58:55

绘制X-Bar-S和X-Bar-R图,监测过程,计算CPK过程能力指数

X-Bar-S图和X-Bar-R图是统计质量控制中常用的两种控制图，用于监测过程的稳定性和一致性。它们的主要区别在于如何计算和呈现数据的变化以及所关注的问题类型。 X-Bar-S图（平均值与标准偏差图）： X-Bar代表样本均值，S代表…...

编程日记 2023/10/15 4:57:53

【每日一句】只出现一次的数

文章目录 Tag题目来源题目解读解题思路方法一：位运算 其他语言Cpython3 写在最后 Tag 【位运算-异或和】【数组】【2023-10-14】 题目来源 136. 只出现一次的数字 题目解读 给你一个数组，找出数组中只出现一次的元素。题目保证仅有一个元素出现一次&a…...

编程日记 2023/10/15 4:56:51

GDB调试程序常用命令

编译文件 g -g -o test test.cpp(注意：GDB调试的前提是在编译时加上-g参数.) 启动gdb # 方法一 gdb test # 方法二 gdb file test 设置断点 tbreak：设置临时断点，仅在第一次触发后失效。 watch：设置观察点，监控变量的…...

编程日记 2023/10/15 4:54:49

C语言，求两个数的二进制表达中，有多少个位数不同

以前我的博客中写过一篇求二进制的1的个数的博客&#xff0c;里面用按位与1的方式来判断位数是否为一。 如代码所示&#xff1a; #include <stdio.h> int num(int n) {int a 0;int i 0;while (i < 32){a a (n & 1);n n >> 1;i;}return a; } int main…...

编程日记 2023/10/15 4:53:48

解决Win10电脑无线网卡的移动热点无法开启问题

一、目的 利用无线网卡连接网络&#xff0c;然后又用无线网卡通过移动热点分享该网络。 移动热点&#xff0c;简单地说&#xff0c;就是将台式机或笔记本的 Internet 连接转化成 WIFI 信号以供移动设备无线上网的功能&#xff0c;硬件前提是电脑须安装有无线网卡。 二、问题 …...

编程日记 2023/10/15 4:52:47

Spring framework Day10:JSR330注入注解

前言 JSR330是Java社区标准化进程&#xff08;Java Community Process&#xff0c;简称JCP&#xff09;中的一个规范&#xff0c;全名为"Dependency Injection for Java"&#xff0c;即Java的依赖注入规范。它定义了一组注解和相关的规范&#xff0c;用于实现依赖注…...

编程日记 2023/10/15 4:50:45

Java开发中List数据量大，需要分片批次处理

在开发过程中可能会遇到需要处理的List数据量过大&#xff0c;可以选择分批处理的方式对大量数据进行处理。 1、使用 apache 的工具包 <dependency><groupId>org.apache.commons</groupId><artifactId>commons-collections4</artifactId><v…...

编程日记 2023/10/15 4:49:42

Apache Doris 2.0.2 版本正式发布！

峰会官网已上线&#xff0c;最新议程请关注&#xff1a;doris-summit.org.cn 点击报名 亲爱的社区小伙伴们&#xff0c;Apache Doris 2.0.2 版本已于 2023 年 10 月 6 日正式发布&#xff0c;该版本对多个功能进行了更新优化&#xff0c;旨在更好地满足用户的需求。有 92 位贡献…...

编程日记 2023/10/15 4:48:41

transformers架构实现

目录 架构代码如下 模型打印如下 架构代码如下 import numpy as np from torch.autograd import Variable import copy from torch import softmax import math import torch import torch.nn.functional as F import torch.nn as nn # 构建Embedding类来实现文本嵌入层 class…...

编程日记 2023/10/15 4:47:40

C++类型推导

这里对C的类型推导方式进行一次全面的总结。 C中有三种类型推导的方式&#xff0c;分别是模板、auto以及decltype()。以下分别介绍这三种方式的同异。 一 模板 假设有这样的函数模板和这样的调用&#xff1a; template<typename T> void f(ParamType param);f(expr);…...

编程日记 2023/10/15 4:46:37

Open3D(C++) SVD分解求两个点云的变换矩阵

目录 一、算法原理二、代码实现三、结果展示四、相关链接一、算法原理 计算两个点云的质心计算中心化向量计算协方差矩阵奇异值分解，求解旋转矩阵 R R R计算平移向量 t t...

编程日记 2023/10/15 4:45:35

rtmp htttp推流Windows桌面到srs进行播放

推流命令： ffmpeg -f gdigrab -framerate 30 -i desktop -c:v libx264 -preset ultrafast -tune zerolatency -pix_fmt yuv420p -f flv rtmp://xxx.xxx.xxxx.xx/live/livestream 后面是推流地址 推流后的播放地址为： http://xxxxxx:8080/live/livestream.flv 可以写一个…...

编程日记 2023/10/15 4:44:34

网络安全的概念与规范：从基础到实践

网络安全的概念与规范&#xff1a;从基础到实践 在数字化浪潮席卷全球的今天&#xff0c;网络安全已成为国家安全的重要组成部分。本文将系统梳理网络安全的核心概念、发展历程、主要威胁、前沿趋势以及标准规范&#xff0c;帮助读者建立完整的网络安全知识体系。 一、网络安全…...

编程新知 2026/4/1 20:35:58

工程伦理案例分析：从经典失败项目看责任分配与风险预防

工程伦理案例分析&#xff1a;从经典失败项目看责任分配与风险预防 当一座桥梁在通车典礼上轰然倒塌&#xff0c;当一栋新建大楼在台风中支离破碎&#xff0c;这些触目惊心的工程事故背后&#xff0c;往往隐藏着复杂的伦理困境。工程伦理不是简单的对错判断题&#xff0c;而是需…...

编程新知 2026/4/1 19:51:26

告别恼人红叉！保姆级教程：用acme.sh给宝塔面板IP地址换上Let‘s Encrypt免费证书

从红叉到绿锁&#xff1a;零成本为宝塔面板IP地址部署可信SSL证书全指南 每次打开宝塔面板&#xff0c;那个刺眼的红色安全警告是否让你如鲠在喉&#xff1f;作为服务器管理员&#xff0c;我们比谁都清楚自签名证书的实际安全性&#xff0c;但浏览器固执的警告提示却让新手用户…...

编程新知 2026/4/1 19:45:14

零基础教程：5个简单步骤用Mi-Create打造个性化小米手表表盘

零基础教程&#xff1a;5个简单步骤用Mi-Create打造个性化小米手表表盘 【免费下载链接】Mi-Create Unofficial watchface creator for Xiaomi wearables ~2021 and above 项目地址: https://gitcode.com/gh_mirrors/mi/Mi-Create Mi-Create是一款专为小米穿戴设备用户打…...

编程新知 2026/4/1 19:31:10

一开口就聊到客户心坎里的沟通话术

先把人聊顺&#xff0c;事自然就顺了一位资深顾问&#xff0c;老客户复购和转介绍特别多。她的秘诀很简单&#xff1a;先聊人&#xff0c;再聊事。有次对接一位态度疏离的客户&#xff0c;她没直接问方案&#xff0c;而是看到客户朋友圈刚出去玩&#xff0c;便说&#xff1a;“…...

编程新知 2026/4/1 18:08:14

毕业查重不踩坑！Paperxie 免费查重，给毕业生的安心 buff

paperxie-免费查重复率aigc检测/开题报告/毕业论文/智能排版/文献综述/AIPPThttps://www.paperxie.cn/checkhttps://www.paperxie.cn/check 又是一年毕业季&#xff0c;当毕业论文的最后一个句号落下&#xff0c;查重就成了横亘在无数本科生面前的 “毕业拦路虎”。多少人熬了几…...

编程新知 2026/4/1 18:01:58

树莓派新手必看：保姆级vim安装与配置指南（含国内源切换和常见报错解决）

树莓派新手必看&#xff1a;保姆级vim安装与配置指南&#xff08;含国内源切换和常见报错解决&#xff09; 第一次接触树莓派的新手们&#xff0c;面对命令行操作往往既兴奋又忐忑。作为Linux系统中最强大的文本编辑器之一&#xff0c;vim的高效与灵活令人向往&#xff0c;但初…...

编程新知 2026/4/1 17:53:33

【计算机架构】RISC-V：开源精简指令集如何重塑未来芯片设计

1. RISC-V&#xff1a;开源指令集的革命性突破 我第一次接触RISC-V是在2014年&#xff0c;当时这个开源指令集还只是学术界的一个研究项目。谁能想到短短几年后&#xff0c;它已经成为改变芯片设计行业的颠覆性力量。与ARM、x86等传统商业架构不同&#xff0c;RISC-V最吸引我的…...

编程新知 2026/4/1 16:02:33

在AirSim里用Python实现LQR控制：让无人机自动跟踪预设轨迹（附完整代码）

用Python实现AirSim无人机LQR轨迹跟踪&#xff1a;从理论到代码落地 1. 环境准备与基础概念 在开始编写代码之前&#xff0c;我们需要先搭建好开发环境并理解几个核心概念。AirSim是微软开源的无人机/车辆仿真平台&#xff0c;基于Unreal Engine构建&#xff0c;提供了高度逼真…...

编程新知 2026/4/1 15:05:30

TPCH dbgen数据生成工具在Linux环境下的配置与实战

1. 环境准备&#xff1a;从零搭建TPCH测试环境 第一次接触TPCH dbgen工具时&#xff0c;我花了整整两天时间才搞明白所有依赖关系。这个工具虽然功能强大&#xff0c;但官方文档确实不够友好。下面把我踩过的坑都总结出来&#xff0c;让你能快速上手。 系统要求方面&#xff0c…...

编程新知 2026/4/1 14:24:16