当前位置： 首页 > article >正文

【大数据技术】搭建完全分布式高可用大数据集群（Scala+Spark）

article 2026/5/7 2:42:50

搭建完全分布式高可用大数据集群（Scala+Spark）

  • scala-2.13.16.tgz
  • spark-3.5.4-bin-without-hadoop.tgz

注：请在阅读本篇文章前，将以上资源下载下来。

写在前面

本文主要介绍搭建完全分布式高可用集群Spark的详细步骤。

注意： 统一约定将软件安装包存放于虚拟机的/software目录下，软件安装至/opt目录下。

安装Scala

以下步骤都在虚拟机master中执行，然后复制到虚拟机slave01和slave02中。

  1. 上传scala包。

用 finalshell 将 scala-2.13.16.tgz 上传到虚拟机ma

相关文章：

【大数据技术】搭建完全分布式高可用大数据集群（Scala+Spark）

搭建完全分布式高可用大数据集群（Scala+Spark） scala-2.13.16.tgzspark-3.5.4-bin-without-hadoop.tgz注：请在阅读本篇文章前，将以上资源下载下来。 写在前面 本文主要介绍搭建完全分布式高可用集群Spark的详细步骤。 注意： 统一约定将软件安装包存放于虚拟机的/softwa…...

编程日记 2026/3/20 15:04:09

使用vLLM部署Qwen2.5-VL-7B-Instruct模型的详细指南

使用vLLM部署Qwen2.5-VL-7B-Instruct模型的详细指南 引言环境搭建安装vLLM安装依赖库下载模型启动vLLM服务器总结参考 引言 近年来，随着大规模语言模型（LLM）的快速发展，如何高效地进行模型推理成为了一个热门话题。vLLM作为一个专…...

编程日记 2026/4/24 15:54:15

AWS门店人流量数据分析项目的设计与实现

这是一个AWS的数据分析项目，关于快消公司门店手机各个门店进店人流量和各个产品柜台前逗留时间（利用IoT设备采集）和销售数据之间的统计分析，必须用到但不限于Amazon Kensis Data Stream，Spark Streaming，Sp…...

编程日记 2026/4/16 7:43:01

C#结合html2canvas生成切割图片并导出到PDF

目录 需求 开发运行环境 实现 生成HTML范例片断 HTML元素转BASE64 BASE64转图片 切割长图片 生成PDF文件 小结 需求 html2canvas 是一个 JavaScript 库，它可以把任意一个网页中的元素（包括整个网页）绘制到指定的 canvas 中&#xf…...

编程日记 2026/4/26 12:01:54

485网关数据收发测试

目录 1.UDP SERVER数据收发测试 使用产品： || ZQWL-GW1600NM 产品||【智嵌物联】智能网关型串口服务器 1.UDP SERVER数据收发测试 A（TX）连接RX B（RX）连接TX 打开1个网络调试助手，模拟用户的UDP客户端设…...

编程日记 2026/5/5 11:25:32

InnoDB和MyISAM的比较、水平切分和垂直切分、主从复制中涉及的三个线程、主从同步的延迟产生和解决

InnoDB和MyISAM的比较 事务支持： InnoDB支持：支持事务 (ACID 属性)。支持 Commit、Rollback 和 Savepoint 操作。适合需要事务处理的应用，例如银行系统。MyISAM:不支持事务。每次操作都是自动提交，不能回滚或中止。适合对事务要求…...

编程日记 2026/5/6 1:21:12

JDK9新特性

文章目录 新特性：1.模块化系统使用模块化module-info.java：exports：opens：requires：provides：uses： 2.JShell启动Jshell执行计算定义变量定义方法定义类帮助命令查看定义的变量：/var…...

编程日记 2026/5/4 13:45:43

基于Ubuntu2404搭建Zabbix7.2

Zabbix 搭建zabbix zabbix7.2已推出：官网 增加的新功能如下： 1.使用新的热门商品小部件全面概览指标 数据概览小部件已转换为热门项目小部件使用项目模式可以实现细粒度的项目选择利用条形图、指标和迷你图来可视化您的数据定义价值阈值以动态地可视化…...

编程日记 2026/5/3 22:05:04

Math Reference Notes: 符号函数

1. 符号函数的定义 符号函数（Sign Function） sgn ( x ) \text{sgn}(x) sgn(x) 是一个将实数 ( x ) 映射为其 符号值（即正数、负数或零）的函数。 它的定义如下： sgn ( x ) { 1 如果 x > 0 0 如果 x 0 − 1 如…...

编程日记 2026/5/6 13:26:10

【数据结构】链表应用-链表重新排序

重新排序 反转链表预期实现思路解题过程code力扣代码核心代码完整代码 总结 删除链表中间节点代码解惑 链表重新排序题目描述解题思路解题过程复杂度代码力扣代码完整代码 反转链表 预期实现 思路 你选用何种方法解题？ 我选用了迭代法来反转链表。这是一种经典且高…...

编程日记 2026/5/6 6:54:40

学习threejs，pvr格式图片文件贴图

👨‍⚕️ 主页： gis分享者 👨‍⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏：threejs gis工程师 文章目录 一、🍀前言1.1 ☘️PVR贴图1.2 ☘️THREE.Mesh…...

编程日记 2026/5/6 17:59:27

数据库开发常识（10.6）——SQL性能判断标准及索引误区（1）

10.6. 数据库开发常识 作为一名专业数据库开发人员，不但需要掌握数据库开发相关的语法和功能实现，还要掌握专业数据库开发的常识。这样，才能在保量完成工作任务的同时，也保质的完成工作任务，避免了为应用的日后维护埋…...

编程日记 2026/5/5 5:09:46

2022年全国职业院校技能大赛网络系统管理赛项模块A：网络构建（样题2）-网络部分解析-附详细代码

目录 附录1：拓扑图​编辑 附录2：地址规划表 1.SW1 2.SW2 3.SW3 4.SW4 5.SW5 6.SW6 7.SW7 8.R1 9.R2 10.R3 11.AC1 12.AC2 13.EG1 14.EG2 15.AP2 16.AP3 附录1：拓扑图 附录2：地址规划表...

编程日记 2026/5/6 12:18:22

100.7 AI量化面试题：如何利用新闻文本数据构建交易信号？

目录 0. 承前1. 解题思路1.1 数据处理维度1.2 分析模型维度1.3 信号构建维度 2. 新闻数据获取与预处理2.1 数据获取接口2.2 文本预处理 3. 情感分析与事件抽取3.1 情感分析模型3.2 事件抽取 4. 信号生成与优化4.1 信号构建4.2 信号优化 5. 策略实现与回测5.1 策略实现 6. 回答话…...

编程日记 2026/4/3 13:38:51

【前端】【Ts】【知识点总结】TypeScript知识总结

一、总体概述 TypeScript 是 JavaScript 的超集，主要通过静态类型检查和丰富的类型系统来提高代码的健壮性和可维护性。它涵盖了从基础数据类型到高级类型、从函数与对象的类型定义到类、接口、泛型、模块化及装饰器等众多知识点。掌握这些内容有助于编写更清晰、结…...

编程日记 2026/2/23 6:56:26

【前端】【Ts】TypeScript的关键知识点

一、知识点总结 （一）void 与 never 的区别 (1) void：声明函数无返回值，但可以走到 return 行。(2) never：表示函数不会走到 return 行，常用于抛异常或无限循环。 （二）字面量类型与联…...

编程日记 2026/4/27 16:30:17

C++，STL，【目录篇】

文章目录 一、简介二、内容提纲第一部分：STL 概述第二部分：STL 容器第三部分：STL 迭代器第四部分：STL 算法第五部分：STL 函数对象第六部分：STL 高级主题第七部分：STL 实战应用 三、写作风格四、…...

编程日记 2026/4/26 12:01:21

2502vim,vim文本对象中文文档

介绍 文本块用户(textobj-user)是一个可帮助你毫不费力地创建自己的文本对象的Vim插件. 因为有许多陷阱需要处理,很难创建文本对象.此插件隐藏了此类细节,并提供了声明式定义文本对象的方法. 你可用正则式来定义简单的文本对象,或使用函数来定义复杂的文本对象.如… 文本对…...

编程日记 2026/4/16 9:15:58

【AI论文】直接对齐算法之间的差异模糊不清

摘要：直接对齐算法（DAAs）通过在对齐人类反馈的强化学习（RLHF）中用直接策略优化替代强化学习（RL）和奖励建模（RM），简化了语言模型对齐过程。DAAs可以根据其排序…...

编程日记 2026/4/26 12:02:01

（9）gdb 笔记（2）：查看断点 info b，删除断点 delete 3，回溯 bt，

（11） 查看断点 info b： # info b举例： （12）删除断点 delete 2 或者删除所有断点： # 1. 删除指定的断点 delete 3 # 2. 删除所有断点 delete 回车，之后输入 y 确认删除所有断点 举…...

编程日记 2026/4/26 12:01:19

中间件的概念及基本使用

什么是中间件 中间件是ASP.NET Core的核心组件，MVC框架、响应缓存、身份验证、CORS、Swagger等都是内置中间件。 广义上来讲：Tomcat、WebLogic、Redis、IIS；狭义上来讲，ASP.NET Core中的中间件指ASP.NET Core中的一个组件。中间件…...

编程日记 2026/4/26 12:01:39

什么是ce认证

CE认证，即只限于产品不危及人类、动物和货品的安全方面的基本安全要求，而不是一般质量要求，协调指令只规定主要要求，一般指令要求是标准的任务。因此准确的含义是:CE标志是安全合格标志而非质量合格标志。是构成欧洲指令核心的&qu…...

编程日记 2026/4/27 16:39:22

S4 HANA手工记账Tax Payable – FB41

本文主要介绍在S4 HANA OP中手工记账Tax Payable – FB41。具体请参照如下内容： 手工记账Tax Payable – FB41 该事务代码用于手工处理税码统驭科目的记账，一般税码科目需要设置为只能自动记账，因此无法手工对税码统驭科目记账，但…...

编程日记 2026/4/26 23:12:00

Java 大视界 -- Java 大数据在智慧文旅中的应用与体验优化（74）

💖亲爱的朋友们，热烈欢迎来到 青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也…...

编程日记 2026/4/26 12:01:28

[leetcode]两数之和等于target

源代码 #include <iostream> #include <list> #include <iterator> // for std::prev using namespace std; int main() { int target 9; list<int> l{ 2, 3, 4, 6, 8 }; l.sort(); // 确保列表是排序的&#xff0c;因为双指针法要求输入是…...

编程日记 2026/4/26 12:01:29

老游戏回顾：G2

一个老的RPG游戏。 剧情有独到之处。 ------- 遥远的过去&#xff0c;古拉纳斯将希望之光给予人们&#xff0c;人类令希望之光不断扩大&#xff0c;将繁荣握在手中。 但是&#xff0c;暗之恶魔巴鲁玛将光从人类身上夺走。古拉纳斯为了守护人类与其展开了一场激战&#xff0c…...

编程日记 2026/5/3 12:01:34

行为驱动开发（BDD）如何提高自动化测试效率

在软件开发的过程中&#xff0c;自动化测试一直扮演着至关重要的角色。随着需求变化日益复杂、开发周期不断压缩&#xff0c;如何提升自动化测试的效率和准确性成为了现代软件开发团队的核心挑战之一。行为驱动开发&#xff08;BDD&#xff0c;Behavior Driven Development&…...

编程日记 2026/5/3 20:36:37

大语言模型的「幻觉」（Hallucination）是指模型在生成内容时

大语言模型的「幻觉」&#xff08;Hallucination&#xff09;是指模型在生成内容时&#xff0c;输出看似合理但实际错误、虚构或与事实不符的信息。这种现象并非模型有意欺骗&#xff0c;而是由其底层技术原理和训练方式导致的必然结果。 幻觉的核心特征 类型示例事实性错误生…...

编程日记 2026/2/27 1:23:54

[25] cuda 应用之 nppi 实现图像色彩调整

[25] cuda 应用之 nppi 实现图像色彩调整 在 NPPI&#xff08;NVIDIA Performance Primitives&#xff09;中&#xff0c;图像色彩调整通常包括以下几种操作&#xff1a; 亮度调整&#xff1a;增加或减少图像的亮度。对比度调整&#xff1a;增强或减弱图像的对比度。饱和度调…...

编程日记 2026/2/25 20:02:36

Redis常见数据类型与编码方式

⭐️前言⭐️ 本小节围绕Redis中常见的数据类型与编码方式展开。 &#x1f349;欢迎点赞 &#x1f44d; 收藏 ⭐留言评论 &#x1f349;博主将持续更新学习记录收获&#xff0c;友友们有任何问题可以在评论区留言 &#x1f349;博客中涉及源码及博主日常练习代码均已上传GitHu…...

编程日记 2026/5/5 15:38:40