当前位置： 首页 > news >正文

【大数据技术】搭建完全分布式高可用大数据集群（Hadoop+MapReduce+Yarn）

news 2025/12/15 13:40:12

搭建完全分布式高可用大数据集群（Hadoop+MapReduce+Yarn）

  • jdk-8u361-linux-x64.tar
  • hadoop-3.3.6.tar.gz

注：请在阅读本篇文章前，将以上资源下载下来。

写在前面

本文主要介绍搭建完全分布式高可用集群Hadoop+MapReduce+Yarn的详细步骤。

注意： 统一约定将软件安装包存放于虚拟机的/software目录下，软件安装至/opt目录下。

安装JDK

  1. 以管理员root的身份连接虚拟机。

00

相关文章：

【大数据技术】搭建完全分布式高可用大数据集群（Hadoop+MapReduce+Yarn）

搭建完全分布式高可用大数据集群（Hadoop+MapReduce+Yarn） jdk-8u361-linux-x64.tarhadoop-3.3.6.tar.gz注：请在阅读本篇文章前，将以上资源下载下来。 写在前面 本文主要介绍搭建完全分布式高可用集群Hadoop+MapReduce+Yarn的详细步骤。 注意： 统一约定将软件安装包存放…...

编程日记 2025/2/8 1:42:36

从零开始：OpenCV 图像处理快速入门教程

文章大纲 第1章 OpenCV 概述 1.1　OpenCV的模块与功能　 1.2 OpenCV的发展 1.3 OpenCV的应用 第2章 基本数据类型 2.1 cv::Vec类 2.2 cv：：Point类 2.3 cv：：Rng类 2.4 cv：：Size类 2.5 cv：&…...

编程日记 2025/2/8 1:37:29

springboot简单应用

快速开发Springboot项目实现简单的增删改查，前期需要准备：idea与postman安装 Maven，MySQL（8），JDK(21) 目录 前言 springboot 使用3.0版本，JDK使用21,MySQL使用8版本 开发环境IDEA使用2024版本 …...

编程日记 2025/2/8 1:35:26

【DeepSeek】DeepSeek小模型蒸馏与本地部署深度解析DeepSeek小模型蒸馏与本地部署深度解析

一、引言与背景 在人工智能领域，大型语言模型（LLM）如DeepSeek以其卓越的自然语言理解和生成能力，推动了众多应用场景的发展。然而，大型模型的高昂计算和存储成本，以及潜在的数据隐私风险，限制了…...

编程日记 2025/2/8 1:32:22

C#项目引用VB.NET 类库项目，生成一个EXE，这是什么原理

C#项目引用VB.NET 类库项目，生成一个EXE，这是什么原理 在C#项目中引用VB.NET类库项目并生成一个EXE文件，主要基于.NET框架的通用性以及编译原理。以下是详细的原理分析： 1. .NET框架的通用性 公共语言运行时（CLR&…...

编程日记 2025/2/8 1:30:19

qt使用MQTT协议连接阿里云demo

qt使用Mqtt协议连接阿里云。 在配置好qt关于MQTT的环境之后，主要就是根据MQTT的连接参数进行连接即可。 环境配置推荐链接QT编译并部署QtMqtt相关环境跑测demo【超详细教程】_mqtt qt开发教程-CSDN博客 连接核心代码,主要就是根据阿里云的MQTT相关参数进行配置实现连…...

编程日记 2025/2/8 1:26:14

HTML中的图片标签详解及路径使用【学术投稿-第五届环境资源与能源工程国际学术会议（ICEREE 2025）】

官网：www.iceree.org 会议时间：2025年2月21-23日 会议地点：中国-昆明 简介 第五届环境资源与能源工程国际学术会议（ICEREE 2025）将于2025年2月21日至23日在中国昆明隆重举行。主要围绕“能源工程和能源技术”、“环…...

编程日记 2025/2/8 1:24:07

【低功耗 Power 学习专栏 -- Power domian 和 power rail】

文章目录 power rail(followpin) 和 Power domain1. Power Domain2. Power Rail3. Followpin4. Power Stripe5. IR Drop芯片中电源管理设计 举例 power rail(followpin) 和 Power domain followpin 指两部分，一个就是 STD cell 上下的 VDD, VSS。同时，f…...

编程日记 2025/2/8 1:23:05

PythonStyle MVC 开发框架

在 Python 中，MVC（Model - View - Controller，模型 - 视图 - 控制器）是一种常见的软件设计模式，它将应用程序分为三个主要部分，各自承担不同的职责，以提高代码的可维护性、可扩展性和可测试性。…...

编程日记 2025/2/8 1:22:02

RTOS基础（TODO）

（TODO） 读完FreeRTOS内核源码，需要多久？ 有哪些情况下是RTOS满足不了需求，必须得上嵌入式Linux系统的？ 如何用树莓派 Pico 学习 RTOS？ 树莓派 Pico 使用 RP2040 微控制器，基于 AR…...

编程日记 2025/2/8 1:13:49

八、Spring Boot 日志详解

目录 一、日志的用途 二、日志使用 2.1 打印日志 2.1.1 在程序中获取日志对象 2.1.2 使用日志对象打印日志 2.2、日志框架介绍 2.2.1 门面模式(外观模式) 2.2.2 门面模式的实现 2.2.3 SLF4J 框架介绍 2.3 日志格式的说明 2.4 日志级别 2.4.1 日志级别的分类 2.4.2…...

编程日记 2025/2/8 1:12:48

Java实战经验分享

1. 项目优化与性能提升 面试问题： 聊聊你印象最深刻的项目，或者做了哪些优化 你在项目中如何解决缓存穿透问题？ 缓存穿透是我们做缓存优化时最常遇到的问题，特别是当查询的对象在数据库中不存在时，缓存层和数据库都会…...

编程日记 2025/2/8 1:11:45

前端控制器模式

前端控制器模式 概述 前端控制器模式（Front Controller Pattern）是一种设计模式，它将应用程序中的所有用户请求统一交由一个控制器处理。这种模式在MVC（Model-View-Controller）架构中尤为常见，它能够简化…...

编程日记 2025/2/8 1:07:40

Linux之安装docker

一、检查版本和内核是否合格 Docker支持64位版本的CentOS 7和CentOS 8及更高版本，它要求Linux内核版本不低于3.10。 检查版本 cat /etc/redhat-release检查内核 uname -r二、Docker的安装 1、自动安装 Docker官方和国内daocloud都提供了一键安装的脚本&#x…...

编程日记 2025/2/8 1:06:39

BUUCTF_XSS-Lab

xss XSS（Cross - Site Scripting）即跨站脚本攻击，是一种常见的 Web 安全漏洞。攻击者通过在目标网站注入恶意脚本（通常是 JavaScript），当其他用户访问该网站时，这些恶意脚本会在用户的浏览器中执…...

编程日记 2025/2/8 1:00:22

springBoot使用

1.什么是SpringBoot SpringBoot是由Pivotal团队提供的一套开源框架，可以简化spring应用的创建及部署。SpringBoot是伴随Spring4.0的时候发布的一个框架。SpringBoot用来简化Spring应用的开发，约定大于配置，去繁从简。 从本质上来说&#xff…...

编程日记 2025/2/8 0:58:19

DS图(中)(19)

文章目录 前言一、图的遍历广度优先遍历深度优先遍历 二、最小生成树Kruskal算法Prim算法两种方法对比 总结 前言 承上启下，我们来学习下图的中篇！！！ 一、图的遍历 图的遍历指的是遍历图中的顶点，主要有 广度优先遍历 …...

编程日记 2025/2/8 0:50:08

Vue Dom截图插件，截图转Base64 html2canvas

安装插件 npm install html2canvas --save插件使用 <template><div style"padding: 10px;"><div ref"imageTofile" class"box">发生什么事了</div><button click"toImage" style"margin: 10px;&quo…...

编程日记 2025/2/8 0:45:00

Unity3D仿星露谷物语开发小结1

1、Cinemachine的作用及使用方法 &#xff08;1&#xff09;作用 控制Camera的模块&#xff0c;实现摄像机的复杂控制&#xff0c;比如角色的跟随&#xff0c;限制Camera的区域 &#xff08;2&#xff09;使用方法 在已有Main Camera的情况下&#xff0c; 通过【GameObject -&…...

编程日记 2025/2/8 0:43:57

graylog初体验

最近graylog比较火&#xff0c;部署了一个来测试下&#xff0c;看下后续能不能代替目前占用资源比较多的elk&#xff0c;目前未对graylog性能进行深入测试&#xff0c;只是简单体验了下&#xff0c;graylog的UI比较简陋&#xff0c;但是在报警以及权限方面优于ELK&#xff0c;整…...

编程日记 2025/2/8 0:42:56

基于距离变化能量开销动态调整的WSN低功耗拓扑控制开销算法matlab仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.算法仿真参数 5.算法理论概述 6.参考文献 7.完整程序 1.程序功能描述 通过动态调整节点通信的能量开销&#xff0c;平衡网络负载&#xff0c;延长WSN生命周期。具体通过建立基于距离的能量消耗模型&am…...

编程新知 2025/12/13 22:50:42

Mac软件卸载指南，简单易懂！

刚和Adobe分手&#xff0c;它却总在Library里给你写"回忆录"&#xff1f;卸载的Final Cut Pro像电子幽灵般阴魂不散&#xff1f;总是会有残留文件&#xff0c;别慌&#xff01;这份Mac软件卸载指南&#xff0c;将用最硬核的方式教你"数字分手术"&#xff0…...

编程新知 2025/12/14 10:18:18

python如何将word的doc另存为docx

将 DOCX 文件另存为 DOCX 格式&#xff08;Python 实现&#xff09; 在 Python 中&#xff0c;你可以使用 python-docx 库来操作 Word 文档。不过需要注意的是&#xff0c;.doc 是旧的 Word 格式&#xff0c;而 .docx 是新的基于 XML 的格式。python-docx 只能处理 .docx 格式…...

编程新知 2025/12/13 22:42:30

【git】把本地更改提交远程新分支feature_g

创建并切换新分支 git checkout -b feature_g 添加并提交更改 git add . git commit -m “实现图片上传功能” 推送到远程 git push -u origin feature_g...

编程新知 2025/12/13 4:20:30

在鸿蒙HarmonyOS 5中使用DevEco Studio实现录音机应用

1. 项目配置与权限设置 1.1 配置module.json5 {"module": {"requestPermissions": [{"name": "ohos.permission.MICROPHONE","reason": "录音需要麦克风权限"},{"name": "ohos.permission.WRITE…...

编程新知 2025/10/3 17:30:30

网络编程（UDP编程）

思维导图 UDP基础编程&#xff08;单播&#xff09; 1.流程图 服务器&#xff1a;短信的接收方 创建套接字 (socket)-----------------------------------------》有手机指定网络信息-----------------------------------------------》有号码绑定套接字 (bind)--------------…...

编程新知 2025/12/9 18:16:09

优选算法第十二讲：队列 + 宽搜 优先级队列

优选算法第十二讲&#xff1a;队列 宽搜 && 优先级队列 1.N叉树的层序遍历2.二叉树的锯齿型层序遍历3.二叉树最大宽度4.在每个树行中找最大值5.优先级队列 -- 最后一块石头的重量6.数据流中的第K大元素7.前K个高频单词8.数据流的中位数 1.N叉树的层序遍历 2.二叉树的锯…...

编程新知 2025/12/5 13:16:54

Spring是如何解决Bean的循环依赖：三级缓存机制

1、什么是 Bean 的循环依赖 在 Spring框架中，Bean 的循环依赖是指多个 Bean 之间‌互相持有对方引用‌，形成闭环依赖关系的现象。 多个 Bean 的依赖关系构成环形链路，例如： 双向依赖：Bean A 依赖 Bean B，同时 Bean B 也依赖 Bean A（A↔B）。链条循环： Bean A → Bean…...

编程新知 2025/7/25 1:21:53

Docker 本地安装 mysql 数据库

Docker: Accelerated Container Application Development 下载对应操作系统版本的 docker &#xff1b;并安装。 基础操作不再赘述。 打开 macOS 终端&#xff0c;开始 docker 安装mysql之旅 第一步 docker search mysql 》〉docker search mysql NAME DE…...

编程新知 2025/12/15 1:34:44

Python+ZeroMQ实战：智能车辆状态监控与模拟模式自动切换

目录 关键点 技术实现1 技术实现2 摘要&#xff1a; 本文将介绍如何利用Python和ZeroMQ消息队列构建一个智能车辆状态监控系统。系统能够根据时间策略自动切换驾驶模式&#xff08;自动驾驶、人工驾驶、远程驾驶、主动安全&#xff09;&#xff0c;并通过实时消息推送更新车…...

编程新知 2025/11/12 0:06:50