当前位置： 首页 > news >正文

Apache Hadoop生态-目录汇总-持续更新

news 2026/2/7 16:36:28

目录

1：系统服务分布图

3台分布式架构

1台单机架构

服务版本介绍

2：服务目录

存储相关

数据采集

任务调度

即席查询

数据可视化

集群监控

元数据管理

用户认证

权限管理

第三方windows客户端

1：系统服务分布图

3台分布式架构

node01(6G内存)

node02(6G内存)

node03(6G内存)

NameNode

√

√

DataNode

√

√

√

ResourceManager

√

√

NodeManager

√

√

√

JobHistoryServer

历史服务器

√

Zookeeper√√√

1台单机架构

node100(20G内存)

NameNode

√

DataNode

√

ResourceManager

√

NodeManager

√

JobHistoryServer

历史服务器

√
Zookeeper√

服务版本介绍

框架版本
java8
mysql5.7
zookeeper3.5.7
kafka2.12-2.2.0
hadoop3.2.2
hive3.1.2
hbase2.3.6
Elasticsearch7.8.0

ClickHouse

21.7.314
spark3.0.0
flink1.13.0
flume1.9.0
sqoop1.4.7
DataX3.0.0
Maxwell1.29.2
Cannal        1.1.2
Azkaban3.90.0
DolphinScheduler2.0.3
Superset1.3.2
Kylin3.0.1   4X要求spark3.1x
Presto0.189
Atlas2.1.0

2：服务目录

Mysql系列：Mysql5.7编译安装

Mysql系列：Mysql5.7 Docker安装

Apache Hadoop生态部署-安装Java8环境

Apache Hadoop生态部署-3台设置的免密登录，xsync分发脚本，jpsall脚本

存储相关

Apache Hadoop生态部署-zookeeper单机安装

Apache Hadoop生态部署-zookeeper分布式安装

Apache Hadoop生态部署-kafka单机安装

Apache Hadoop生态部署-kafka分布式安装

Apache Hadoop生态部署-hadoop单机安装

Apache Hadoop生态部署-hadoop伪分布式安装

Apache Hadoop生态部署-hadoop分布式安装(HA)

Apache Hadoop生态部署-hive单节点安装

Apache Hadoop生态部署-hbase单节点安装

Apache Hadoop生态部署-hbase分布式安装

Apache Hadoop生态部署-ClickHouse单节点安装

Apache Hadoop生态部署-ClickHouse分片集群安装

Apache Hadoop生态部署-Elasticsearch单节点安装

Apache Hadoop生态部署-Elasticsearch分片集群安装

数据采集

Apache Hadoop生态部署-Flume采集节点安装

Apache Hadoop生态部署-sqoop(离线数据同步)采集节点安装

Apache Hadoop生态部署-DataX(离线数据同步)采集节点安装

Apache Hadoop生态部署-Maxwell(实时数据同步)采集节点安装

Apache Hadoop生态部署-Cannal(实时数据同步)采集节点安装

任务调度

Apache Hadoop生态部署-Azkaban集群模式安装

Apache Hadoop生态部署-DolphinScheduler安装

即席查询

Apache Hadoop生态部署-Kylin安装

Apache Hadoop生态部署-Presto安装

Apache Hadoop生态部署-Druid安装

Apache Hadoop生态部署-Doris安装

数据可视化

Apache Hadoop生态部署-Superset安装

集群监控

Apache Hadoop生态部署-Zabbix安装

Apache Hadoop生态部署-Prometheus安装

元数据管理

Apache Hadoop生态部署-Atlas安装

用户认证

Apache Hadoop生态部署-Kerberos安装

Apache Hadoop生态部署-Kerberos集成hdfs

Apache Hadoop生态部署-Kerberos集成yarn

Apache Hadoop生态部署-Kerberos集成hive

Apache Hadoop生态部署-Kerberos集成hbase

权限管理

Apache Hadoop生态部署-Ranger安装

第三方windows客户端

Apache Hadoop生态部署-zookeeper客户端prettyZoo

Apache Hadoop生态部署-kafka客户端kafkatool

Apache Hadoop生态部署-DBeaver客户端-连接hive

Apache Hadoop生态部署-DBeaver客户端-连接hive+kerberos

Apache Hadoop生态部署-DBeaver客户端-连接hbase

Apache Hadoop生态部署-DBeaver客户端-连接hbase+kerberos

相关文章：

Apache Hadoop生态-目录汇总-持续更新

目录 1：系统服务分布图 3台分布式架构 1台单机架构 服务版本介绍 2：服务目录 存储相关 数据采集 任务调度 即席查询 数据可视化 集群监控 元数据管理 用户认证 权限管理 第三方windows客户端 1：系统服务分布图 3台分布式架构…...

编程日记 2023/2/23 21:57:10

「JVM 编译后话」编译器优化技术

后端编译（即时编译、提前编译）的目标时将字节码翻译成本地机器码，而难点是输出优化质量较高的机器码； 文章目录1. 优化技术概览2. 方法内联（Inlining）3. 逃逸分析（Escape Analysis）4…...

编程日记 2023/2/23 21:56:03

【python学习笔记】：输出与输入

01 输出方式 表达式语句、print()函数和使用文件对象的write()方法。 02 输出形式 格式化输出str.format()函数、转成字符串可以使用repr()或str()函数来实现。 (1)repr()：产生一个解释器易读的表达形式，便于字符串的拼接。 例：输出平方与…...

编程日记 2023/2/23 21:54:59

汽车电子社区交流宣传

http://t.csdn.cn/VSLO0http://t.csdn.cn/VSLO0 当今的汽车行业已经进入了数字化时代，汽车电子软件的开发变得越来越重要。在这个领域，开发者们需要应对各种挑战，包括复杂的硬件和软件交互、高效的嵌入式编程和安全性要求。为了帮助汽车电子…...

编程日记 2023/2/23 21:53:53

String、StringBuilder 和 StringBuffer 详解

碎碎念 这是一道老生常谈的问题了，字符串是不仅是 Java 中非常重要的一个对象，它在其他语言中也存在。比如 C、Visual Basic、C# 等。字符串使用 String 来表示，字符串一旦被创建出来就不会被修改，当你想修改StringBuffer 或者是 …...

编程日记 2023/2/23 21:52:49

windows服务器上传文件解决方案

1.说明 1.如果上传到linux系统，通常使用ftp相关技术，配合windows端的ftp客户端工具比如FileZilla等进行大文件的上传工作。 2.同理windows服务器也可以开启ftp服务用来传输大文件。 3.本文介绍偷懒方式（常规是开启windows的ftp服务&#xff0…...

编程日记 2023/2/23 21:51:42

Android Studio翻译插件推介（Translation）

前言 Android Studio翻译插件适合英语水平不太好的程序员（比如：我），最常用的翻译插件Translation和AndroidLocalize，本文主要讲解Translation，亲测可用。 先看看效果：这里是Android的API,任意选…...

编程日记 2023/2/23 21:50:37

DNS,DNS污染劫持,DNS加密

1. DNS（Domain Name System）DNS（Domain Name System）， 也叫网域名称系统，是互联网的一项服务。它实质上是一个 域名 和 IP 相互映射的分布式数据库.DNS（Domain Name Server，域名服务…...

编程日记 2023/2/23 21:49:27

【Python】如何度量优秀代码——静态分析工具

静态分析工具背景有哪些静态分析工具呢度量Python代码的静态属性度量Python的生态系统代码的坏味道在类层面上在方法层面上结语背景 静态代码分析工具能够提炼出丰富的代码静态属性信息，这使得程序员可以对代码的复杂性、可修改性和可读性有进一步的了解。 有哪些…...

编程日记 2023/2/23 21:48:21

Open3D 点云高程归一化（基于2维地面点，Python版本）

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 之前的博客中Open3D 点云高程归一化（基于地面点，Python版本）是基于三维空间进行最近地面点的查询操作，这里对其进行修改一下，将点云投影到水平面，基于二维空间进行最近地面点的查询，这种方式对一些较为陡峭的…...

编程日记 2023/2/23 21:47:15

动态系统的建模与分析

前言 CS小菜鸡控制理论入门 视频学习笔记 视频传送门：动态系统的建模与分析】9_一阶系统的频率响应_低通滤波器_Matlab/Simulink分析 拉普拉斯变换 F(s)L{f(t)}∫0∞f(t)e−stdtF(s)\mathcal{L}\{f(t)\}\int_0^\infty f(t)e^{-st}\mathrm{d}tF(s)L{f(t)}∫0∞​f(t)…...

编程日记 2023/2/23 21:46:09

QCC51XX---HCI log

高通在新的S3/S5以及往后新的平台上面，引入了一个新的调试功能。就是标题说的HCI log，他类似air trace那样用来分析蓝牙协议的，这样我们就可以很详细地找到通信协议之间哪个部分出了问题。以前我们都是通过抓包器抓air trace分析的，抓包器一个要几十万，学会这个功能就相当…...

编程日记 2023/2/23 21:45:04

Redis四 原理篇

《Redis四 原理篇》 提示: 本材料只做个人学习参考,不作为系统的学习流程,请注意识别!!! 《Redis四 原理篇》《Redis四 原理篇》1、原理篇-Redis数据结构1.1 Redis数据结构-动态字符串1.2 Redis数据结构-intset1.3 Redis数据结构-Dict1.4 Redis数据结构-ZipList1.4.1 Redis数据…...

编程日记 2023/2/23 21:43:58

从0开始写Vue项目-Vue实现数据渲染和数据的增删改查

从0开始写Vue项目-环境和项目搭建_慕言要努力的博客-CSDN博客从0开始写Vue项目-Vue2集成Element-ui和后台主体框架搭建_慕言要努力的博客-CSDN博客从0开始写Vue项目-Vue页面主体布局和登录、注册页面_慕言要努力的博客-CSDN博客从0开始写Vue项目-SpringBoot整合Mybatis-plus实现…...

编程日记 2023/2/23 21:42:50

AI技术的发展，人工智能对我们的生活有那些影响？

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一…...

编程日记 2023/2/23 21:41:44

Unity中的Mathf数学运算讲解（值得收藏）

Unity中的Mathf数学运算有哪些？ Mathf.Abs(f)绝对值 计算并返回指定参数 f 绝对值 例如： // 输出 10 Debug.log(Mathf.Abs(-10)) Debug.log(Mathf.Abs(10))Mathf.Sin正弦 static function Sin (f : float) : float 计算并返回以弧度为单位指定的角 f 的…...

编程日记 2023/2/23 21:40:36

ABBYY FineReader16最新PDF图片文字识别软件

ABBYY FineReader16是非常好的一款 OCR 识别软件（可以识别不可编辑的PDF和图片文件），操作非常简单。ABBYY FineReader 16是一款知名的OCR文字识别软件（图片文字识别）。ABBYY 16采用了ABBYY最新推出的基于AI的OCR技术&a…...

编程日记 2023/2/23 21:39:30

Leetcode14. 最长公共前缀

一、题目描述： 编写一个函数来查找字符串数组中的最长公共前缀。 如果不存在公共前缀，返回空字符串 “”。 示例 1： 输入：strs [“flower”,“flow”,“flight”] 输出：“fl” 示例 2： 输入：…...

编程日记 2023/2/23 21:38:23

JTT808jt1078

前言 交通部与2016年10月份推出了JT/T 1078-2016标准&#xff0c;全称是<道路运输车辆卫星定位系统视频通信协议> JTT808 808消息头内容如下表所示&#xff1a; 起始字节字段数据类型描述及要求0消息IDWORD2消息体属性WORD消息体属性格式结构图见图24终端手机号BCD[6…...

编程日记 2023/2/23 21:37:17

数字孪生加持，水利水电工程或将实现全生命周期管理

水利水电工程在数字孪生技术的加持&#xff0c;使得建设和运营更加高效和智能化&#xff0c;将工程中各种元素、过程和系统数字化&#xff0c;并建立数字孪生模型&#xff0c;以实现工程建设和运营的智能化管理。数字孪生对水利水电实现对工程建设的全生命周期管理&#xff0c;…...

编程日记 2023/2/23 21:36:12

7.4.分块查找

一.分块查找的算法思想&#xff1a; 1.实例&#xff1a; 以上述图片的顺序表为例&#xff0c; 该顺序表的数据元素从整体来看是乱序的&#xff0c;但如果把这些数据元素分成一块一块的小区间&#xff0c; 第一个区间[0,1]索引上的数据元素都是小于等于10的&#xff0c; 第二…...

编程新知 2026/1/27 18:11:42

FFmpeg 低延迟同屏方案

引言 在实时互动需求激增的当下&#xff0c;无论是在线教育中的师生同屏演示、远程办公的屏幕共享协作&#xff0c;还是游戏直播的画面实时传输&#xff0c;低延迟同屏已成为保障用户体验的核心指标。FFmpeg 作为一款功能强大的多媒体框架&#xff0c;凭借其灵活的编解码、数据…...

编程新知 2025/11/4 6:26:59

2.Vue编写一个app

1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...

编程新知 2026/1/31 6:04:01

GitHub 趋势日报 (2025年06月08日)

&#x1f4ca; 由 TrendForge 系统生成 | &#x1f310; https://trendforge.devlive.org/ &#x1f310; 本日报中的项目描述已自动翻译为中文 &#x1f4c8; 今日获星趋势图 今日获星趋势图 884 cognee 566 dify 414 HumanSystemOptimization 414 omni-tools 321 note-gen …...

编程新知 2025/12/13 1:32:15

【Java_EE】Spring MVC

目录 Spring Web MVC ​编辑注解 RestController RequestMapping RequestParam RequestParam RequestBody PathVariable RequestPart 参数传递 注意事项 ​编辑参数重命名 RequestParam ​编辑​编辑传递集合 RequestParam 传递JSON数据 ​编辑RequestBody ​…...

编程新知 2026/2/1 16:32:53

【RockeMQ】第2节｜RocketMQ快速实战以及核⼼概念详解（二）

升级Dledger高可用集群 一、主从架构的不足与Dledger的定位 主从架构缺陷 数据备份依赖Slave节点&#xff0c;但无自动故障转移能力&#xff0c;Master宕机后需人工切换&#xff0c;期间消息可能无法读取。Slave仅存储数据&#xff0c;无法主动升级为Master响应请求&#xff…...

编程新知 2025/9/2 3:37:40

【学习笔记】深入理解Java虚拟机学习笔记——第4章 虚拟机性能监控，故障处理工具

第2章 虚拟机性能监控&#xff0c;故障处理工具 4.1 概述 略 4.2 基础故障处理工具 4.2.1 jps:虚拟机进程状况工具 命令&#xff1a;jps [options] [hostid] 功能&#xff1a;本地虚拟机进程显示进程ID&#xff08;与ps相同&#xff09;&#xff0c;可同时显示主类&#x…...

编程新知 2026/1/15 1:34:10

【Java学习笔记】BigInteger 和 BigDecimal 类

BigInteger 和 BigDecimal 类 二者共有的常见方法 方法功能add加subtract减multiply乘divide除 注意点&#xff1a;传参类型必须是类对象 一、BigInteger 1. 作用&#xff1a;适合保存比较大的整型数 2. 使用说明 创建BigInteger对象 传入字符串 3. 代码示例 import j…...

编程新知 2025/11/8 15:39:00

苹果AI眼镜：从“工具”到“社交姿态”的范式革命——重新定义AI交互入口的未来机会

在2025年的AI硬件浪潮中，苹果AI眼镜（Apple Glasses）正在引发一场关于“人机交互形态”的深度思考。它并非简单地替代AirPods或Apple Watch，而是开辟了一个全新的、日常可接受的AI入口。其核心价值不在于功能的堆叠，而在于如何通过形态设计打破社交壁垒，成为用户“全天佩戴…...

编程新知 2025/12/22 12:09:15

前端开发者常用网站

Can I use网站&#xff1a;一个查询网页技术兼容性的网站 一个查询网页技术兼容性的网站Can I use&#xff1a;Can I use... Support tables for HTML5, CSS3, etc (查询浏览器对HTML5的支持情况) 权威网站&#xff1a;MDN JavaScript权威网站&#xff1a;JavaScript | MDN...

编程新知 2026/2/5 0:01:03