当前位置： 首页 > news >正文

Apache Hadoop生态-目录汇总-持续更新

news 2026/1/10 5:09:24

目录

1：系统服务分布图

3台分布式架构

1台单机架构

服务版本介绍

2：服务目录

存储相关

数据采集

任务调度

即席查询

数据可视化

集群监控

元数据管理

用户认证

权限管理

第三方windows客户端

1：系统服务分布图

3台分布式架构

node01(6G内存)

node02(6G内存)

node03(6G内存)

NameNode

√

√

DataNode

√

√

√

ResourceManager

√

√

NodeManager

√

√

√

JobHistoryServer

历史服务器

√

Zookeeper√√√

1台单机架构

node100(20G内存)

NameNode

√

DataNode

√

ResourceManager

√

NodeManager

√

JobHistoryServer

历史服务器

√
Zookeeper√

服务版本介绍

框架版本
java8
mysql5.7
zookeeper3.5.7
kafka2.12-2.2.0
hadoop3.2.2
hive3.1.2
hbase2.3.6
Elasticsearch7.8.0

ClickHouse

21.7.314
spark3.0.0
flink1.13.0
flume1.9.0
sqoop1.4.7
DataX3.0.0
Maxwell1.29.2
Cannal        1.1.2
Azkaban3.90.0
DolphinScheduler2.0.3
Superset1.3.2
Kylin3.0.1   4X要求spark3.1x
Presto0.189
Atlas2.1.0

2：服务目录

Mysql系列：Mysql5.7编译安装

Mysql系列：Mysql5.7 Docker安装

Apache Hadoop生态部署-安装Java8环境

Apache Hadoop生态部署-3台设置的免密登录，xsync分发脚本，jpsall脚本

存储相关

Apache Hadoop生态部署-zookeeper单机安装

Apache Hadoop生态部署-zookeeper分布式安装

Apache Hadoop生态部署-kafka单机安装

Apache Hadoop生态部署-kafka分布式安装

Apache Hadoop生态部署-hadoop单机安装

Apache Hadoop生态部署-hadoop伪分布式安装

Apache Hadoop生态部署-hadoop分布式安装(HA)

Apache Hadoop生态部署-hive单节点安装

Apache Hadoop生态部署-hbase单节点安装

Apache Hadoop生态部署-hbase分布式安装

Apache Hadoop生态部署-ClickHouse单节点安装

Apache Hadoop生态部署-ClickHouse分片集群安装

Apache Hadoop生态部署-Elasticsearch单节点安装

Apache Hadoop生态部署-Elasticsearch分片集群安装

数据采集

Apache Hadoop生态部署-Flume采集节点安装

Apache Hadoop生态部署-sqoop(离线数据同步)采集节点安装

Apache Hadoop生态部署-DataX(离线数据同步)采集节点安装

Apache Hadoop生态部署-Maxwell(实时数据同步)采集节点安装

Apache Hadoop生态部署-Cannal(实时数据同步)采集节点安装

任务调度

Apache Hadoop生态部署-Azkaban集群模式安装

Apache Hadoop生态部署-DolphinScheduler安装

即席查询

Apache Hadoop生态部署-Kylin安装

Apache Hadoop生态部署-Presto安装

Apache Hadoop生态部署-Druid安装

Apache Hadoop生态部署-Doris安装

数据可视化

Apache Hadoop生态部署-Superset安装

集群监控

Apache Hadoop生态部署-Zabbix安装

Apache Hadoop生态部署-Prometheus安装

元数据管理

Apache Hadoop生态部署-Atlas安装

用户认证

Apache Hadoop生态部署-Kerberos安装

Apache Hadoop生态部署-Kerberos集成hdfs

Apache Hadoop生态部署-Kerberos集成yarn

Apache Hadoop生态部署-Kerberos集成hive

Apache Hadoop生态部署-Kerberos集成hbase

权限管理

Apache Hadoop生态部署-Ranger安装

第三方windows客户端

Apache Hadoop生态部署-zookeeper客户端prettyZoo

Apache Hadoop生态部署-kafka客户端kafkatool

Apache Hadoop生态部署-DBeaver客户端-连接hive

Apache Hadoop生态部署-DBeaver客户端-连接hive+kerberos

Apache Hadoop生态部署-DBeaver客户端-连接hbase

Apache Hadoop生态部署-DBeaver客户端-连接hbase+kerberos

相关文章：

Apache Hadoop生态-目录汇总-持续更新

目录 1：系统服务分布图 3台分布式架构 1台单机架构 服务版本介绍 2：服务目录 存储相关 数据采集 任务调度 即席查询 数据可视化 集群监控 元数据管理 用户认证 权限管理 第三方windows客户端 1：系统服务分布图 3台分布式架构…...

编程日记 2023/2/23 21:57:10

「JVM 编译后话」编译器优化技术

后端编译（即时编译、提前编译）的目标时将字节码翻译成本地机器码，而难点是输出优化质量较高的机器码； 文章目录1. 优化技术概览2. 方法内联（Inlining）3. 逃逸分析（Escape Analysis）4…...

编程日记 2023/2/23 21:56:03

【python学习笔记】：输出与输入

01 输出方式 表达式语句、print()函数和使用文件对象的write()方法。 02 输出形式 格式化输出str.format()函数、转成字符串可以使用repr()或str()函数来实现。 (1)repr()：产生一个解释器易读的表达形式，便于字符串的拼接。 例：输出平方与…...

编程日记 2023/2/23 21:54:59

汽车电子社区交流宣传

http://t.csdn.cn/VSLO0http://t.csdn.cn/VSLO0 当今的汽车行业已经进入了数字化时代，汽车电子软件的开发变得越来越重要。在这个领域，开发者们需要应对各种挑战，包括复杂的硬件和软件交互、高效的嵌入式编程和安全性要求。为了帮助汽车电子…...

编程日记 2023/2/23 21:53:53

String、StringBuilder 和 StringBuffer 详解

碎碎念 这是一道老生常谈的问题了，字符串是不仅是 Java 中非常重要的一个对象，它在其他语言中也存在。比如 C、Visual Basic、C# 等。字符串使用 String 来表示，字符串一旦被创建出来就不会被修改，当你想修改StringBuffer 或者是 …...

编程日记 2023/2/23 21:52:49

windows服务器上传文件解决方案

1.说明 1.如果上传到linux系统，通常使用ftp相关技术，配合windows端的ftp客户端工具比如FileZilla等进行大文件的上传工作。 2.同理windows服务器也可以开启ftp服务用来传输大文件。 3.本文介绍偷懒方式（常规是开启windows的ftp服务&#xff0…...

编程日记 2023/2/23 21:51:42

Android Studio翻译插件推介（Translation）

前言 Android Studio翻译插件适合英语水平不太好的程序员（比如：我），最常用的翻译插件Translation和AndroidLocalize，本文主要讲解Translation，亲测可用。 先看看效果：这里是Android的API,任意选…...

编程日记 2023/2/23 21:50:37

DNS,DNS污染劫持,DNS加密

1. DNS（Domain Name System）DNS（Domain Name System）， 也叫网域名称系统，是互联网的一项服务。它实质上是一个 域名 和 IP 相互映射的分布式数据库.DNS（Domain Name Server，域名服务…...

编程日记 2023/2/23 21:49:27

【Python】如何度量优秀代码——静态分析工具

静态分析工具背景有哪些静态分析工具呢度量Python代码的静态属性度量Python的生态系统代码的坏味道在类层面上在方法层面上结语背景 静态代码分析工具能够提炼出丰富的代码静态属性信息，这使得程序员可以对代码的复杂性、可修改性和可读性有进一步的了解。 有哪些…...

编程日记 2023/2/23 21:48:21

Open3D 点云高程归一化（基于2维地面点，Python版本）

文章目录 一、简介二、实现代码三、实现效果参考资料一、简介 之前的博客中Open3D 点云高程归一化（基于地面点，Python版本）是基于三维空间进行最近地面点的查询操作，这里对其进行修改一下，将点云投影到水平面，基于二维空间进行最近地面点的查询，这种方式对一些较为陡峭的…...

编程日记 2023/2/23 21:47:15

动态系统的建模与分析

前言 CS小菜鸡控制理论入门 视频学习笔记 视频传送门：动态系统的建模与分析】9_一阶系统的频率响应_低通滤波器_Matlab/Simulink分析 拉普拉斯变换 F(s)L{f(t)}∫0∞f(t)e−stdtF(s)\mathcal{L}\{f(t)\}\int_0^\infty f(t)e^{-st}\mathrm{d}tF(s)L{f(t)}∫0∞​f(t)…...

编程日记 2023/2/23 21:46:09

QCC51XX---HCI log

高通在新的S3/S5以及往后新的平台上面，引入了一个新的调试功能。就是标题说的HCI log，他类似air trace那样用来分析蓝牙协议的，这样我们就可以很详细地找到通信协议之间哪个部分出了问题。以前我们都是通过抓包器抓air trace分析的，抓包器一个要几十万，学会这个功能就相当…...

编程日记 2023/2/23 21:45:04

Redis四 原理篇

《Redis四 原理篇》 提示: 本材料只做个人学习参考,不作为系统的学习流程,请注意识别!!! 《Redis四 原理篇》《Redis四 原理篇》1、原理篇-Redis数据结构1.1 Redis数据结构-动态字符串1.2 Redis数据结构-intset1.3 Redis数据结构-Dict1.4 Redis数据结构-ZipList1.4.1 Redis数据…...

编程日记 2023/2/23 21:43:58

从0开始写Vue项目-Vue实现数据渲染和数据的增删改查

从0开始写Vue项目-环境和项目搭建_慕言要努力的博客-CSDN博客从0开始写Vue项目-Vue2集成Element-ui和后台主体框架搭建_慕言要努力的博客-CSDN博客从0开始写Vue项目-Vue页面主体布局和登录、注册页面_慕言要努力的博客-CSDN博客从0开始写Vue项目-SpringBoot整合Mybatis-plus实现…...

编程日记 2023/2/23 21:42:50

AI技术的发展，人工智能对我们的生活有那些影响？

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一…...

编程日记 2023/2/23 21:41:44

Unity中的Mathf数学运算讲解（值得收藏）

Unity中的Mathf数学运算有哪些？ Mathf.Abs(f)绝对值 计算并返回指定参数 f 绝对值 例如： // 输出 10 Debug.log(Mathf.Abs(-10)) Debug.log(Mathf.Abs(10))Mathf.Sin正弦 static function Sin (f : float) : float 计算并返回以弧度为单位指定的角 f 的…...

编程日记 2023/2/23 21:40:36

ABBYY FineReader16最新PDF图片文字识别软件

ABBYY FineReader16是非常好的一款 OCR 识别软件（可以识别不可编辑的PDF和图片文件），操作非常简单。ABBYY FineReader 16是一款知名的OCR文字识别软件（图片文字识别）。ABBYY 16采用了ABBYY最新推出的基于AI的OCR技术&a…...

编程日记 2023/2/23 21:39:30

Leetcode14. 最长公共前缀

一、题目描述： 编写一个函数来查找字符串数组中的最长公共前缀。 如果不存在公共前缀，返回空字符串 “”。 示例 1： 输入：strs [“flower”,“flow”,“flight”] 输出：“fl” 示例 2： 输入：…...

编程日记 2023/2/23 21:38:23

JTT808jt1078

前言 交通部与2016年10月份推出了JT/T 1078-2016标准&#xff0c;全称是<道路运输车辆卫星定位系统视频通信协议> JTT808 808消息头内容如下表所示&#xff1a; 起始字节字段数据类型描述及要求0消息IDWORD2消息体属性WORD消息体属性格式结构图见图24终端手机号BCD[6…...

编程日记 2023/2/23 21:37:17

数字孪生加持，水利水电工程或将实现全生命周期管理

水利水电工程在数字孪生技术的加持&#xff0c;使得建设和运营更加高效和智能化&#xff0c;将工程中各种元素、过程和系统数字化&#xff0c;并建立数字孪生模型&#xff0c;以实现工程建设和运营的智能化管理。数字孪生对水利水电实现对工程建设的全生命周期管理&#xff0c;…...

编程日记 2023/2/23 21:36:12

多模态2025：技术路线“神仙打架”，视频生成冲上云霄

文&#xff5c;魏琳华 编&#xff5c;王一粟 一场大会&#xff0c;聚集了中国多模态大模型的“半壁江山”。 智源大会2025为期两天的论坛中&#xff0c;汇集了学界、创业公司和大厂等三方的热门选手&#xff0c;关于多模态的集中讨论达到了前所未有的热度。其中&#xff0c;…...

编程新知 2026/1/7 22:58:26

CVPR 2025 MIMO: 支持视觉指代和像素grounding 的医学视觉语言模型

CVPR 2025 | MIMO&#xff1a;支持视觉指代和像素对齐的医学视觉语言模型 论文信息 标题&#xff1a;MIMO: A medical vision language model with visual referring multimodal input and pixel grounding multimodal output作者&#xff1a;Yanyuan Chen, Dexuan Xu, Yu Hu…...

编程新知 2025/10/6 14:17:21

2021-03-15 iview一些问题

1.iview 在使用tree组件时&#xff0c;发现没有set类的方法&#xff0c;只有get&#xff0c;那么要改变tree值&#xff0c;只能遍历treeData&#xff0c;递归修改treeData的checked&#xff0c;发现无法更改&#xff0c;原因在于check模式下&#xff0c;子元素的勾选状态跟父节…...

编程新知 2025/12/28 21:28:04

生成 Git SSH 证书

&#x1f511; 1. ​​生成 SSH 密钥对​​ 在终端&#xff08;Windows 使用 Git Bash&#xff0c;Mac/Linux 使用 Terminal&#xff09;执行命令&#xff1a; ssh-keygen -t rsa -b 4096 -C "your_emailexample.com" ​​参数说明​​&#xff1a; -t rsa&#x…...

编程新知 2025/9/18 11:31:13

04-初识css

一、css样式引入 1.1.内部样式 <div style"width: 100px;"></div>1.2.外部样式 1.2.1.外部样式1 <style>.aa {width: 100px;} </style> <div class"aa"></div>1.2.2.外部样式2 <!-- rel内表面引入的是style样…...

编程新知 2026/1/1 5:21:19

Linux nano命令的基本使用

参考资料 GNU nanoを使いこなすnano基础 目录 一. 简介二. 文件打开2.1 普通方式打开文件2.2 只读方式打开文件 三. 文件查看3.1 打开文件时&#xff0c;显示行号3.2 翻页查看 四. 文件编辑4.1 Ctrl K 复制 和 Ctrl U 粘贴4.2 Alt/Esc U 撤回 五. 文件保存与退出5.1 Ctrl …...

编程新知 2026/1/4 4:51:08

[大语言模型]在个人电脑上部署ollama 并进行管理,最后配置AI程序开发助手.

ollama官网: 下载 https://ollama.com/ 安装 查看可以使用的模型 https://ollama.com/search 例如 https://ollama.com/library/deepseek-r1/tags # deepseek-r1:7bollama pull deepseek-r1:7b改token数量为409622 16384 ollama命令说明 ollama serve #&#xff1a…...

编程新知 2026/1/2 16:53:29

【无标题】湖北理元理律师事务所：债务优化中的生活保障与法律平衡之道

文/法律实务观察组 在债务重组领域&#xff0c;专业机构的核心价值不仅在于减轻债务数字&#xff0c;更在于帮助债务人在履行义务的同时维持基本生活尊严。湖北理元理律师事务所的服务实践表明&#xff0c;合法债务优化需同步实现三重平衡&#xff1a; 法律刚性&#xff08;债…...

编程新知 2026/1/4 14:59:01

记一次spark在docker本地启动报错

1&#xff0c;背景 在docker中部署spark服务和调用spark服务的微服务&#xff0c;微服务之间通过fegin调用 2&#xff0c;问题&#xff0c;docker容器中服务器来后&#xff0c;注册中心都有&#xff0c;调用服务也正常&#xff0c;但是调用spark启动任务后报错&#xff0c;报错…...

编程新知 2025/11/29 7:27:13

鸿蒙APP测试实战：从HDC命令到专项测试

普通APP的测试与鸿蒙APP的测试有一些共同的特征&#xff0c;但是也有一些区别&#xff0c;其中共同特征是&#xff0c;它们都可以通过cmd的命令提示符工具来进行app的性能测试。 其中区别主要是&#xff0c;对于稳定性测试的命令的区别&#xff0c;性能指标获取方式的命令的区…...

编程新知 2026/1/7 6:32:49