当前位置：首页 > news >正文

Hadoop学习笔记（HDP）-Part.03 资源规划

news 2026/3/30 23:45:14

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

三、资源规划

1.资源配置

主机名	FQDN	IP	服务器配置
hdp01	hdp01.hdp.com	192.168.111.201/24	8c、8G、200GB+50GB
hdp02	hdp02.hdp.com	192.168.111.202/24	8c、8G、200GB+50GB
hdp03	hdp03.hdp.com	192.168.111.203/24	8c、8G、200GB+3*100GB
hdp04	hdp04.hdp.com	192.168.111.204/24	8c、8G、200GB+3*100GB
hdp05	hdp05.hdp.com	192.168.111.205/24	8c、8G、200GB+3*100GB

2.磁盘规划

主机	磁盘分布
hdp01 hdp02	/dev/sda：系统盘 /dev/sdb：/data01，MySQL、zookeeper、NameNode、JournalNode
hdp03	/dev/sda：系统盘 /dev/sdb：/data01，zookeeper、DataNode、JournalNode /dev/sdc：/data02，DataNode /dev/sdd：/data03，DataNode
hdp04 hdp05	/dev/sda：系统盘 /dev/sdb：/data01，DataNode /dev/sdc：/data02，DataNode /dev/sdd：/data03，DataNode

3.组件规划

组件		版本	hdp01	hdp02	hdp03	hdp04	hdp05
ansible		2.9.27	★
MySQL		5.7.25	★	★
Ambari-metrics	Metrics Collector	0.2.0	★
	Metrics Monitor		★	★	★	★	★
	Grafana		★
ZooKeeper	ZooKeeper Server	3.4.6	★	★	★
ZooKeeper	ZooKeeper Client	3.4.6				★	★
HDFS	NameNode	3.1.1.3.1	★	★
	DataNode				★	★	★
	JournalNode		★	★	★
	zkfc		★	★
YARN	ResourceManager	3.1.1	★	★
	NodeManager				★	★	★
	HistoryServer			★
	TimelineService			★
	Timeline Service Reader		★
	Registry DNS		★
OpenLDAP	openldap-server	2.4.44	★	★
	openldap-client		★	★	★	★	★
	migrationtools		★	★
	phpldapadmin		★	★
keepalived		v1.3.5				★	★
HaProxy		1.5.18				★	★
kerberos	Krb5-server	1.15.1	★	★
kerberos	krb5-workstation	1.15.1	★	★	★	★	★
Ranger	Ranger Admin	1.2.0.3.1	★	★
Ranger	UserSync	1.2.0.3.1		★
Hive	HiveServer2	3.1.0	★	★
Hive	MetaStore	3.1.0	★	★
Tez		0.9.1	★	★	★	★	★
HBase	HMaster	2.0.2	★	★
HBase	RegionServer	2.0.2			★	★	★
Spark	Spark2 History Server	2.3.0	★
Flink	client	1.9.3	★	★	★	★	★
Kafka	broker	2.0.0			★	★	★
Kafka	kafka manager	2.0.0.2	★
Flume	flume	1.9.0			★	★	★

Hadoop学习笔记（HDP）-Part.03 资源规划

编程日记 2023/12/6 22:06:04

一个最新国内可用的免费GPT4，Midjourney绘画网站+使用教程

一、前言 ChatGPT GPT4.0，Midjourney绘画，相信对大家应该不感到陌生吧？简单来说，GPT-4技术比之前的GPT-3.5相对来说更加智能，会根据用户的要求生成多种内容甚至也可以和用户进行创作交流。然而，GPT-4对普…...

编程日记 2023/12/6 22:05:04

深入了解Java8新特性-日期时间API之ZonedDateTime类

阅读建议嗨，伙计！刷到这篇文章咱们就是有缘人，在阅读这篇文章前我有一些建议： 本篇文章大概19000多字，预计阅读时间长需要10分钟以上。本篇文章的实战性、理论性较强，是一篇质量分数较高的技术干货文章&…...

编程日记 2023/12/6 22:03:02

使用Vue写一个日期选择器

在 Vue 中实现日期选择器的方法有很多，下面提供一个简单的实现方法。首先，在需要使用日期选择器的组件中引用 Vue 和 date-fns 库，date-fns 库是一个轻量级的 JavaScript 时间日期工具库，可以方便地处理日期的格式化和计算。 &…...

编程日记 2023/12/6 22:00:59

19、pytest通过mark标记测试函数

官方实例 [pytest] markers slow:marks tests as slow(deselect with -m "not slow")serial# content of test_mark.py import pytestpytest.mark.slow def test_mark_function():print("test_mark_function was invoked")assert 0解读与实操通过使用p…...

编程日记 2023/12/6 21:59:59

Linux环境变量与命令行参数

Linux环境变量与命令行参数一.命令行参数1.语法2.应用1:简易计算器二.环境变量1.环境变量的概念2.环境变量的作用3.进一步理解环境变量的作用4.常见环境变量5.导出环境变量(添加环境变量)6.环境变量的特性7.另一种获取环境变量的方式8.小功能:用于身份验证的代码9.补充:第三种…...

编程日记 2023/12/6 21:58:58

jQuery实现3D轮播图

通过CSS3的3D变换和jQuery Transit插件实现了一个3D旋转的图片轮播效果 HTML部分： div id“banner”：定义了一个id为"banner"的div标签，作为图片轮播的容器。 ul: 在"banner"中定义了一个无序列表，每个列表项…...

编程日记 2023/12/6 21:57:57

Java面试题（每天10题）-------连载（43）

目录 Spring篇 1、请举例说明Qualifier注解 2、构造方法注入和设值注入有什么区别？ 3、Spring框架中有哪些不同类型的事件？ 4、FileSystemResource和ClassPathResource有什么区别？ 5、Spring框架中都用到了哪些设计模式？ 6…...

编程日记 2023/12/6 21:55:55

Python高级数据结构——并查集（Disjoint Set）

Python中的并查集（Disjoint Set）：高级数据结构解析并查集是一种用于处理集合的数据结构，它主要支持两种操作：合并两个集合和查找一个元素所属的集合。在本文中，我们将深入讲解Python中的并查集&#xff0…...

编程日记 2023/12/6 21:53:53

pytorch学习9-优化器学习

系列文章目录 pytorch学习1-数据加载以及Tensorboard可视化工具pytorch学习2-Transforms主要方法使用pytorch学习3-torchvisin和Dataloader的使用pytorch学习4-简易卷积实现pytorch学习5-最大池化层的使用pytorch学习6-非线性变换（ReLU和sigmoid）pytorc…...

编程日记 2023/12/6 21:49:50

MySQL之锁

MySQL之锁锁是计算机在执行多线程或线程时用于并发访问同一共享资源时的同步机制，MySQL中的锁是在服务器层或者存储引擎层实现的，保证了数据访问的一致性与有效性 MySQL锁可以按模式分类为：乐观锁与悲观锁。按粒度分可以分为全局锁、表级锁…...

编程日记 2023/12/6 21:48:48

今日现货黄金最新建议

近期现货黄金价格再度逼近历史高位，很多本来在场外观望的投资者，都纷纷希望进场一试身手。然而大涨大跌的行情并不是很适合新手投资者参与，如果大家还没做好技术上的准备，可以多听听正规交易平台的专业人士的意见。在正式入市之前…...

编程日记 2023/12/6 21:47:48

基于混沌算法的图像加密解密系统

1.研究背景与意义项目参考AAAI Association for the Advancement of Artificial Intelligence 研究背景与意义： 随着信息技术的迅猛发展，图像的传输和存储已经成为现代社会中不可或缺的一部分。然而，随着互联网的普及和信息的快速传播&am…...

编程日记 2023/12/6 21:45:46

vscode插件离线下载

离线下载插件地址：https://marketplace.visualstudio.com/VSCode...

编程日记 2023/12/6 21:44:45

第二十一章总结

一、网络通信： 1.网络程序设计基础：网络程序设计编写的是与其他计算机进行通信的程序。 1.1局域网与互联网：为了实现两台计算机的通信，必须用一个网络线路连接两台计算机 2.网络协议：网络协议规定了计算机之间连接的…...

编程日记 2023/12/6 21:43:44

查看端口占用并杀死进程

1.安装查看工具 sudo yum install net-tools 2.查看占用情况 netstat -tunlp | grep 8089 3.杀死进程 kill -9 227...

编程日记 2023/12/6 21:41:43

前后端数据传输格式(上)

作者简介：大家好，我是smart哥，前中兴通讯、美团架构师，现某互联网公司CTO 联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬作为后端，写…...

编程日记 2023/12/6 21:40:42

maven的package和install命令有什么区别以及Maven常用命令与GAV坐标与Maven依赖范围与Maven依赖传递与依赖排除与统一声明版本号

maven的package和install命令有什么区别以及Maven常用命令与GAV坐标与Maven依赖范围与Maven依赖传递与依赖排除与统一声明版本号一: maven的package和install命令有什么区别一般都与clean命令结合使用 mvn package 生成target目录，编译、测试代码，…...

编程日记 2023/12/6 21:39:41

【动手学深度学习】(六)权重衰退

文章目录一、理论知识二、代码实现2.1从零开始实现2.2简洁实现【相关总结】主要解决过拟合一、理论知识 1、使用均方范数作为硬性限制（不常用） 通过限制参数值的选择范围来控制模型容量通常不限制偏移b 小的意味着更强的正则项使用均方范数作为柔…...

编程日记 2023/12/6 21:37:39

动手学习深度学习-跟李沐学AI-自学笔记(3)

一、深度学习硬件-CPU和GPU 芯片：Intel or AMD 内存：DDR4 显卡：nVidia 芯片可以和GPU与内存通信 GPU不能和内存通信 1. CPU 能算出每一秒能运算的浮点运算数（大概0.15左右） 1.1 提升CPU利用率 1.1.1 提升缓存…...

编程日记 2023/12/6 21:36:38

Origin绘图进阶：如何在现有图形上叠加散点图与等高线（附完整操作步骤）

Origin高级绘图技巧：散点图与等高线的完美叠加实战指南科研数据可视化中，单一图表往往难以全面展示复杂数据关系。当您需要在同一坐标系中同时呈现离散数据点与连续趋势时，散点图与等高线的组合堪称黄金搭档。这种混合图表特别适合展现发动机…...

编程新知 2026/3/30 23:02:16

原创：黄大年茶思屋难题揭榜第11期｜5道核心题精简公开·被退稿求技术指正

黄大年茶思屋难题揭榜第11期｜5道核心题精简公开被退稿求技术指正作者：华夏之光永存摘要这五道题我们已完整解题并提交黄大年茶思屋难题揭榜，最终被直接退稿，但平台未给出任何具体技术驳回理由、未指明缺陷、未提供修改方向。我…...

编程新知 2026/3/30 23:02:16

PowerBI进阶技巧：利用SWITCH函数实现动态自定义排序

1. 为什么需要自定义排序？ 在PowerBI报表设计中，数据排序是最基础却最容易被忽视的功能。系统默认提供的升序和降序排列，就像餐厅里只有"辣"和"不辣"两种选项，而实际业务场景往往需要"微辣""中…...

编程新知 2026/3/30 22:32:00

保姆级教程：用YOLOv11+PyQt5打造你的专属天气识别桌面应用（附完整源码）

从零构建基于YOLOv11的智能天气识别桌面应用窗外阴云密布，你是否曾好奇此刻的天气状况究竟如何？现代计算机视觉技术让机器也能像人类一样"看懂"天气。本文将带你完整实现一个能识别11种天气类型的桌面应用，从模型加载到界面交互&a…...

编程新知 2026/3/30 22:25:52

2026知识付费SaaS平台实测对比：创客匠人综合首选，断层领跑行业榜单

随着知识付费市场规模突破千亿大关（数据来源：艾瑞咨询2026年报告），越来越多内容创作者、教培机构和企业涌入这一赛道。但在选择SaaS平台时，用户却面临诸多痛点：功能卡顿影响用户体验、获客成本高企、私域运…...

编程新知 2026/3/30 21:41:05

Anthropic公司内容管理系统配置错误致大模型泄露引市场震荡

配置错误：Claude Mythos大模型意外泄露3月30日，据SiliconAngle报道，Anthropic公司内容管理系统发生配置错误，导致正在测试的新一代大语言模型Claude Mythos意外泄露。官方证实，该模型是公司“迄今为止构建的能力最强的…...

编程新知 2026/3/30 21:12:57

Listary vs Everything：Windows文件搜索工具终极对比（附实战技巧）

Listary vs Everything：Windows文件搜索工具终极对比（附实战技巧） 在Windows生态中，高效的文件搜索工具一直是生产力提升的关键。Listary和Everything作为两款备受推崇的解决方案，各自拥有独特的优势和使用场景。本文将…...

编程新知 2026/3/30 21:04:55

Qwen-Image-Edit-2511保姆级教程：零基础学会AI修图，效果惊艳

Qwen-Image-Edit-2511保姆级教程：零基础学会AI修图，效果惊艳 1. 前言：为什么选择Qwen-Image-Edit-2511 如果你还在为Photoshop复杂的操作界面头疼，或者想快速实现专业级的图片编辑效果，那么Qwen-Image-Edit-2511绝对…...

编程新知 2026/3/30 20:46:42

StructBERT情感分类实操手册：自定义示例文本添加方法

StructBERT情感分类实操手册：自定义示例文本添加方法 1. 引言：为什么需要自定义示例？ 当你第一次打开StructBERT情感分类的Web界面，可能会觉得它已经内置了不少例子，用起来挺方便。但用着用着，你就会发现…...

编程新知 2026/3/30 16:31:18

可视化拖拽组件库终极指南：响应式设计与适配方案完整解析

可视化拖拽组件库终极指南：响应式设计与适配方案完整解析【免费下载链接】visual-drag-demo 一个低代码（可视化拖拽）教学项目项目地址: https://gitcode.com/gh_mirrors/vi/visual-drag-demo 可视化拖拽组件库是现代低代码开发平台的…...

编程新知 2026/3/30 16:19:12

三、资源规划

1.资源配置

2.磁盘规划

3.组件规划

相关文章：