当前位置：首页 > news >正文

Hdoop学习笔记（HDP）-Part.03 资源规划

news 2026/2/11 3:42:49

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

三、资源规划

1.资源配置

主机名	FQDN	IP	服务器配置
hdp01	hdp01.hdp.com	192.168.111.201/24	8c、8G、200GB+50GB
hdp02	hdp02.hdp.com	192.168.111.202/24	8c、8G、200GB+50GB
hdp03	hdp03.hdp.com	192.168.111.203/24	8c、8G、200GB+3*100GB
hdp04	hdp04.hdp.com	192.168.111.204/24	8c、8G、200GB+3*100GB
hdp05	hdp05.hdp.com	192.168.111.205/24	8c、8G、200GB+3*100GB

2.磁盘规划

主机	磁盘分布
hdp01 hdp02	/dev/sda：系统盘 /dev/sdb：/data01，MySQL、zookeeper、NameNode、JournalNode
hdp03	/dev/sda：系统盘 /dev/sdb：/data01，zookeeper、DataNode、JournalNode /dev/sdc：/data02，DataNode /dev/sdd：/data03，DataNode
hdp04 hdp05	/dev/sda：系统盘 /dev/sdb：/data01，DataNode /dev/sdc：/data02，DataNode /dev/sdd：/data03，DataNode

3.组件规划

组件		版本	hdp01	hdp02	hdp03	hdp04	hdp05
ansible		2.9.27	★
MySQL		5.7.25	★	★
Ambari-metrics	Metrics Collector	0.2.0	★
	Metrics Monitor		★	★	★	★	★
	Grafana		★
ZooKeeper	ZooKeeper Server	3.4.6	★	★	★
ZooKeeper	ZooKeeper Client	3.4.6				★	★
HDFS	NameNode	3.1.1.3.1	★	★
	DataNode				★	★	★
	JournalNode		★	★	★
	zkfc		★	★
YARN	ResourceManager	3.1.1	★	★
	NodeManager				★	★	★
	HistoryServer			★
	TimelineService			★
	Timeline Service Reader		★
	Registry DNS		★
OpenLDAP	openldap-server	2.4.44	★	★
	openldap-client		★	★	★	★	★
	migrationtools		★	★
	phpldapadmin		★	★
keepalived		v1.3.5				★	★
HaProxy		1.5.18				★	★
kerberos	Krb5-server	1.15.1	★	★
kerberos	krb5-workstation	1.15.1	★	★	★	★	★
Ranger	Ranger Admin	1.2.0.3.1	★	★
Ranger	UserSync	1.2.0.3.1		★
Hive	HiveServer2	3.1.0	★	★
Hive	MetaStore	3.1.0	★	★
Tez		0.9.1	★	★	★	★	★
HBase	HMaster	2.0.2	★	★
HBase	RegionServer	2.0.2			★	★	★
Spark	Spark2 History Server	2.3.0	★
Flink	client	1.9.3	★	★	★	★	★
Kafka	broker	2.0.0			★	★	★
Kafka	kafka manager	2.0.0.2	★
Flume	flume	1.9.0			★	★	★

Hdoop学习笔记（HDP）-Part.03 资源规划

编程日记 2023/12/4 11:55:18

SQL -高阶3

zstarling 字符串拼接与类型转换最大，最小值，提取日期部分的数值日期截断字符串拼接与类型转换新语法SQL delete from public.basiclaw_qr_staff_ac ct where batch_date || data_dt || :: date and biz_line || biz_line || ;详解该 SQL 语句…...

编程日记 2023/12/4 11:53:15

HarmonyOS4.0系列——03、声明式UI、链式编程、事件方法、以及自定义组件简单案例

HarmonyOS4.0系列——03、声明式UI、链式编程、事件方法、以及自定义组件简单案例声明式 UI ArkTS以声明方式组合和扩展组件来描述应用程序的UI，同时还提供了基本的属性、事件和子组件配置方法，帮助开发者实现应用交互逻辑。如果组件的接口定义没有包…...

编程日记 2023/12/4 11:52:15

播放器开发(六)：音频帧处理并用SDL播放

目录学习课题：逐步构建开发播放器【QT5 FFmpeg6 SDL2】步骤 AudioOutPut模块 1、初始化【分配缓存、读取信息】 2、开始线程工作【从队列读帧->重采样->SDL回调->写入音频播放数据->SDL进行播放】主要代码分配缓存 // 对于样本队列 av_audio_…...

编程日记 2023/12/4 11:51:14

Qt 问题记录

问题记录运行时出现的问题运行出现的warning QWidget::repaint: Recursive repaint detected在paintEvent中使用painter绘制了线段、图片，移动了QWidget，加入了下面代码导致的 QApplication::processEvents();屏蔽后没有出现该warning QApplicati…...

编程日记 2023/12/4 11:50:12

Go 语言真正有什么用处？

在其十几年的发展过程中，Google 的Go 编程语言已经从 alpha 极客的好奇心发展成为世界上一些最重要的云原生软件项目背后经过考验的编程语言。为什么Docker、Kubernetes等项目的开发者会选择 Go ？Go 的定义特征是什么？它与其他编程语言有何…...

编程日记 2023/12/4 11:45:08

贪心 55. 跳跃游戏 45.跳跃游戏 II

55. 跳跃游戏题目： 给定非负数组，初始位置在数组第一格，数组值是可以选择的最大跳跃步数，判断能不能达到数组末尾。示例 1: * 输入: [2,3,1,1,4] * 输出: true * 解释: 我们可以先跳 1 步，从位置 0 到达位置 1,…...

编程日记 2023/12/4 11:43:07

为XiunoBBS4.0开启redis缓存且支持密码验证

修改模块文件1 xiunoPHP/cache_redis.class.php: <?phpclass cache_redis {public $conf array();public $link NULL;public $cachepre ;public $errno 0;public $errstr ;public function __construct($conf array()) {if(!extension_loaded(Redis)) {return $thi…...

编程日记 2023/12/4 11:39:03

手把手教你写一个Shell脚本部署你的服务

我们都知道，在开发的过程中，有很多部署自己微服务的方式，其中有各种各样的不同操作，比如使用 docker 打包为镜像的方式，还有基础使用 jar 包的方式进行部署，但是呢？使用 jar 包部署，…...

编程日记 2023/12/4 11:38:02

银行数字化产品方案

在互联网及金融科技公司快速发展的时代背景下，银行客户普遍都意识到了自己在客户体验、客户洞察、产品服务方面受到的来自互联网的挑战。为了更好地面对各方面的挑战，传统的业务模式必须革新。传统银行都在积极进行数字化转型。同时，也要面对…...

编程日记 2023/12/4 11:37:01

C# datagridview控件绑定数据库中表中数据的方式-3

1.如下图所示，为数据库中的一张表结构，注意该表中共有11个字段 2.首先在窗体后台代码中拖入一个datagridview控件，并在窗体加载时，给datagridview控件添加列，添加的方式如下所示：请注意，每个列…...

编程日记 2023/12/4 11:36:00

Amazon CodeWhisperer 正式发布可免费供个人使用

文章作者：sunny 亚马逊云科技日前推出了实时 AI 编程助手 Amazon CodeWhisperer，包括个人套餐和专业套餐，所有开发人员均可免费使用个人套餐。Amazon CodeWhisperer 让开发人员能够保持专注、高效，帮助他们快速、安全地编写代码&a…...

编程日记 2023/12/4 11:34:59

el-table根据返回数据回显选择复选框

接口给你返回一个集合，然后如果这个集合里面的status2，就把这一行的复选框给选中注意： 绑定的ref :row-key"getRowKeys" this.$refs.multiTableInst.toggleRowSelection(this.list[i], true); <el-table :data"list"…...

编程日记 2023/12/4 11:33:58

代码随想录算法训练营第四十二天 _ 动态规划_01背包问题。

学习目标： 动态规划五部曲： ① 确定dp[i]的含义 ② 求递推公式 ③ dp数组如何初始化 ④ 确定遍历顺序 ⑤ 打印递归数组 ---- 调试引用自代码随想录！ 60天训练营打卡计划！ 学习内容： 二维数组处理01背包问题听起来…...

编程日记 2023/12/4 11:32:57

会话 cookie 及隐私的那些事

什么是会话 Cookie？会话 Cookie 的概念非常简单。会话 Cookie，也称为临时 Cookie 或内存 Cookie，是网站在浏览会话期间存储在用户计算机或设备上的小数据片段。它是由网站生成并由您的浏览器存储和使用的多种 Cookie 之一。常规 Cookie 或“持久”Cookie 是通常在您的…...

编程日记 2023/12/4 11:31:56

前端知识笔记（二十九）———MySQL通配符和正则表达式

一、通配符 1.% 匹配0，1，多个字符，但不匹配NULL 2._ 匹配单个字符 3.[charlist] 匹配字符列中的任何单一字符 4.[^charlist] 或 [!charlist] 匹配不在字符列中的任何单一字符二、正则表达式通配符的LIKE替换为REGEXP LIKE 匹配整个列&…...

编程日记 2023/12/4 11:26:51

C#网络编程（System.Net.Sockets命名空间）

目录一、Socket类 1.示例源码 2.生成效果二、TcpClient类和TcpListener类 1.示例源码 2.生成效果三、UdpClient类 1.示例源码 2.生成效果 System.Net.Sockets命名空间主要提供制作Sockets网络应用程序的相关类，其中Socket类、TcpClient类、TcpListener类…...

编程日记 2023/12/4 11:25:50

linux 系统重装 ssh 连接失败

一.错误描述 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED 二.解决方案输入以下指令： ssh-keygen -R XXX（ip地址） 按照我的例子（ip:10.165.7.136），会返回以下信息: 重新尝试连…...

编程日记 2023/12/4 11:21:47

stream流操作List对象，指定属性，取差集、交集

差集 // 差集 (list1 - list2 list1 中不同数据)List<Person> reduce1 list1.stream().filter(a -> !list2.stream().map(b -> b.getAge() "&" b.getName()).collect(Collectors.toList()).contains(a.getAge() "&" a.getName()…...

编程日记 2023/12/4 11:19:45

计算机相关行业在大数据库时代下的潮流和趁势

还记得当初自己为什么选择计算机？ 随着数据的爆炸性增长，数据科学和数据分析成为了热门的领域。这些专业涉及处理和分析大规模数据集的技术和方法，以从中提取有价值的信息和洞察。数据科学家和数据分析师在各个行业中的需求不断增加&#xf…...

编程日记 2023/12/4 11:18:44

国防科技大学计算机基础课程笔记02信息编码

1.机内码和国标码国标码就是我们非常熟悉的这个GB2312,但是因为都是16进制，因此这个了16进制的数据既可以翻译成为这个机器码，也可以翻译成为这个国标码，所以这个时候很容易会出现这个歧义的情况； 因此，我们的这个国…...

编程新知 2026/2/8 4:37:15

Vue2 第一节_Vue2上手_插值表达式{{}}_访问数据和修改数据_Vue开发者工具

文章目录 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染2. 插值表达式{{}}3. 访问数据和修改数据4. vue响应式5. Vue开发者工具--方便调试 1.Vue2上手-如何创建一个Vue实例,进行初始化渲染准备容器引包创建Vue实例 new Vue()指定配置项 ->渲染数据准备一个容器,例如: …...

编程新知 2026/2/7 10:59:19

在QWebEngineView上实现鼠标、触摸等事件捕获的解决方案

这个问题我看其他博主也写了，要么要会员、要么写的乱七八糟。这里我整理一下，把问题说清楚并且给出代码，拿去用就行，照着葫芦画瓢。问题在继承QWebEngineView后，重写mousePressEvent或event函数无法捕获鼠标按下事…...

编程新知 2025/6/11 3:07:32

DingDing机器人群消息推送

文章目录 1 新建机器人2 API文档说明3 代码编写 1 新建机器人点击群设置下滑到群管理的机器人，点击进入添加机器人选择自定义Webhook服务点击添加设置安全设置，详见说明文档成功后，记录Webhook 2 API文档说明点击设置说明查看自…...

编程新知 2026/1/30 4:18:53

脑机新手指南（七）：OpenBCI_GUI：从环境搭建到数据可视化（上）

一、OpenBCI_GUI 项目概述 （一）项目背景与目标 OpenBCI 是一个开源的脑电信号采集硬件平台，其配套的 OpenBCI_GUI 则是专为该硬件设计的图形化界面工具。对于研究人员、开发者和学生而言，首次接触 OpenBCI 设备时，往…...

编程新知 2026/2/3 4:26:32

【从零开始学习JVM | 第四篇】类加载器和双亲委派机制(高频面试题)

前言： 双亲委派机制对于面试这块来说非常重要，在实际开发中也是经常遇见需要打破双亲委派的需求，今天我们一起来探索一下什么是双亲委派机制，在此之前我们先介绍一下类的加载器。目录编辑前言： 类加载器 1. …...

编程新知 2026/1/23 7:37:12

人工智能 - 在Dify、Coze、n8n、FastGPT和RAGFlow之间做出技术选型

在Dify、Coze、n8n、FastGPT和RAGFlow之间做出技术选型。这些平台各有侧重，适用场景差异显著。下面我将从核心功能定位、典型应用场景、真实体验痛点、选型决策关键点进行拆解，并提供具体场景下的推荐方案。一、核心功能定位速览平台核心定位技术栈亮…...

编程新知 2025/8/8 13:20:37

macOS 终端智能代理检测

🧠 终端智能代理检测：自动判断是否需要设置代理访问 GitHub 在开发中，使用 GitHub 是非常常见的需求。但有时候我们会发现某些命令失败、插件无法更新，例如： fatal: unable to access https://github.com/ohmyzsh/oh…...

编程新知 2026/1/22 15:34:33

Java 与 MySQL 性能优化：MySQL 慢 SQL 诊断与分析方法详解

文章目录一、开启慢查询日志，定位耗时SQL1.1 查看慢查询日志是否开启1.2 临时开启慢查询日志1.3 永久开启慢查询日志1.4 分析慢查询日志二、使用EXPLAIN分析SQL执行计划2.1 EXPLAIN的基本使用2.2 EXPLAIN分析案例2.3 根据EXPLAIN结果优化SQL 三、使用SHOW PROFILE…...

编程新知 2026/1/23 0:14:48

Mac flutter环境搭建

一、下载flutter sdk 制作 Android 应用 | Flutter 中文文档 - Flutter 中文开发者网站 - Flutter 1、查看mac电脑处理器选择sdk 2、解压 unzip ~/Downloads/flutter_macos_arm64_3.32.2-stable.zip \ -d ~/development/ 3、添加环境变量命令行打开配置环境变量文件 ope…...

编程新知 2026/1/29 7:12:33

三、资源规划

1.资源配置

2.磁盘规划

3.组件规划

相关文章：