Hdoop学习笔记（HDP）-Part.03 资源规划
目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume
三、资源规划
1.资源配置
| 主机名 | FQDN | IP | 服务器配置 |
|---|---|---|---|
| hdp01 | hdp01.hdp.com | 192.168.111.201/24 | 8c、8G、200GB+50GB |
| hdp02 | hdp02.hdp.com | 192.168.111.202/24 | 8c、8G、200GB+50GB |
| hdp03 | hdp03.hdp.com | 192.168.111.203/24 | 8c、8G、200GB+3*100GB |
| hdp04 | hdp04.hdp.com | 192.168.111.204/24 | 8c、8G、200GB+3*100GB |
| hdp05 | hdp05.hdp.com | 192.168.111.205/24 | 8c、8G、200GB+3*100GB |
2.磁盘规划
| 主机 | 磁盘分布 |
|---|---|
| hdp01 hdp02 | /dev/sda：系统盘 /dev/sdb：/data01，MySQL、zookeeper、NameNode、JournalNode |
| hdp03 | /dev/sda：系统盘 /dev/sdb：/data01，zookeeper、DataNode、JournalNode /dev/sdc：/data02，DataNode /dev/sdd：/data03，DataNode |
| hdp04 hdp05 | /dev/sda：系统盘 /dev/sdb：/data01，DataNode /dev/sdc：/data02，DataNode /dev/sdd：/data03，DataNode |
3.组件规划
| 组件 | 版本 | hdp01 | hdp02 | hdp03 | hdp04 | hdp05 | |
| ansible | 2.9.27 | ★ | |||||
| MySQL | 5.7.25 | ★ | ★ | ||||
| Ambari-metrics | Metrics Collector | 0.2.0 | ★ | ||||
| Metrics Monitor | ★ | ★ | ★ | ★ | ★ | ||
| Grafana | ★ | ||||||
| ZooKeeper | ZooKeeper Server | 3.4.6 | ★ | ★ | ★ | ||
| ZooKeeper Client | ★ | ★ | |||||
| HDFS | NameNode | 3.1.1.3.1 | ★ | ★ | |||
| DataNode | ★ | ★ | ★ | ||||
| JournalNode | ★ | ★ | ★ | ||||
| zkfc | ★ | ★ | |||||
| YARN | ResourceManager | 3.1.1 | ★ | ★ | |||
| NodeManager | ★ | ★ | ★ | ||||
| HistoryServer | ★ | ||||||
| TimelineService | ★ | ||||||
| Timeline Service Reader | ★ | ||||||
| Registry DNS | ★ | ||||||
| OpenLDAP | openldap-server | 2.4.44 | ★ | ★ | |||
| openldap-client | ★ | ★ | ★ | ★ | ★ | ||
| migrationtools | ★ | ★ | |||||
| phpldapadmin | ★ | ★ | |||||
| keepalived | v1.3.5 | ★ | ★ | ||||
| HaProxy | 1.5.18 | ★ | ★ | ||||
| kerberos | Krb5-server | 1.15.1 | ★ | ★ | |||
| krb5-workstation | ★ | ★ | ★ | ★ | ★ | ||
| Ranger | Ranger Admin | 1.2.0.3.1 | ★ | ★ | |||
| UserSync | ★ | ||||||
| Hive | HiveServer2 | 3.1.0 | ★ | ★ | |||
| MetaStore | ★ | ★ | |||||
| Tez | 0.9.1 | ★ | ★ | ★ | ★ | ★ | |
| HBase | HMaster | 2.0.2 | ★ | ★ | |||
| RegionServer | ★ | ★ | ★ | ||||
| Spark | Spark2 History Server | 2.3.0 | ★ | ||||
| Flink | client | 1.9.3 | ★ | ★ | ★ | ★ | ★ |
| Kafka | broker | 2.0.0 | ★ | ★ | ★ | ||
| kafka manager | 2.0.0.2 | ★ | |||||
| Flume | flume | 1.9.0 | ★ | ★ | ★ | ||
相关文章：
Hdoop学习笔记（HDP）-Part.03 资源规划
目录 Part.01 关于HDP Part.02 核心组件原理 Part.03 资源规划 Part.04 基础环境配置 Part.05 Yum源配置 Part.06 安装OracleJDK Part.07 安装MySQL Part.08 部署Ambari集群 Part.09 安装OpenLDAP Part.10 创建集群 Part.11 安装Kerberos Part.12 安装HDFS Part.13 安装Ranger …...
SQL -高阶3
zstarling 字符串拼接与类型转换最大，最小值，提取日期部分的数值日期截断 字符串拼接与类型转换 新语法SQL delete from public.basiclaw_qr_staff_ac ct where batch_date || data_dt || :: date and biz_line || biz_line || ;详解 该 SQL 语句…...
HarmonyOS4.0系列——03、声明式UI、链式编程、事件方法、以及自定义组件简单案例
HarmonyOS4.0系列——03、声明式UI、链式编程、事件方法、以及自定义组件简单案例 声明式 UI ArkTS以声明方式组合和扩展组件来描述应用程序的UI，同时还提供了基本的属性、事件和子组件配置方法，帮助开发者实现应用交互逻辑。 如果组件的接口定义没有包…...
：音频帧处理并用SDL播放)
播放器开发(六)：音频帧处理并用SDL播放
目录 学习课题：逐步构建开发播放器【QT5 FFmpeg6 SDL2】 步骤 AudioOutPut模块 1、初始化【分配缓存、读取信息】 2、开始线程工作【从队列读帧->重采样->SDL回调->写入音频播放数据->SDL进行播放】 主要代码 分配缓存 // 对于样本队列 av_audio_…...
Qt 问题记录
问题记录 运行时出现的问题 运行出现的warning QWidget::repaint: Recursive repaint detected在paintEvent中使用painter绘制了线段、图片，移动了QWidget，加入了下面代码导致的 QApplication::processEvents();屏蔽后没有出现该warning QApplicati…...
Go 语言真正有什么用处？
在其十几年的发展过程中，Google 的Go 编程语言已经从 alpha 极客的好奇心发展成为世界上一些最重要的云原生软件项目背后经过考验的编程语言。 为什么Docker、Kubernetes等项目的开发者会选择 Go ？Go 的定义特征是什么？它与其他编程语言有何…...
贪心 55. 跳跃游戏 45.跳跃游戏 II
55. 跳跃游戏 题目： 给定非负数组，初始位置在数组第一格，数组值是可以选择的最大跳跃步数，判断能不能达到数组末尾。 示例 1: * 输入: [2,3,1,1,4] * 输出: true * 解释: 我们可以先跳 1 步，从位置 0 到达 位置 1,…...
为XiunoBBS4.0开启redis缓存且支持密码验证
修改模块文件1 xiunoPHP/cache_redis.class.php: <?phpclass cache_redis {public $conf array();public $link NULL;public $cachepre ;public $errno 0;public $errstr ;public function __construct($conf array()) {if(!extension_loaded(Redis)) {return $thi…...
手把手教你写一个Shell脚本部署你的服务
我们都知道，在开发的过程中，有很多部署自己微服务的方式，其中有各种各样的不同操作，比如使用 docker 打包为镜像的方式，还有基础使用 jar 包的方式进行部署，但是呢？使用 jar 包部署，…...
银行数字化产品方案
在互联网及金融科技公司快速发展的时代背景下，银行客户普遍都意识到了自己在客户体验、客户洞察、产品服务方面受到的来自互联网的挑战 。为了更好地面对各方面的挑战，传统的业务模式必须革新。传统银行都在积极进行数字化转型。同时，也要面对…...
C# datagridview控件 绑定数据库中表中数据的方式-3
1.如下图所示，为数据库中的一张表结构，注意该表中共有11个字段 2.首先在窗体后台代码中拖入一个datagridview控件，并在窗体加载时，给datagridview控件添加列，添加的方式如下所示：请注意，每个列…...
Amazon CodeWhisperer 正式发布可免费供个人使用
文章作者：sunny 亚马逊云科技日前推出了实时 AI 编程助手 Amazon CodeWhisperer，包括个人套餐和专业套餐，所有开发人员均可免费使用个人套餐。Amazon CodeWhisperer 让开发人员能够保持专注、高效，帮助他们快速、安全地编写代码&a…...
el-table根据返回数据回显选择复选框
接口给你返回一个集合，然后如果这个集合里面的status2，就把这一行的复选框给选中 注意： 绑定的ref :row-key"getRowKeys" this.$refs.multiTableInst.toggleRowSelection(this.list[i], true); <el-table :data"list"…...
代码随想录算法训练营第四十二天 _ 动态规划_01背包问题。
学习目标： 动态规划五部曲： ① 确定dp[i]的含义 ② 求递推公式 ③ dp数组如何初始化 ④ 确定遍历顺序 ⑤ 打印递归数组 ---- 调试 引用自代码随想录！ 60天训练营打卡计划！ 学习内容： 二维数组处理01背包问题 听起来…...
会话 cookie 及隐私的那些事
什么是会话 Cookie？ 会话 Cookie 的概念非常简单。 会话 Cookie，也称为临时 Cookie 或内存 Cookie，是网站在浏览会话期间存储在用户计算机或设备上的小数据片段。 它是由网站生成并由您的浏览器存储和使用的多种 Cookie 之一。 常规 Cookie 或“持久”Cookie 是通常在您的…...
前端知识笔记（二十九）———MySQL通配符和正则表达式
一、通配符 1.% 匹配0，1，多个字符，但不匹配NULL 2._ 匹配单个字符 3.[charlist] 匹配字符列中的任何单一字符 4.[^charlist] 或 [!charlist] 匹配不在字符列中的任何单一字符 二、正则表达式 通配符的LIKE替换为REGEXP LIKE 匹配整个列&…...
C#网络编程（System.Net.Sockets命名空间）
目录 一、Socket类 1.示例源码 2.生成效果 二、TcpClient类和TcpListener类 1.示例源码 2.生成效果 三、UdpClient类 1.示例源码 2.生成效果 System.Net.Sockets命名空间主要提供制作Sockets网络应用程序的相关类，其中Socket类、TcpClient类、TcpListener类…...
linux 系统重装 ssh 连接失败
一.错误描述 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED 二.解决方案 输入以下指令： ssh-keygen -R XXX（ip地址） 按照我的例子（ip:10.165.7.136），会返回以下信息: 重新尝试连…...
stream流操作List对象，指定属性，取差集、交集
差集 // 差集 (list1 - list2 list1 中不同数据)List<Person> reduce1 list1.stream().filter(a -> !list2.stream().map(b -> b.getAge() "&" b.getName()).collect(Collectors.toList()).contains(a.getAge() "&" a.getName()…...
计算机相关行业在大数据库时代下的潮流和趁势
还记得当初自己为什么选择计算机？ 随着数据的爆炸性增长，数据科学和数据分析成为了热门的领域。这些专业涉及处理和分析大规模数据集的技术和方法，以从中提取有价值的信息和洞察。数据科学家和数据分析师在各个行业中的需求不断增加…...
地震勘探——干扰波识别、井中地震时距曲线特点
目录 干扰波识别反射波地震勘探的干扰波 井中地震时距曲线特点 干扰波识别 有效波：可以用来解决所提出的地质任务的波；干扰波：所有妨碍辨认、追踪有效波的其他波。 地震勘探中，有效波和干扰波是相对的。例如，在反射波…...
K8S认证|CKS题库+答案| 11. AppArmor
目录 11. AppArmor 免费获取并激活 CKA_v1.31_模拟系统 题目 开始操作： 1）、切换集群 2）、切换节点 3）、切换到 apparmor 的目录 4）、执行 apparmor 策略模块 5）、修改 pod 文件 6）、…...
盘古信息PCB行业解决方案：以全域场景重构，激活智造新未来
一、破局：PCB行业的时代之问 在数字经济蓬勃发展的浪潮中，PCB（印制电路板）作为 “电子产品之母”，其重要性愈发凸显。随着 5G、人工智能等新兴技术的加速渗透，PCB行业面临着前所未有的挑战与机遇。产品迭代…...
Redis相关知识总结（缓存雪崩，缓存穿透，缓存击穿，Redis实现分布式锁，如何保持数据库和缓存一致）
文章目录 1.什么是Redis？2.为什么要使用redis作为mysql的缓存？3.什么是缓存雪崩、缓存穿透、缓存击穿？3.1缓存雪崩3.1.1 大量缓存同时过期3.1.2 Redis宕机 3.2 缓存击穿3.3 缓存穿透3.4 总结 4. 数据库和缓存如何保持一致性5. Redis实现分布式…...
C# SqlSugar：依赖注入与仓储模式实践
C# SqlSugar：依赖注入与仓储模式实践 在 C# 的应用开发中，数据库操作是必不可少的环节。为了让数据访问层更加简洁、高效且易于维护，许多开发者会选择成熟的 ORM（对象关系映射）框架，SqlSugar 就是其中备受…...
NFT模式：数字资产确权与链游经济系统构建
NFT模式：数字资产确权与链游经济系统构建 ——从技术架构到可持续生态的范式革命 一、确权技术革新：构建可信数字资产基石 1. 区块链底层架构的进化 跨链互操作协议：基于LayerZero协议实现以太坊、Solana等公链资产互通，通过零知…...
USB Over IP专用硬件的5个特点
USB over IP技术通过将USB协议数据封装在标准TCP/IP网络数据包中，从根本上改变了USB连接。这允许客户端通过局域网或广域网远程访问和控制物理连接到服务器的USB设备（如专用硬件设备），从而消除了直接物理连接的需要。USB over IP的…...
腾讯云V3签名
想要接入腾讯云的Api，必然先按其文档计算出所要求的签名。 之前也调用过腾讯云的接口，但总是卡在签名这一步，最后放弃选择SDK，这次终于自己代码实现。 可能腾讯云翻新了接口文档，现在阅读起来，清晰了很多&…...
redis和redission的区别
Redis 和 Redisson 是两个密切相关但又本质不同的技术，它们扮演着完全不同的角色： Redis: 内存数据库/数据结构存储 本质： 它是一个开源的、高性能的、基于内存的 键值存储数据库。它也可以将数据持久化到磁盘。 核心功能： 提供丰…...
Ubuntu系统多网卡多相机IP设置方法
目录 1、硬件情况 2、如何设置网卡和相机IP 2.1 万兆网卡连接交换机，交换机再连相机 2.1.1 网卡设置 2.1.2 相机设置 2.3 万兆网卡直连相机 1、硬件情况 2个网卡n个相机 电脑系统信息，系统版本：Ubuntu22.04.5 LTS；内核版本…...