大数据运维项目二大数据分布式集群

图1.集群基础配置Linux 集群基础配置全流程详解网络 / 时钟 / SSH 免密 / JDK 部署在大数据、云计算等分布式场景中集群基础环境配置是所有服务搭建的前置步骤直接决定后续 Hadoop、Spark 等组件能否稳定运行。本文基于实战经验梳理 Linux 集群标准化的 4 大核心配置步骤全程可直接复制执行帮你一次性搞定集群环境搭建。一、环境准备说明本文基于CentOS 7系统以 3 节点集群1 个 master 节点 2 个 slave 节点为例所有默认以root用户执行所有节点均需执行。图2.网络配置二、核心配置 1网络配置集群节点间必须保证网络互通、IP 固定这是集群通信的基础。1. 进入网络配置目录cd /etc/sysconfig/network-scripts/vi ifcfg-ens0修改核心配置项关键参数如下BOOTPROTOstatic # 静态IP替换原有的dhcp ONBOOTyes # 开机自启网卡 IPADDR192.168.1.100 # 自定义静态IP节点间IP需在同一网段 NETMASK255.255.255.0 # 子网掩码 GATEWAY192.168.1.2 # 网关与宿主机/路由器网关一致 DNS18.8.8.8 # DNS服务器三、核心配置 2时钟同步分布式集群对时间一致性要求极高如 HDFS、YARN 的心跳机制必须保证所有节点时间误差在 1s 以内。1. 安装 ntp 服务若已安装可跳过yum install -y ntp2. 启动 ntpd 服务并设置开机自启# 启动服务 systemctl start ntpd # 开机自启CentOS7兼容chkconfig命令也可使用systemctl enable ntpd chkconfig ntpd on # 验证状态 systemctl status ntpd # 验证时间同步 ntpq -p四、核心配置 3SSH 免密登录SSH 免密是集群节点间无密码通信的关键用于 Hadoop、Spark 等组件的节点间数据传输、脚本执行。1. 生成密钥对所有节点执行# 生成rsa密钥对全程回车无需设置密码 ssh-keygen -t rsa # 也可使用dsa算法与图中一致ssh-keygen -t dsa执行后会在/root/.ssh/目录下生成两个文件id_rsa私钥自己保留不可泄露id_rsa.pub公钥需要分发给其他节点2. 公钥合并在 master 节点执行# 进入.ssh目录 cd /root/.ssh/ # 将本机公钥追加到authorized_keys文件用于自身免密登录 cat id_rsa.pub authorized_keys # 再将slave1、slave2节点的公钥文件拷贝到master节点执行追加 # cat slave1_id_rsa.pub authorized_keys # cat slave2_id_rsa.pub authorized_keys # 也可使用图中命令cp id_rsa.pub authorized_keys仅单节点多节点需合并图2.网络配置五、Linux 网络配置核心基础命令先掌握这些高频命令是排查网络问题、配置环境的基础所有命令均基于 CentOS 7/8 系统验证可直接复制执行。1. 日常操作高频命令表格功能命令补充说明清屏reset比clear更彻底可解决终端乱码问题查看 IP 地址ifconfigCentOS 7 最小化安装默认无此命令报错时执行yum install net-tools安装查看主机名hostname快速查看当前系统主机名用于集群节点区分修改主机名hostnamectl set-hostname xxx永久修改主机名无需重启即可生效xxx为自定义主机名如master检查网络连通性ping www.baidu.com测试外网连通性CtrlC终止 ping 命令2. 临时联网命令hdclient部分教学环境 / 定制系统中用于快速临时联网的命令可快速获取动态 IP适合临时测试网络生产环境不推荐使用建议配置静态 IP。六、虚拟机三大联网模式深度解析VMware 等虚拟机软件提供 3 种核心联网模式不同模式适用场景完全不同新手最容易混淆下面逐一拆解1. 桥接模式Bridged核心原理虚拟机直接连接物理网络相当于在物理交换机上新增一台独立设备与宿主机处于同一网段。特点虚拟机拥有独立的公网 / 局域网 IP可被局域网内其他设备直接访问不依赖宿主机网络只要物理网络通虚拟机就能联网适合需要对外提供服务、局域网内多设备互访的场景缺点IP 可能被 DHCP 分配冲突需要手动配置静态 IP 避免问题2. NAT 模式Network Address Translation网络地址转换核心原理虚拟机通过宿主机的网络进行地址转换上网虚拟机网段与宿主机网段隔离由虚拟机软件分配独立子网。特点无需手动配置 IP默认自动获取新手友好虚拟机不占用物理网段 IP不会与局域网其他设备冲突仅宿主机可访问虚拟机局域网其他设备无法直接访问最适合个人学习、单机测试场景也是图中标注的重点模式缺点无法被外部设备直接访问不适合生产环境集群部署3. 仅主机模式Host-Only核心原理虚拟机与宿主机组成独立的私有网络完全隔离外网仅宿主机与虚拟机、虚拟机之间可互访。特点绝对安全无外网访问风险适合生产环境内网集群仅用于虚拟机内部通信无法访问外网适合搭建完全隔离的测试环境、生产内网集群缺点默认无法联网需额外配置才能访问外网、图3.虚拟机网络配置无线环境下 Linux 虚拟机永久联网配置全攻略桥接模式 静态 IP很多同学在笔记本无线环境下搭建 Linux 虚拟机时总会遇到「重启就断网、IP 频繁变动、集群节点无法互通」的问题核心原因就是没有正确配置桥接模式 静态 IP 永久联网。本文结合实战截图手把手带你完成无线环境下虚拟机的永久联网配置从模式选择到 DNS 配置全程可直接落地彻底解决无线环境下的网络痛点。七、配置前的核心思路无线环境下我们的目标是让虚拟机像物理机一样拥有固定的静态 IP开机自动联网且能和宿主机、局域网内其他设备互通核心方案就是二、第一步虚拟机网络模式正确配置关键很多新手桥接模式配置失败就是因为模式选错了我们先把虚拟机的网络适配器配置正确1. 打开虚拟机网络适配器设置在 VMware 中选中目标虚拟机 → 点击「编辑虚拟机设置」→ 找到「网络适配器」。三、第二步获取宿主机无线网卡的网络信息配置静态 IP 前必须先获取宿主机无线网卡的IP、子网掩码、网关、DNS确保虚拟机的网络参数和宿主机完全匹配这是无线环境下配置成功的核心。1. 打开 Windows 命令提示符按下WinR输入cmd打开命令行窗口。2. 执行命令查看完整网络信息ipconfig /all第三步Linux 虚拟机静态 IP 永久配置CentOS 7 为例拿到宿主机的网络信息后我们在 Linux 中配置静态 IP实现永久联网。1. 进入网络配置目录cd /etc/sysconfig/network-scripts/2. 编辑网卡配置文件vi ifcfg-ens333. 修改核心配置项关键# 1. 将BOOTPROTO从dhcp改为static静态IP BOOTPROTOstatic # 2. 确保ONBOOTyes开机自启网卡 ONBOOTyes # 3. 新增静态IP配置和宿主机同网段IP未被占用 IPADDR192.168.31.200 # 自定义如宿主机是192.168.31.199虚拟机可设为192.168.31.200 NETMASK255.255.255.0 # 和宿主机子网掩码一致 GATEWAY192.168.31.1 # 和宿主机默认网关一致 DNS1192.168.31.1 # 和宿主机DNS服务器一致也可填公共DNS如8.8.8.84. 重启网络服务生效配置# CentOS 7 重启网络 systemctl restart network # 验证IP配置 ifconfig # 验证网络连通性 ping www.baidu.com # 验证宿主机互通 ping 宿主机IP图4.zookeeper简介一、ZooKeeper 到底是什么这句话拆解开来其实包含了三个核心信息本质它是一个开源的服务器程序可以部署在多台服务器上组成集群核心能力分布式协调解决分布式系统中多节点协同的各种难题核心特性高度可靠保证在部分节点故障时服务依然稳定可用用大白话来说ZooKeeper 就是分布式系统里的「大管家」专门帮你解决多台服务器协同工作时的各种麻烦事而且这个管家非常靠谱几乎不会掉链子。二、为什么分布式系统需要 ZooKeeper我们先想一个问题如果只有一台服务器我们需要 ZooKeeper 吗答案是完全不需要。单台服务器自己就能搞定所有事情不存在「多节点协同」的问题。但一旦系统变成分布式架构多台服务器组成集群就会出现一堆单节点不存在的难题就像课件里说的Solr应用界大佬和 Hadoop大数据服务界大佬都用 ZooKeeper 提供集群管理足以见得它在分布式系统中的核心地位。集群里有多少台服务器活着谁是主节点、谁是从节点多个服务同时修改同一个数据怎么保证不冲突服务配置怎么统一管理怎么让所有节点同步更新分布式锁怎么实现怎么保证多个节点的操作顺序三、ZooKeeper 都被谁用了正因为 ZooKeeper 解决了分布式系统的核心痛点它已经成为大数据生态的「基础设施」几乎所有主流框架都深度依赖它大数据领域Hadoop、HBase、Kafka、Storm、Flink 等用它做集群管理、主从选举、配置同步搜索领域Solr、Elasticsearch早期版本用它做集群节点管理、分布式锁微服务领域Dubbo 等服务框架用它做服务注册与发现中间件领域HBase、Redis 集群用它做主从选举、故障转移八、总结ZooKeeper 不是一个业务系统而是分布式系统的基础设施。它的核心价值就是把分布式系统中最复杂的「协调问题」标准化、组件化让开发者不用再重复造轮子专注于业务本身。