大数据运维 | 项目一：大数据分布式集群搭建全攻略

版权声明本文为博主原创文章遵循 CC 4.0 BY-SA 版权协议转载请附上原文出处链接和本声明。前言作为一名大数据运维工程师你是否遇到过这样的问题问题场景描述1机器A可正常上网但机器B无法连接网络2机器A能访问机器B但机器B无法访问机器A3如何批量修改100台设备的相同配置参数4使用IP地址可正常访问但通过主机名无法访问5机器A发送数据至机器B但机器B未收到这些都是大数据集群运维中经常遇到的网络与通信问题。而大数据运维师的职责就是在集群出现无数问题的情况下保证业务不停机、正常运转。图1 运维师职责本文将带你系统学习大数据分布式集群的搭建全过程从技术回顾到环境规划再到Windows环境下Linux仿真工具的使用一步步帮你建立完整的集群部署知识体系。一、大数据技术回顾1. 谷歌三驾马车谷歌在大数据领域的三大核心技术奠定了现代大数据技术的基础GFSGoogle File System→HDFS分布式文件系统MapReduce分布式计算框架BigTable→HBase分布式数据库图2 谷歌三驾马车2. 什么是HadoopHadoop是由Apache基金会开发的分布式系统基础架构由Doug Cutting创建。它主要包含两大核心模块模块全称功能描述HDFSHadoop分布式文件系统提供分布式存储服务MapReduce-实现分布式计算处理3. Hadoop生态系统图3 Hadoop生态系统围绕Hadoop衍生出了丰富的生态组件组件版本参考说明JDK1.8基础运行环境Hadoop基于Java开发Hadoop2.7.2分布式计算框架核心组件Flume1.7.0日志数据采集与传输工具Hive2.2.0数据仓库解决方案HBase1.2.6分布式列式数据库Sqoop1.4.6结构化数据迁移工具ZooKeeper3.4.6分布式系统协调服务MySQL5.7.12关系型数据库存储⚠️注意SQL Server等关系型数据库不是Hadoop集群必需的软件。4. Hadoop应用场景海量数据存储与处理日志分析推荐系统用户行为分析数据仓库建设图4 Hadoop应用场景二、分布式大数据集群规划1. 为什么要做集群规划Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情。你可能花费很久的时间搭建运行环境最终却因某个小问题无法创建成功。因此在正式开始搭建集群前做好集群规划是很有必要的。2. 集群规划内容1集群拓扑规划采用经典的master/slave架构模式图5 集群拓扑规划任务示例用4台主机搭建Hadoop 2.0集群表格主机名角色IP地址masterMaster节点172.16.206.16masterback备用Master172.16.206.26slave1Slave节点172.16.206.27slave2Slave节点172.16.206.292主机规划确定集群规模节点数量确定各节点硬件配置CPU、内存、磁盘确定操作系统版本如CentOS 6.6/7.x图6 主机规划3软件规划表格软件版本建议作用JDK1.8Java运行环境Hadoop2.7.x / 3.x分布式计算框架ZooKeeper3.4.x分布式协调服务可选4数据目录规划建议统一规划数据存储目录bash复制/opt/modules/ # 软件安装目录 /opt/data/ # 数据存储目录 /opt/logs/ # 日志目录 /opt/scripts/ # 脚本目录图7 数据目录规划5Hosts文件配置位置/etc/hosts作用建立IP地址与主机名之间的映射实现快速方便的访问。配置方法bash复制[roothadoop1 ~]# vi /etc/hosts添加如下内容bash复制172.16.206.16 master 172.16.206.26 masterback 172.16.206.27 slave1 172.16.206.29 slave2三、Windows环境下Linux仿真工具在Windows环境下搭建大数据集群需要用到以下三个核心工具1. VMware Workstation Pro功能桌面虚拟计算机软件可在一台实体机器上模拟完整的网络环境同时运行多个不同的操作系统。主要特点✅ 支持虚拟网络配置✅ 实时快照功能✅ 拖曳共享文件夹✅ 支持PXE网络引导下载与安装官方试用版http://www.vmware.com/cn/products/workstation/workstation-evaluation.htm许可证密钥示例5A02H-AU243-TZJ49-GTC7K-3C61N创建虚拟机步骤打开VMware Workstation点击创建新的虚拟机选择典型或自定义配置选择稍后安装操作系统选择操作系统类型Linux → CentOS 6/7设置虚拟机名称和存储位置分配磁盘容量建议20GB以上完成创建安装Linux操作系统选中创建的虚拟机双击光驱设备选择使用ISO映像文件加载CentOS镜像开启虚拟机迅速勾选已连接和启动时连接进入Linux图形安装界面设置root密码如123456完成安装并重启图8 安装Linux操作系统2. SecureCRT功能支持SSH2、SSH1、Telnet、Serial等多种协议的终端仿真程序用于Windows下登录Linux服务器。核心特性标签化SSH对话方便管理多个连接丰富的设置选项美化终端主题创建Session步骤点击File → Connect在Connect窗口中创建Sessions目录如linux新建Session输入服务器IP和用户名保存配置双击连接图9 创建Session常用快捷键表格快捷键功能鼠标左键选中复制选中内容鼠标右键粘贴剪贴板内容Alt Enter全屏Alt P调出sftp窗口Ctrl F4关闭当前sessionAlt F4关闭SecureCRT软件Alt C打开连接标签3. SecureFX功能安全的文件传输工具支持拖拽操作实现Windows与Linux之间的文件传输。使用方法打开SecureFX在Session Manager中选择要连接的服务器点击Connect File Transfer输入用户名和密码连接成功后即可进行文件拖拽传输图10 SecureFX四、常见问题速查表格问题现象可能原因解决方法A能上网B不能上网网络配置不一致检查B的网络适配器设置和IP配置A能访问B反之不行防火墙或网络策略限制检查防火墙规则关闭或配置允许访问100台机器修改同一参数批量管理需求使用脚本工具如ansible、pssh批量操作IP可访问主机名不可访问hosts文件未配置检查/etc/hosts文件添加IP-主机名映射A发信息B未收到网络不通或服务未启动检查网络连通性、防火墙、服务状态结语大数据分布式集群的搭建是一个系统性工程从环境规划到工具使用每一步都需要细心和耐心。本文从理论到实践从规划到操作全面介绍了集群搭建的核心知识点。