大数据运维--大数据分布式集群

01.运维工程师都有哪些职位一图胜千言针对运维工程师在公司都有哪些岗位我们不妨看看下面这张图2.大数据运维的工作职责【职责1】规划部署01 根据业务规划和未来业务演进评估集群 规模、存储规模、算力需求、技术选型等。02 大数据生态组件高可用部署安全合规保障。03 开发人员使用集群方式规划、权限配置。【职责2】故障排查01 对产线环境产生的服务停止卡死、集群节点失败失联、主从切换、RPC性能问题进行排查并进行复盘。02 对作业失败、作业卡死、数据误删除、数据丢失等问题进行排障并进行复盘。【职责3】管理变更01 根据监控的存储指标、资源指标、性能指标或业务调整进行集群的扩容上线、退役下线、数据均衡、数据清理。02 根据需求变化进行权限修改、参数修改、集群访问方式修改。03 变更方案编写、评审变更流程梳理建设、变更记录留痕。一、hadoop概念Hadoop 是一个开源的分布式计算和存储框架由 Apache 基金会开发和维护。Hadoop 为庞大的计算机集群提供可靠的、可伸缩的应用层计算和存储支持它允许使用简单的编程模型跨计算机群集分布式处理大型数据集并且支持在单台计算机到几千台计算机之间进行扩展。Hadoop 使用 Java 开发所以可以在多种不同硬件平台的计算机上部署和使用。其核心部件包括分布式文件系统 (Hadoop DFSHDFS) 和 MapReduce。二、 Hadoop核心组件Hadoop HDFS分布式文件存储系统解决海量数据存储Hadoop YARN集群资源管理和任务调度框架解决资源任务调度Hadoop MapReduce分布式计算框架解决海量数据计算了解分布式计算框架——MapReduce(1) MapReduce简介MapReduce是Hadoop的核心计算框架是用于大规模数据集大于1TB并行运算的编程模型主要包括Map映射和Reduce规约两个阶段。MapReduce的核心思想是当启动一个MapReduce任务时Map端将会读取HDFS上的数据将数据映射成所需要的键值对类型并传至Reduce端。Reduce端接收Map端键值对类型的中间数据并根据不同键进行分组对每一组键相同的数据进行处理得到新的键值对并输出至HDFS。(2) MapReduce工作原理一个完整的MapReduce过程包含数据的输入与分片、Map阶段数据处理、ShuffleSort阶段数据整合、Reduce阶段数据处理、数据输出等阶段。根据设置的分片大小划分文件得到一到多个文件块一个文件块对应一个Map针对所有键相同的数据对其值进行整合整合后的数据传送到Reduce端处理3了解HDFS① 读取输入数据从HDFS分布式文件系统中读取的根据所设置的分片大小对文件重新分片Split。② Map阶段数据将以键值对的形式被读入键的值一般为每行首字符与文件最初始位置的偏移量即中间所隔字符个数值为该行的数据记录。根据具体的需求对键值对进行处理映射成新的键值对将新的键值对传输至Reduce端。③ ShuffleSort阶段将同一个Map中输出的键相同的数据先进行整合减少传输的数据量并且在整合后将数据按照键进行排序。④ Reduce阶段针对所有键相同的数据对数据进行规约形成新的键值对。⑤ 输出阶段将数据文件输出至HDFS输出的文件个数和Reduce的个数一致如果只有一个Reduce那么输出的只有一个数据文件默认命名为“part-r-00000”4. 了解集群资源管理器——YARN(1) YARN简介① YARN是Hadoop的资源管理器提交应用至YARN上执行可以提高资源在集群的利用率加快执行速率。② Hadoop YARN的目的是使得Hadoop数据处理能力超越MapReduce。③ YARN的另一个目标就是拓展Hadoop使得YARN不仅可以支持MapReduce计算而且还可以很方便地管理如Hive、HBase、Pig、Spark/Shark等组件的应用程序。① ResourceManager简称RM一个全局的资源管理器负责整个系统的资源管理和分配主要由两个组件构成即调度器Scheduler和应用程序管理器Applications Manager,ASM)。调度器负责将系统中的资源分配给各个正在运行的应用程序不从事任何与具体应用程序相关的工作如监控或跟踪应用程序的执行状态等也不负责重新启动因应用程序行失败或硬件故障而导致的失败任务。应用程序管理器负责处理客户端提交的任务以及协商第一个Container包装资源的对象以供ApplicationMaster 运行并且在Application Master失败时会将其重新启动。其中,Container 是YARN中的资源承载它封装了某个节点上的多维度资源如内存、CPU、磁盘、网络等。当Application Master 向 ResourceManager 申请资源时ResourceManager为ApplicationMaster 返回的资源就是使用Container 表示的。YARN会为每个任务分配一个Container且该任务只能使用该Container 中描述的资源。②NodeManager简称NM每个节点上的资源和任务管理器。一方面它会定时地向ResourceManager 汇报本节点上的资源使用情况和各个Container的运行状态另一方面它将接收并处理来自 ApplicationMaster 的Container 启动或停止等各种请求。③ ApplicationMaster简称AM在用户提交每个应用程序时系统会生成一个ApplicationMaster 并将其添加到提交的应用程序里。ApplicationMaster 的主要功能如下。与ResourceManager 调度器协商以获取资源用Container 表示。将得到的任务进行进一步的分配。与NodeManager 通信以启动或停止任务。监控所有任务运行状态在任务运行失败时重新为任务申请资源并重启任务。④ Client Application客户端应用程序。客户端将应用程序提交到ResourceManager时首先将创建一个Application 上下文对象再设置 ApplicationMaster 必需的资源请求信息最后提交至ResourceManager。2YARN的工作流程。YARN从提交任务到完成任务的整个工作流程如下YARN的工作流程用户通过客户端提交一个应用程序到YARN中进行处理其中包括 ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。ResourceManager 为该应用程序分配第一个Container并与分配的Container 所在位置的NodeManager 通信要求NodeManager 在这个Container 中启动应用程序的ApplicationMaster。该Container 用于启动 ApplicationMaster 和 ApplicationMaster后续的命令。ApplicationMaster 启动后先向 ResourceManager 注册这样用户就可以直接通过ResourceManager 查看应用程序的运行状态再为提交的应用程序所需要执行的各个任务申请资源并监控任务的运行状态直至运行结束即重复步骤④~⑦。图1-7所示的示例应用程序需要执行两个Map任务和一个Reduce任务因此需要轮番执行步骤④~⑦共3次先执行Map任务再执行Reduce任务。ApplicationMaster 采用轮询的方式通过远程进程调用Remote Procedure Call,RPC)协议向ResourceManager 申请和领取资源。因此多个应用程序同时提交时不一定是第一个应用程序先执行。一旦 ApplicationMaster 申请到资源便与资源对应的 NodeManager 通信要求NodeManager 在分配的资源中启动任务。NodeManager 为任务设置好运行环境包括环境变量、Jar包、二进制程序等后将任务启动命令写入一个脚本中并通过运行该脚本启动任务。被启动的任务开始执行各个任务通过某个RPC 协议向 ApplicationMaster 汇报运行的状态和进度以便让ApplicationMaster 随时掌握各个任务的运行状态从而可以在任务失败时重新启动任务。在应用程序运行过程中用户可随时通过RPC协议向ApplicationMaster查询应用程序的当前运行状态。应用程序运行完成后ApplicationMaster 向ResourceManager进行注销释放资源。关闭客户端与 ApplicationMaster。Hadoop生态1. Hbase介绍HBase是一个针对非结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。提供了对大规模数据的随机、实时读写访问。保存的数据可以使用MapReduce进行处理。将数据存储和并行计算很好地结合在一起。应用场景大数据量(TB级数据)且有快速随机访问的需求如淘宝交易记录等。及时响应用户的需求。业务场景简单不需要关系型数据库中的很多特殊操作如交叉查询、连接查询等2. Hive介绍Hive是建立在Hadoop上的数据仓库基础构架提供了一系列的工具可存储、查询和分析存储在Hadoop中的大规模数据定义了一种类SQL语言为HQL(Hive Query Language)HQL语句在Hive的底层将被转换为复杂的MapReduce程序运行在Hadoop大数据台上.应用场景大数据集的批处理作业如网络日志分析3. Pig介绍Pig是一个基于Hadoop的大规模数据分析框架。提供的类SQL语言为Pig Lalin。PigLatin语言的编译器会将类SQL的数据分析请求转换成一系列经过优化处理的MapReduce程序进行计算。支持的数据格式非常灵活可以自由转化并且在运算过程中用关系进行存储减少了文件的输出。应用场景 对数据存储的要求较低适用于非结构化的数据集支持复合数据类型如Map、Tuple、Bag等。支持常见的数据操作如筛选、排序和连接。适用于日志数据的处理。雅虎和推特均采用了Pig处理数据。4. Sqoop介绍Sqoop是一款开源的工具。主要用于在Hadoop与关系型数据库(如MySQL、PoslgreSQL等)之间传输数据可以将一个关系型数据库中的数据导人至Hadoop的HDFS中也可以将HDFS的数据导出至关系型数据库中。应用场景对于结构化数据库采用Sqoop进行数据传输是合适的可以实现结构化数据库中的数据并行批量人库至HDFS进行存储。5. Flume介绍Flume是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输系统。支持在日志系统中定制各类数据发送方用于收集数据。可以对数据进行简单处理并传输至各种数据接收方。应用场景日志文件的采集。6. Oizie介绍Oozie是基于Hadoop的调度器编写xml格式的文件制定调度流程可以调度MapReduce、Pig、Hive、Shell等任务。当一个工作任务中需要调用几个任务时一个任务完成再启动另一个是比较麻烦的在这种情况下即可使用Oozie将任务串联通过Oozie调动整个任务进程。7. ZooKeerer介绍ZooKeeper可解决分布式环境下的数据管理问题如统一命名、状态同步、集群管理、配同步等。ZooKeeper的使用主要是为了保证集群各项功能正常进行并在出现异常时能够及时通知处理保持数据一致性是对整个集群的监控。8. Mahout介绍Mahout的主要目标是创建一些可扩展的机器学习领城经典算法旨在帮助开发人员更加方便快捷地创建智能应用程序。现已包含了聚类、分类、推荐(协同过滤)和关联规则等广泛使用的机器学习算法。除了算法外Mahout还包含数据输人和输出的工具、与其他存储工具(如MySQL、MongoDB等)集成等支持架构。应用场景通过提供机器学习算法包使得用户在使用的过程中能够直接通过调用算法包缩短编程时间同时也减少用户复杂的算法程序对资源的消耗。Hadoop应用场景02分布式大数据集群框架规划的必要性03 Windows环境下Linux仿真工具