【Hadoop】建立圈内组件的宏观认识（大纲版）
Hadoop生态圈解析：各组件的主要功能及作用详解
Hadoop生态圈是由一系列开源组件组成的，这些组件共同构建了一个大规模分布式计算和存储平台。
01存储类型组件
-
HDFS
Hadoop体系的核心组件之一，它是一个分布式文件系统，被设计用于存储大规模数据集，并在Hadoop集群中进行高可靠性的数据存储。 -
HBase
HBase是一种分布式、可扩展的面向列的NoSQL数据库，它基于Hadoop的HDFS和ZooKeeper来提供可靠的、高性能的数据存储和实时读写访问。
02计算分析引擎组件
-
MapReduce
MapReduce 是 Hadoop 生态圈中的一个重要组件，主要用于实现分布式计算,将大规模数据集划分为较小的数据块，并在集群中的多台计算机上进行并行处理，单独使用的场景较少，通常与其他组件相结合以实现更强大的数据处理能力。 -
Hive
Hive提供了一个类似于 SQL 的查询语言（一套方便的数据查询和处理工具），用于在 Hadoop 分布式环境中进行数据提取、转换和加载（ETL）操作。 -
Spark
Spark是一个快速、通用的大数据处理引擎，具备内存计算和分布式计算的能力。 -
Kylin
Kylin在Hadoop体系下的主要功能是提供快速的多维数据分析查询和管理数据立方体的能力，帮助用户更高效地进行数据分析和决策支持。 -
Impala
Impala是一个高性能、低延迟的分布式SQL查询引擎，主要用于快速查询和分析大规模数据集。 -
Flink
Flink提供了一个强大的分布式计算框架，适用于大规模数据处理和分析的场景，具有低延迟、高吞吐量和高可靠性的特点。
03任务调度和集群管理组件
-
YARN
YARN（Yet Another Resource Negotiator）是Hadoop生态圈中的一个关键组件，主要用于集群资源的管理和作业调度。 -
Oozie
Oozie 是一个用于协调和管理 Hadoop 作业流程的工作流调度器。它可以让用户定义和执行复杂的工作流程，以便在大数据处理过程中自动化和调度各种作业任务。 -
Zookeeper
Zookeeper是一个开源的分布式协调服务，主要用于分布式应用程序的协调和配置管理。 -
Dolphin scheduler
Dolphin Scheduler 是一个分布式的、易扩展的、高可靠的任务调度系统，主要用于解决大规模数据处理任务的调度和执行问题。
04其他
-
Pig
Pig是一个基于Hadoop的开源平台，用于处理大规模的数据集。它提供了一个高级脚本语言Pig Latin，使得用户可以通过编写简单的脚本来进行数据分析和数据处理操作。 -
Sqoop
Sqoop 是一个用于在关系型数据库和 Hadoop 环境之间进行数据传输的工具。它可以将结构化数据从关系型数据库（如MySQL、Oracle等）导入到Hadoop（如HDFS）中进行分析，也可以将数据从Hadoop导出到关系型数据库中。 -
Flume
Flume是Hadoop生态系统中的一个分布式、可靠的日志收集和聚合系统。它的主要功能和作用是实时地从各种数据源（如日志文件、消息队列等）收集、移动和聚合大量的数据到Hadoop或其他存储系统中。 -
Ambari
Ambari是一个开源的集群管理工具，用于简化和管理Hadoop集群的安装、配置和监控。它提供了一个易于使用的网页界面，方便管理员进行集群配置、启动和停止服务、监控集群状态等操作。用户可以通过Ambari快速设置和部署Hadoop集群，并对集群进行实时监控，以便及时发现和解决问题。 -
Tez
Tez是一个在Hadoop上构建高性能数据处理应用程序的框架。它是一个可插拔的执行引擎，通过将数据处理任务转换为有向无环图（DAG）来实现高效的批处理和交互式查询。 -
Altas
Atlas是Apache Hadoop生态系统中的一个项目。它是作为Hadoop的一部分而开发的，旨在为Hadoop集群中的数据资产提供元数据管理和发现服务。Atlas可以与其他Hadoop生态系统的组件（如Hive、HDFS、HBase等）集成，并能够为这些组件提供元数据管理功能。通过与Hadoop的集成，Atlas能够更好地了解和管理整个Hadoop集群中的数据资产，提供更全面的数据资产管理和查询能力。 -
Hue
Hue（Hadoop User Experience）是一个开源的Web界面，为Hadoop生态系统提供了用户友好的图形化界面和工具。 -
Range
Range用户权限是指对Hadoop集群中的数据或资源进行访问控制的功能。Hadoop通过权限控制来限制哪些用户或用户组可以执行特定的操作，以保护数据的安全性。
【Hadoop】建立圈内组件的宏观认识
相关文章：
【Hadoop】建立圈内组件的宏观认识（大纲版）
Hadoop生态圈解析：各组件的主要功能及作用详解 Hadoop生态圈是由一系列开源组件组成的，这些组件共同构建了一个大规模分布式计算和存储平台。 01存储类型组件 HDFS Hadoop体系的核心组件之一，它是一个分布式文件系统，被设计用于存…...
NFS主从同步Rsync、sersync2
准备工作检查selinux 防火墙 #关闭 selinux sed -i s/^SELINUX.*/SELINUXdisabled/ /etc/selinux/config #关闭防火墙 systemctl stop firewalld;systemctl disable firewalld1.安装nfs相关包 # 所有节点安装nfs相关包 yum install nfs-utils -y systemctl enable nfs-utils …...
uniapp项目中，在原有数据中增加选中的状态，数据不改变
uniapp项目中，在原有数据中增加选中的状态，选中后打印的数据显示有变化，然而文本的数据并没有发生变化 看代码 export default {data() {return {thicate: [{ id: 1, text: "Item 1" },{ id: 2, text: "Item 2" },{ id…...
WPF自定义控件
控件模板 顾名思义就是在原有的控件上进行模版修改成自己需要的样式 把ProgressBar修改为一个水液面的进度条 <Window x:Class"XH.CustomLesson.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://s…...
Java中的全局异常处理器 -- GlobalExceptionHandler
开发记录：全局异常处理器笔记 import lombok.extern.slf4j.Slf4j; import org.mybatis.spring.MyBatisSystemException; import org.springframework.beans.factory.annotation.Value; import org.springframework.data.redis.RedisConnectionFailureException; im…...
R语言文本挖掘-万字详细解析tm包
tm包（Text Mining Package）是R语言中用于文本挖掘的强大工具包，它提供了一系列的功能来处理和分析文本数据。偶然看到这个包，我们一起看看其中的基本功能： 数据载入：tm包支持从多种数据源载入文本数据&…...
JWT中的Token
1.JWT是什么？ jwt（json web token的缩写）是一个开放标准（rfc7519），它定义了一种紧凑的、自包含的方式，用于在各方之间以json对象安全地传输信息，此信息可以验证和信任，因…...
苹果在iOS 18.1中向第三方开发者开放iPhone的NFC芯片
苹果公司今天宣布，开发者很快就能首次在自己的应用程序中提供 NFC 交易功能，而目前这主要是Apple Pay独有的功能。从今年晚些时候的 iOS 18.1 开始，开发者将可以使用新的 API 提供独立于 Apple Pay 和 Apple Wallet 的应用内非接触式交易。 这…...
系统开发之禁止卸载应用名单
本文目的主要是记录自己系统（Android7.1系统）开发实现代码，以便后期通用的功能可以直接使用，不需要再去通过搜索然后筛选再验证的繁琐流程，大大减小自己的开发时间。 我实现思路是在系统内新增自己的数据库用来记录禁止…...
wait 和 notify
目录 wait() 方法 notify() 方法 notifyAll() 方法 nofity 和 notifyAll wait 和 notify wait 和 sleep 的区别 wait 和 join 的区别 由于线程之间是抢占式执行的，因此，线程之间执行的先后顺序难以预知，但是，在实际开发中&…...
docker 启动 mongo,redis,nacos.
docker run --name mymongodb -e MONGO_INITDB_ROOT_USERNAMEadmin -e MONGO_INITDB_ROOT_PASSWORDXiaoyusadsad -p 27017:27017 -v /path/to/mongo-data:/data/db -d mongodb/mongodb-community-server:4.4.18-ubuntu2004-v 的目录必须是绝对目录 目录必须 chmod 777 /path/…...
Docker Swarm 搭建
Docker Swarm 搭建 1. 环境介绍 操作系统Centos 7Centos 7Centos 7内核版本Linux 3.10.0-957.el7.x86_64Linux 3.10.0-957.el7.x86_64Linux 3.10.0-957.el7.x86_64主机名称swarm-managerswarm-worker1swarm-worker2IP192.168.1.100192.168.1.200192.168.1.250Docker Domain20…...
浅述TSINGSEE青犀EasyCVR视频汇聚平台与海康安防平台的区别对比
在我们的很多项目中都遇到过用户的咨询：TSINGSEE青犀EasyCVR视频汇聚平台与海康平台的区别在哪里？确实，在安防视频监控领域，EasyCVR视频汇聚平台与海康威视平台是两个备受关注的选择。它们各自具有独特的功能和优势，适…...
设计模式系列：策略模式的设计与实践
一、背景 策略模式（Strategy Pattern）是一种行为设计模式，它定义了一系列的算法，并将每一个算法封装起来，使它们可以相互替换。策略模式让算法的变化独立于使用算法的客户。 二、结构 策略模式主要包含三个角色&…...
数据挖掘之数据预处理
数据预处理是数据挖掘中的一个关键步骤，它的主要目的是对原始数据进行清洗、转换和格式化，以确保其质量和一致性，从而为后续的数据挖掘任务（如分类、回归、聚类等）提供可靠的数据基础。数据预处理一般包括以下几个主要…...
RocketMQ核心知识点整理，值得收藏！
1. 基本概念 Topic: 消息类别的集合，如订单消息发送到order_topic。标签（Tag）: 同一Topic下区分不同消息的标志，实现精细化消息管理。ConsumeGroup: 消息消费组，可订阅多个Topic，一个Topic可被多个消费组订…...
微信小程序骨架屏
骨架屏是常用的一种优化方案，针对于页面还未加载完时给用户的一种反馈方式。如果自己要写骨架屏有点复杂因为页面的元素过多且不稳定，这边直接使用微信开发工具生成骨架屏。也不只有微信开发工具有像常用的抖音开发工具，字节开发工具都有对应…...
Window下node安装以及配置
在 Windows 下安装 Node.js 非常简单，你可以通过官方提供的安装程序或者使用多版本管理工具（如 NVM-Win）来进行安装。下面是两种方法的具体步骤： 1. 安装 Node.js程序 步骤如下： 访问官方网站： 访问 Node…...
校园疫情防控系统--论文pf
TOC springboot432校园疫情防控系统--论文pf 课题的来源 2019年在我国武汉爆发了一场规模非常庞大、传播速度十分迅速、对人体危害及其严重的新冠肺炎疫情。引发此次急性感染性新冠肺炎疫情的冠状病毒传播性较强，其传播主要是通过呼吸道飞沫和密切接触这两个途径…...
在Debian 9上使用Apt安装Java的方法
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。 介绍 Java 和 JVM（Java 虚拟机）是许多软件的必备组件，包括 Tomcat、Jetty、Glassfish、Cassandra 和…...
生成xcframework
打包 XCFramework 的方法 XCFramework 是苹果推出的一种多平台二进制分发格式，可以包含多个架构和平台的代码。打包 XCFramework 通常用于分发库或框架。 使用 Xcode 命令行工具打包 通过 xcodebuild 命令可以打包 XCFramework。确保项目已经配置好需要支持的平台…...
Linux链表操作全解析
Linux C语言链表深度解析与实战技巧 一、链表基础概念与内核链表优势1.1 为什么使用链表？1.2 Linux 内核链表与用户态链表的区别 二、内核链表结构与宏解析常用宏/函数 三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势5.1 插入效率5.2 安全…...
React hook之useRef
React useRef 详解 useRef 是 React 提供的一个 Hook，用于在函数组件中创建可变的引用对象。它在 React 开发中有多种重要用途，下面我将全面详细地介绍它的特性和用法。 基本概念 1. 创建 ref const refContainer useRef(initialValue);initialValu…...
Objective-C常用命名规范总结
【OC】常用命名规范总结 文章目录 【OC】常用命名规范总结1.类名（Class Name)2.协议名（Protocol Name)3.方法名（Method Name)4.属性名（Property Name）5.局部变量/实例变量（Local / Instance Variables&…...
JVM垃圾回收机制全解析
Java虚拟机（JVM）中的垃圾收集器（Garbage Collector，简称GC）是用于自动管理内存的机制。它负责识别和清除不再被程序使用的对象，从而释放内存空间，避免内存泄漏和内存溢出等问题。垃圾收集器在Ja…...
多模态商品数据接口：融合图像、语音与文字的下一代商品详情体验
一、多模态商品数据接口的技术架构 （一）多模态数据融合引擎 跨模态语义对齐 通过Transformer架构实现图像、语音、文字的语义关联。例如，当用户上传一张“蓝色连衣裙”的图片时，接口可自动提取图像中的颜色（RGB值&…...
leetcodeSQL解题：3564. 季节性销售分析
leetcodeSQL解题：3564. 季节性销售分析 题目： 表：sales ---------------------- | Column Name | Type | ---------------------- | sale_id | int | | product_id | int | | sale_date | date | | quantity | int | | price | decimal | -…...
html-＜abbr＞ 缩写或首字母缩略词
定义与作用 <abbr> 标签用于表示缩写或首字母缩略词，它可以帮助用户更好地理解缩写的含义，尤其是对于那些不熟悉该缩写的用户。 title 属性的内容提供了缩写的详细说明。当用户将鼠标悬停在缩写上时，会显示一个提示框。 示例&#x…...
鸿蒙DevEco Studio HarmonyOS 5跑酷小游戏实现指南
1. 项目概述 本跑酷小游戏基于鸿蒙HarmonyOS 5开发，使用DevEco Studio作为开发工具，采用Java语言实现，包含角色控制、障碍物生成和分数计算系统。 2. 项目结构 /src/main/java/com/example/runner/├── MainAbilitySlice.java // 主界…...
Java 二维码
Java 二维码 **技术：**谷歌 ZXing 实现 首先添加依赖 <!-- 二维码依赖 --><dependency><groupId>com.google.zxing</groupId><artifactId>core</artifactId><version>3.5.1</version></dependency><de…...