【Hadoop】建立圈内组件的宏观认识（大纲版）
Hadoop生态圈解析：各组件的主要功能及作用详解
Hadoop生态圈是由一系列开源组件组成的，这些组件共同构建了一个大规模分布式计算和存储平台。
01存储类型组件
-
HDFS
Hadoop体系的核心组件之一，它是一个分布式文件系统，被设计用于存储大规模数据集，并在Hadoop集群中进行高可靠性的数据存储。 -
HBase
HBase是一种分布式、可扩展的面向列的NoSQL数据库，它基于Hadoop的HDFS和ZooKeeper来提供可靠的、高性能的数据存储和实时读写访问。
02计算分析引擎组件
-
MapReduce
MapReduce 是 Hadoop 生态圈中的一个重要组件，主要用于实现分布式计算,将大规模数据集划分为较小的数据块，并在集群中的多台计算机上进行并行处理，单独使用的场景较少，通常与其他组件相结合以实现更强大的数据处理能力。 -
Hive
Hive提供了一个类似于 SQL 的查询语言（一套方便的数据查询和处理工具），用于在 Hadoop 分布式环境中进行数据提取、转换和加载（ETL）操作。 -
Spark
Spark是一个快速、通用的大数据处理引擎，具备内存计算和分布式计算的能力。 -
Kylin
Kylin在Hadoop体系下的主要功能是提供快速的多维数据分析查询和管理数据立方体的能力，帮助用户更高效地进行数据分析和决策支持。 -
Impala
Impala是一个高性能、低延迟的分布式SQL查询引擎，主要用于快速查询和分析大规模数据集。 -
Flink
Flink提供了一个强大的分布式计算框架，适用于大规模数据处理和分析的场景，具有低延迟、高吞吐量和高可靠性的特点。
03任务调度和集群管理组件
-
YARN
YARN（Yet Another Resource Negotiator）是Hadoop生态圈中的一个关键组件，主要用于集群资源的管理和作业调度。 -
Oozie
Oozie 是一个用于协调和管理 Hadoop 作业流程的工作流调度器。它可以让用户定义和执行复杂的工作流程，以便在大数据处理过程中自动化和调度各种作业任务。 -
Zookeeper
Zookeeper是一个开源的分布式协调服务，主要用于分布式应用程序的协调和配置管理。 -
Dolphin scheduler
Dolphin Scheduler 是一个分布式的、易扩展的、高可靠的任务调度系统，主要用于解决大规模数据处理任务的调度和执行问题。
04其他
-
Pig
Pig是一个基于Hadoop的开源平台，用于处理大规模的数据集。它提供了一个高级脚本语言Pig Latin，使得用户可以通过编写简单的脚本来进行数据分析和数据处理操作。 -
Sqoop
Sqoop 是一个用于在关系型数据库和 Hadoop 环境之间进行数据传输的工具。它可以将结构化数据从关系型数据库（如MySQL、Oracle等）导入到Hadoop（如HDFS）中进行分析，也可以将数据从Hadoop导出到关系型数据库中。 -
Flume
Flume是Hadoop生态系统中的一个分布式、可靠的日志收集和聚合系统。它的主要功能和作用是实时地从各种数据源（如日志文件、消息队列等）收集、移动和聚合大量的数据到Hadoop或其他存储系统中。 -
Ambari
Ambari是一个开源的集群管理工具，用于简化和管理Hadoop集群的安装、配置和监控。它提供了一个易于使用的网页界面，方便管理员进行集群配置、启动和停止服务、监控集群状态等操作。用户可以通过Ambari快速设置和部署Hadoop集群，并对集群进行实时监控，以便及时发现和解决问题。 -
Tez
Tez是一个在Hadoop上构建高性能数据处理应用程序的框架。它是一个可插拔的执行引擎，通过将数据处理任务转换为有向无环图（DAG）来实现高效的批处理和交互式查询。 -
Altas
Atlas是Apache Hadoop生态系统中的一个项目。它是作为Hadoop的一部分而开发的，旨在为Hadoop集群中的数据资产提供元数据管理和发现服务。Atlas可以与其他Hadoop生态系统的组件（如Hive、HDFS、HBase等）集成，并能够为这些组件提供元数据管理功能。通过与Hadoop的集成，Atlas能够更好地了解和管理整个Hadoop集群中的数据资产，提供更全面的数据资产管理和查询能力。 -
Hue
Hue（Hadoop User Experience）是一个开源的Web界面，为Hadoop生态系统提供了用户友好的图形化界面和工具。 -
Range
Range用户权限是指对Hadoop集群中的数据或资源进行访问控制的功能。Hadoop通过权限控制来限制哪些用户或用户组可以执行特定的操作，以保护数据的安全性。
【Hadoop】建立圈内组件的宏观认识
相关文章：
【Hadoop】建立圈内组件的宏观认识（大纲版）
Hadoop生态圈解析：各组件的主要功能及作用详解 Hadoop生态圈是由一系列开源组件组成的，这些组件共同构建了一个大规模分布式计算和存储平台。 01存储类型组件 HDFS Hadoop体系的核心组件之一，它是一个分布式文件系统，被设计用于存…...
NFS主从同步Rsync、sersync2
准备工作检查selinux 防火墙 #关闭 selinux sed -i s/^SELINUX.*/SELINUXdisabled/ /etc/selinux/config #关闭防火墙 systemctl stop firewalld;systemctl disable firewalld1.安装nfs相关包 # 所有节点安装nfs相关包 yum install nfs-utils -y systemctl enable nfs-utils …...
uniapp项目中，在原有数据中增加选中的状态，数据不改变
uniapp项目中，在原有数据中增加选中的状态，选中后打印的数据显示有变化，然而文本的数据并没有发生变化 看代码 export default {data() {return {thicate: [{ id: 1, text: "Item 1" },{ id: 2, text: "Item 2" },{ id…...
WPF自定义控件
控件模板 顾名思义就是在原有的控件上进行模版修改成自己需要的样式 把ProgressBar修改为一个水液面的进度条 <Window x:Class"XH.CustomLesson.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://s…...
Java中的全局异常处理器 -- GlobalExceptionHandler
开发记录：全局异常处理器笔记 import lombok.extern.slf4j.Slf4j; import org.mybatis.spring.MyBatisSystemException; import org.springframework.beans.factory.annotation.Value; import org.springframework.data.redis.RedisConnectionFailureException; im…...
R语言文本挖掘-万字详细解析tm包
tm包（Text Mining Package）是R语言中用于文本挖掘的强大工具包，它提供了一系列的功能来处理和分析文本数据。偶然看到这个包，我们一起看看其中的基本功能： 数据载入：tm包支持从多种数据源载入文本数据&…...
JWT中的Token
1.JWT是什么？ jwt（json web token的缩写）是一个开放标准（rfc7519），它定义了一种紧凑的、自包含的方式，用于在各方之间以json对象安全地传输信息，此信息可以验证和信任，因…...
苹果在iOS 18.1中向第三方开发者开放iPhone的NFC芯片
苹果公司今天宣布，开发者很快就能首次在自己的应用程序中提供 NFC 交易功能，而目前这主要是Apple Pay独有的功能。从今年晚些时候的 iOS 18.1 开始，开发者将可以使用新的 API 提供独立于 Apple Pay 和 Apple Wallet 的应用内非接触式交易。 这…...
系统开发之禁止卸载应用名单
本文目的主要是记录自己系统（Android7.1系统）开发实现代码，以便后期通用的功能可以直接使用，不需要再去通过搜索然后筛选再验证的繁琐流程，大大减小自己的开发时间。 我实现思路是在系统内新增自己的数据库用来记录禁止…...
wait 和 notify
目录 wait() 方法 notify() 方法 notifyAll() 方法 nofity 和 notifyAll wait 和 notify wait 和 sleep 的区别 wait 和 join 的区别 由于线程之间是抢占式执行的，因此，线程之间执行的先后顺序难以预知，但是，在实际开发中&…...
docker 启动 mongo,redis,nacos.
docker run --name mymongodb -e MONGO_INITDB_ROOT_USERNAMEadmin -e MONGO_INITDB_ROOT_PASSWORDXiaoyusadsad -p 27017:27017 -v /path/to/mongo-data:/data/db -d mongodb/mongodb-community-server:4.4.18-ubuntu2004-v 的目录必须是绝对目录 目录必须 chmod 777 /path/…...
Docker Swarm 搭建
Docker Swarm 搭建 1. 环境介绍 操作系统Centos 7Centos 7Centos 7内核版本Linux 3.10.0-957.el7.x86_64Linux 3.10.0-957.el7.x86_64Linux 3.10.0-957.el7.x86_64主机名称swarm-managerswarm-worker1swarm-worker2IP192.168.1.100192.168.1.200192.168.1.250Docker Domain20…...
浅述TSINGSEE青犀EasyCVR视频汇聚平台与海康安防平台的区别对比
在我们的很多项目中都遇到过用户的咨询：TSINGSEE青犀EasyCVR视频汇聚平台与海康平台的区别在哪里？确实，在安防视频监控领域，EasyCVR视频汇聚平台与海康威视平台是两个备受关注的选择。它们各自具有独特的功能和优势，适…...
设计模式系列：策略模式的设计与实践
一、背景 策略模式（Strategy Pattern）是一种行为设计模式，它定义了一系列的算法，并将每一个算法封装起来，使它们可以相互替换。策略模式让算法的变化独立于使用算法的客户。 二、结构 策略模式主要包含三个角色&…...
数据挖掘之数据预处理
数据预处理是数据挖掘中的一个关键步骤，它的主要目的是对原始数据进行清洗、转换和格式化，以确保其质量和一致性，从而为后续的数据挖掘任务（如分类、回归、聚类等）提供可靠的数据基础。数据预处理一般包括以下几个主要…...
RocketMQ核心知识点整理，值得收藏！
1. 基本概念 Topic: 消息类别的集合，如订单消息发送到order_topic。标签（Tag）: 同一Topic下区分不同消息的标志，实现精细化消息管理。ConsumeGroup: 消息消费组，可订阅多个Topic，一个Topic可被多个消费组订…...
微信小程序骨架屏
骨架屏是常用的一种优化方案，针对于页面还未加载完时给用户的一种反馈方式。如果自己要写骨架屏有点复杂因为页面的元素过多且不稳定，这边直接使用微信开发工具生成骨架屏。也不只有微信开发工具有像常用的抖音开发工具，字节开发工具都有对应…...
Window下node安装以及配置
在 Windows 下安装 Node.js 非常简单，你可以通过官方提供的安装程序或者使用多版本管理工具（如 NVM-Win）来进行安装。下面是两种方法的具体步骤： 1. 安装 Node.js程序 步骤如下： 访问官方网站： 访问 Node…...
校园疫情防控系统--论文pf
TOC springboot432校园疫情防控系统--论文pf 课题的来源 2019年在我国武汉爆发了一场规模非常庞大、传播速度十分迅速、对人体危害及其严重的新冠肺炎疫情。引发此次急性感染性新冠肺炎疫情的冠状病毒传播性较强，其传播主要是通过呼吸道飞沫和密切接触这两个途径…...
在Debian 9上使用Apt安装Java的方法
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。 介绍 Java 和 JVM（Java 虚拟机）是许多软件的必备组件，包括 Tomcat、Jetty、Glassfish、Cassandra 和…...
多模态2025：技术路线“神仙打架”，视频生成冲上云霄
文｜魏琳华 编｜王一粟 一场大会，聚集了中国多模态大模型的“半壁江山”。 智源大会2025为期两天的论坛中，汇集了学界、创业公司和大厂等三方的热门选手，关于多模态的集中讨论达到了前所未有的热度。其中，…...
PHP和Node.js哪个更爽?
先说结论，rust完胜。 php：laravel，swoole，webman，最开始在苏宁的时候写了几年php，当时觉得php真的是世界上最好的语言，因为当初活在舒适圈里，不愿意跳出来，就好比当初活在…...
中南大学无人机智能体的全面评估！BEDI：用于评估无人机上具身智能体的综合性基准测试
作者：Mingning Guo, Mengwei Wu, Jiarun He, Shaoxian Li, Haifeng Li, Chao Tao单位：中南大学地球科学与信息物理学院论文标题：BEDI: A Comprehensive Benchmark for Evaluating Embodied Agents on UAVs论文链接：https://arxiv.…...
在 Nginx Stream 层“改写”MQTT ngx_stream_mqtt_filter_module
1、为什么要修改 CONNECT 报文？ 多租户隔离：自动为接入设备追加租户前缀，后端按 ClientID 拆分队列。零代码鉴权：将入站用户名替换为 OAuth Access-Token，后端 Broker 统一校验。灰度发布：根据 IP/地理位写…...
python执行测试用例，allure报乱码且未成功生成报告
allure执行测试用例时显示乱码：‘allure’ �����ڲ����ⲿ���Ҳ���ǿ�&am…...
基于 TAPD 进行项目管理
起因 自己写了个小工具，仓库用的Github。之前在用markdown进行需求管理，现在随着功能的增加，感觉有点难以管理了，所以用TAPD这个工具进行需求、Bug管理。 操作流程 注册 TAPD，需要提供一个企业名新建一个项目&#…...
安宝特案例丨Vuzix AR智能眼镜集成专业软件，助力卢森堡医院药房转型，赢得辉瑞创新奖
在Vuzix M400 AR智能眼镜的助力下，卢森堡罗伯特舒曼医院（the Robert Schuman Hospitals, HRS）凭借在无菌制剂生产流程中引入增强现实技术（AR）创新项目，荣获了2024年6月7日由卢森堡医院药剂师协会࿰…...
LLMs 系列实操科普（1）
写在前面： 本期内容我们继续 Andrej Karpathy 的《How I use LLMs》讲座内容，原视频时长 ~130 分钟，以实操演示主流的一些 LLMs 的使用，由于涉及到实操，实际上并不适合以文字整理，但还是决定尽量整理一份笔…...
【C++进阶篇】智能指针
C内存管理终极指南：智能指针从入门到源码剖析 一. 智能指针1.1 auto_ptr1.2 unique_ptr1.3 shared_ptr1.4 make_shared 二. 原理三. shared_ptr循环引用问题三. 线程安全问题四. 内存泄漏4.1 什么是内存泄漏4.2 危害4.3 避免内存泄漏 五. 最后 一. 智能指针 智能指…...
代码规范和架构【立芯理论一】（2025.06.08）
1、代码规范的目标 代码简洁精炼、美观，可持续性好高效率高复用，可移植性好高内聚，低耦合没有冗余规范性，代码有规可循，可以看出自己当时的思考过程特殊排版，特殊语法，特殊指令，必须…...