【Hadoop】建立圈内组件的宏观认识（大纲版）
Hadoop生态圈解析：各组件的主要功能及作用详解
Hadoop生态圈是由一系列开源组件组成的，这些组件共同构建了一个大规模分布式计算和存储平台。
01存储类型组件
-
HDFS
Hadoop体系的核心组件之一，它是一个分布式文件系统，被设计用于存储大规模数据集，并在Hadoop集群中进行高可靠性的数据存储。 -
HBase
HBase是一种分布式、可扩展的面向列的NoSQL数据库，它基于Hadoop的HDFS和ZooKeeper来提供可靠的、高性能的数据存储和实时读写访问。
02计算分析引擎组件
-
MapReduce
MapReduce 是 Hadoop 生态圈中的一个重要组件，主要用于实现分布式计算,将大规模数据集划分为较小的数据块，并在集群中的多台计算机上进行并行处理，单独使用的场景较少，通常与其他组件相结合以实现更强大的数据处理能力。 -
Hive
Hive提供了一个类似于 SQL 的查询语言（一套方便的数据查询和处理工具），用于在 Hadoop 分布式环境中进行数据提取、转换和加载（ETL）操作。 -
Spark
Spark是一个快速、通用的大数据处理引擎，具备内存计算和分布式计算的能力。 -
Kylin
Kylin在Hadoop体系下的主要功能是提供快速的多维数据分析查询和管理数据立方体的能力，帮助用户更高效地进行数据分析和决策支持。 -
Impala
Impala是一个高性能、低延迟的分布式SQL查询引擎，主要用于快速查询和分析大规模数据集。 -
Flink
Flink提供了一个强大的分布式计算框架，适用于大规模数据处理和分析的场景，具有低延迟、高吞吐量和高可靠性的特点。
03任务调度和集群管理组件
-
YARN
YARN（Yet Another Resource Negotiator）是Hadoop生态圈中的一个关键组件，主要用于集群资源的管理和作业调度。 -
Oozie
Oozie 是一个用于协调和管理 Hadoop 作业流程的工作流调度器。它可以让用户定义和执行复杂的工作流程，以便在大数据处理过程中自动化和调度各种作业任务。 -
Zookeeper
Zookeeper是一个开源的分布式协调服务，主要用于分布式应用程序的协调和配置管理。 -
Dolphin scheduler
Dolphin Scheduler 是一个分布式的、易扩展的、高可靠的任务调度系统，主要用于解决大规模数据处理任务的调度和执行问题。
04其他
-
Pig
Pig是一个基于Hadoop的开源平台，用于处理大规模的数据集。它提供了一个高级脚本语言Pig Latin，使得用户可以通过编写简单的脚本来进行数据分析和数据处理操作。 -
Sqoop
Sqoop 是一个用于在关系型数据库和 Hadoop 环境之间进行数据传输的工具。它可以将结构化数据从关系型数据库（如MySQL、Oracle等）导入到Hadoop（如HDFS）中进行分析，也可以将数据从Hadoop导出到关系型数据库中。 -
Flume
Flume是Hadoop生态系统中的一个分布式、可靠的日志收集和聚合系统。它的主要功能和作用是实时地从各种数据源（如日志文件、消息队列等）收集、移动和聚合大量的数据到Hadoop或其他存储系统中。 -
Ambari
Ambari是一个开源的集群管理工具，用于简化和管理Hadoop集群的安装、配置和监控。它提供了一个易于使用的网页界面，方便管理员进行集群配置、启动和停止服务、监控集群状态等操作。用户可以通过Ambari快速设置和部署Hadoop集群，并对集群进行实时监控，以便及时发现和解决问题。 -
Tez
Tez是一个在Hadoop上构建高性能数据处理应用程序的框架。它是一个可插拔的执行引擎，通过将数据处理任务转换为有向无环图（DAG）来实现高效的批处理和交互式查询。 -
Altas
Atlas是Apache Hadoop生态系统中的一个项目。它是作为Hadoop的一部分而开发的，旨在为Hadoop集群中的数据资产提供元数据管理和发现服务。Atlas可以与其他Hadoop生态系统的组件（如Hive、HDFS、HBase等）集成，并能够为这些组件提供元数据管理功能。通过与Hadoop的集成，Atlas能够更好地了解和管理整个Hadoop集群中的数据资产，提供更全面的数据资产管理和查询能力。 -
Hue
Hue（Hadoop User Experience）是一个开源的Web界面，为Hadoop生态系统提供了用户友好的图形化界面和工具。 -
Range
Range用户权限是指对Hadoop集群中的数据或资源进行访问控制的功能。Hadoop通过权限控制来限制哪些用户或用户组可以执行特定的操作，以保护数据的安全性。
【Hadoop】建立圈内组件的宏观认识
相关文章：
【Hadoop】建立圈内组件的宏观认识（大纲版）
Hadoop生态圈解析：各组件的主要功能及作用详解 Hadoop生态圈是由一系列开源组件组成的，这些组件共同构建了一个大规模分布式计算和存储平台。 01存储类型组件 HDFS Hadoop体系的核心组件之一，它是一个分布式文件系统，被设计用于存…...
NFS主从同步Rsync、sersync2
准备工作检查selinux 防火墙 #关闭 selinux sed -i s/^SELINUX.*/SELINUXdisabled/ /etc/selinux/config #关闭防火墙 systemctl stop firewalld;systemctl disable firewalld1.安装nfs相关包 # 所有节点安装nfs相关包 yum install nfs-utils -y systemctl enable nfs-utils …...
uniapp项目中，在原有数据中增加选中的状态，数据不改变
uniapp项目中，在原有数据中增加选中的状态，选中后打印的数据显示有变化，然而文本的数据并没有发生变化 看代码 export default {data() {return {thicate: [{ id: 1, text: "Item 1" },{ id: 2, text: "Item 2" },{ id…...
WPF自定义控件
控件模板 顾名思义就是在原有的控件上进行模版修改成自己需要的样式 把ProgressBar修改为一个水液面的进度条 <Window x:Class"XH.CustomLesson.MainWindow"xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation"xmlns:x"http://s…...
Java中的全局异常处理器 -- GlobalExceptionHandler
开发记录：全局异常处理器笔记 import lombok.extern.slf4j.Slf4j; import org.mybatis.spring.MyBatisSystemException; import org.springframework.beans.factory.annotation.Value; import org.springframework.data.redis.RedisConnectionFailureException; im…...
R语言文本挖掘-万字详细解析tm包
tm包（Text Mining Package）是R语言中用于文本挖掘的强大工具包，它提供了一系列的功能来处理和分析文本数据。偶然看到这个包，我们一起看看其中的基本功能： 数据载入：tm包支持从多种数据源载入文本数据&…...
JWT中的Token
1.JWT是什么？ jwt（json web token的缩写）是一个开放标准（rfc7519），它定义了一种紧凑的、自包含的方式，用于在各方之间以json对象安全地传输信息，此信息可以验证和信任，因…...
苹果在iOS 18.1中向第三方开发者开放iPhone的NFC芯片
苹果公司今天宣布，开发者很快就能首次在自己的应用程序中提供 NFC 交易功能，而目前这主要是Apple Pay独有的功能。从今年晚些时候的 iOS 18.1 开始，开发者将可以使用新的 API 提供独立于 Apple Pay 和 Apple Wallet 的应用内非接触式交易。 这…...
系统开发之禁止卸载应用名单
本文目的主要是记录自己系统（Android7.1系统）开发实现代码，以便后期通用的功能可以直接使用，不需要再去通过搜索然后筛选再验证的繁琐流程，大大减小自己的开发时间。 我实现思路是在系统内新增自己的数据库用来记录禁止…...
wait 和 notify
目录 wait() 方法 notify() 方法 notifyAll() 方法 nofity 和 notifyAll wait 和 notify wait 和 sleep 的区别 wait 和 join 的区别 由于线程之间是抢占式执行的，因此，线程之间执行的先后顺序难以预知，但是，在实际开发中&…...
docker 启动 mongo,redis,nacos.
docker run --name mymongodb -e MONGO_INITDB_ROOT_USERNAMEadmin -e MONGO_INITDB_ROOT_PASSWORDXiaoyusadsad -p 27017:27017 -v /path/to/mongo-data:/data/db -d mongodb/mongodb-community-server:4.4.18-ubuntu2004-v 的目录必须是绝对目录 目录必须 chmod 777 /path/…...
Docker Swarm 搭建
Docker Swarm 搭建 1. 环境介绍 操作系统Centos 7Centos 7Centos 7内核版本Linux 3.10.0-957.el7.x86_64Linux 3.10.0-957.el7.x86_64Linux 3.10.0-957.el7.x86_64主机名称swarm-managerswarm-worker1swarm-worker2IP192.168.1.100192.168.1.200192.168.1.250Docker Domain20…...
浅述TSINGSEE青犀EasyCVR视频汇聚平台与海康安防平台的区别对比
在我们的很多项目中都遇到过用户的咨询：TSINGSEE青犀EasyCVR视频汇聚平台与海康平台的区别在哪里？确实，在安防视频监控领域，EasyCVR视频汇聚平台与海康威视平台是两个备受关注的选择。它们各自具有独特的功能和优势，适…...
设计模式系列：策略模式的设计与实践
一、背景 策略模式（Strategy Pattern）是一种行为设计模式，它定义了一系列的算法，并将每一个算法封装起来，使它们可以相互替换。策略模式让算法的变化独立于使用算法的客户。 二、结构 策略模式主要包含三个角色&…...
数据挖掘之数据预处理
数据预处理是数据挖掘中的一个关键步骤，它的主要目的是对原始数据进行清洗、转换和格式化，以确保其质量和一致性，从而为后续的数据挖掘任务（如分类、回归、聚类等）提供可靠的数据基础。数据预处理一般包括以下几个主要…...
RocketMQ核心知识点整理，值得收藏！
1. 基本概念 Topic: 消息类别的集合，如订单消息发送到order_topic。标签（Tag）: 同一Topic下区分不同消息的标志，实现精细化消息管理。ConsumeGroup: 消息消费组，可订阅多个Topic，一个Topic可被多个消费组订…...
微信小程序骨架屏
骨架屏是常用的一种优化方案，针对于页面还未加载完时给用户的一种反馈方式。如果自己要写骨架屏有点复杂因为页面的元素过多且不稳定，这边直接使用微信开发工具生成骨架屏。也不只有微信开发工具有像常用的抖音开发工具，字节开发工具都有对应…...
Window下node安装以及配置
在 Windows 下安装 Node.js 非常简单，你可以通过官方提供的安装程序或者使用多版本管理工具（如 NVM-Win）来进行安装。下面是两种方法的具体步骤： 1. 安装 Node.js程序 步骤如下： 访问官方网站： 访问 Node…...
校园疫情防控系统--论文pf
TOC springboot432校园疫情防控系统--论文pf 课题的来源 2019年在我国武汉爆发了一场规模非常庞大、传播速度十分迅速、对人体危害及其严重的新冠肺炎疫情。引发此次急性感染性新冠肺炎疫情的冠状病毒传播性较强，其传播主要是通过呼吸道飞沫和密切接触这两个途径…...
在Debian 9上使用Apt安装Java的方法
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。 介绍 Java 和 JVM（Java 虚拟机）是许多软件的必备组件，包括 Tomcat、Jetty、Glassfish、Cassandra 和…...
label-studio的使用教程(导入本地路径)
文章目录 1. 准备环境2. 脚本启动2.1 Windows2.2 Linux 3. 安装label-studio机器学习后端3.1 pip安装(推荐)3.2 GitHub仓库安装 4. 后端配置4.1 yolo环境4.2 引入后端模型4.3 修改脚本4.4 启动后端 5. 标注工程5.1 创建工程5.2 配置图片路径5.3 配置工程类型标签5.4 配置模型5.…...
Spring Boot 实现流式响应（兼容 2.7.x）
在实际开发中，我们可能会遇到一些流式数据处理的场景，比如接收来自上游接口的 Server-Sent Events（SSE） 或 流式 JSON 内容，并将其原样中转给前端页面或客户端。这种情况下，传统的 RestTemplate 缓存机制会…...
前端导出带有合并单元格的列表
// 导出async function exportExcel(fileName "共识调整.xlsx") {// 所有数据const exportData await getAllMainData();// 表头内容let fitstTitleList [];const secondTitleList [];allColumns.value.forEach(column > {if (!column.children) {fitstTitleL…...
OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别
OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别 直接训练提示词嵌入向量的核心区别 您提到的代码： prompt_embedding = initial_embedding.clone().requires_grad_(True) optimizer = torch.optim.Adam([prompt_embedding...
C++八股 —— 单例模式
文章目录 1. 基本概念2. 设计要点3. 实现方式4. 详解懒汉模式 1. 基本概念 线程安全（Thread Safety） 线程安全是指在多线程环境下，某个函数、类或代码片段能够被多个线程同时调用时，仍能保证数据的一致性和逻辑的正确性…...
MySQL 部分重点知识篇
一、数据库对象 1. 主键 定义 ：主键是用于唯一标识表中每一行记录的字段或字段组合。它具有唯一性和非空性特点。 作用 ：确保数据的完整性，便于数据的查询和管理。 示例 ：在学生信息表中，学号可以作为主键ÿ…...
wpf在image控件上快速显示内存图像
wpf在image控件上快速显示内存图像https://www.cnblogs.com/haodafeng/p/10431387.html 如果你在寻找能够快速在image控件刷新大图像（比如分辨率3000*3000的图像）的办法，尤其是想把内存中的裸数据（只有图像的数据，不包…...
阿里云Ubuntu 22.04 64位搭建Flask流程（亲测）
cd /home 进入home盘 安装虚拟环境： 1、安装virtualenv pip install virtualenv 2.创建新的虚拟环境： virtualenv myenv 3、激活虚拟环境（激活环境可以在当前环境下安装包） source myenv/bin/activate 此时，终端…...
2.3 物理层设备
在这个视频中，我们要学习工作在物理层的两种网络设备，分别是中继器和集线器。首先来看中继器。在计算机网络中两个节点之间，需要通过物理传输媒体或者说物理传输介质进行连接。像同轴电缆、双绞线就是典型的传输介质，假设A节点要给…...
精益数据分析（98/126）：电商转化率优化与网站性能的底层逻辑
精益数据分析（98/126）：电商转化率优化与网站性能的底层逻辑 在电子商务领域，转化率与网站性能是决定商业成败的核心指标。今天，我们将深入解析不同类型电商平台的转化率基准，探讨页面加载速度对用户行为的…...