【基础知识】Hadoop生态系统
Hadoop是一个开源的分布式计算框架,主要用于大数据的存储和处理，即一个包含多种组件的综合分布式系统,组件相互协作完成从数据存储到计算分析的完整功能。
关键词——容灾
主从结构、多副本
主要特点
- 分布式存储 - Hadoop采用HDFS文件系统,可以将大数据分布式存储在集群中的多台服务器上。
- 分布式计算 - Hadoop的计算框架MapReduce可以在分布式服务器上并行处理大量数据。
- 高容错性 - Hadoop可以自动保存数据的多个副本,并且可以在节点失败时自动将失败节点上的工作转移到另一个节点上。
- 高扩展性 - Hadoop集群可以方便地扩展到数以千计的节点。Hadoop的计算和存储能力可以随着新节点的加入线性扩展。
- 低成本 - Hadoop可以在廉价的商用服务器上运行,大大降低了大数据处理的成本。
组件相关信息
核心组件
- HDFS(Hadoop Distributed File System):Hadoop 的分布式文件系统,用于存储和访问大量数据。
- YARN(Yet Another Resource Negotiator): Hadoop 的资源管理和作业调度平台。
- MapReduce:Hadoop 的分布式并行计算框架,用于大规模数据集的批处理计算。
功能性组件
- Hive:基于 Hadoop 的数据仓库,提供 SQL 查询功能。
- Sqoop:用于 Hadoop 和关系型数据库之间导入导出数据。
- Flume:实时收集、聚合和传输大量日志数据的系统。
- HBase:Hadoop 的分布式列存储数据库。
- ZooKeeper:用于构建分布式应用的协调服务。
- Ambari:Hadoop 集群的provision、管理和监控工具。
其他组件
- Pig:基于 Hadoop 的高级数据流语言,用于分析大规模数据集。
- Common:Hadoop 的通用工具和实用程序,包括 IO、RPC、序列化、配置等。
- Oozie:Hadoop 的工作流调度和协调系统。
- Avro:Hadoop 的数据序列化系统。
- Mahout:Hadoop 的机器学习算法库。
相关文章：
【基础知识】Hadoop生态系统
Hadoop是一个开源的分布式计算框架,主要用于大数据的存储和处理，即一个包含多种组件的综合分布式系统,组件相互协作完成从数据存储到计算分析的完整功能。 关键词——容灾 主从结构、多副本 主要特点 分布式存储 - Hadoop采用HDFS文件系统,可以将大数据分布式存…...
[Linux] LAMP架构
一、LAMP架构架构的概述 LAMP 架构是一种流行的 Web 应用程序架构，它的名称是由四个主要组件的首字母组成的： Linux（操作系统）： 作为操作系统，Linux 提供了服务器的基础。它负责处理硬件资源、文件系统管理…...
HPM5300系列--第二篇 Visual Studio Code开发环境以及多种调试器调试模式
一、目的 在博文《HPM5300系列--第一篇 命令行开发调试环境搭建》、《HPM6750系列--第四篇 搭建Visual Studio Code开发调试环境》中我们介绍了命令行方式开发环境，也介绍了HPM6750evkmini开发板如何使用Visual Studio Code进行开发调试（其中调试方式使用…...
LeetCode2697. Lexicographically Smallest Palindrome
文章目录 一、题目二、题解 一、题目 You are given a string s consisting of lowercase English letters, and you are allowed to perform operations on it. In one operation, you can replace a character in s with another lowercase English letter. Your task is t…...
Leetcode 40 组合总和 II
题意理解： 每个数字在每个组合中只能使用 一次 数字可以重复——>难点（如何去重） 每个组合和target 求组合，对合限制，考虑回溯的方法。——将其抽象为树结构。 树的宽度——分支大小 树的深度——最…...
智慧灯杆技术应用分析
智慧灯杆是指在传统灯杆的基础上，通过集成多种先进技术实现城市智能化管理的灯杆。智慧灯杆技术应用的分析如下： 照明功能：智慧灯杆可以实现智能调光、时段控制等功能，根据不同的需求自动调节照明亮度，提高照明效果&am…...
手动搭建koa+ts项目框架（ts项目实现开发阶段实时查看）
文章目录 前言优化脚本如有启发，可点赞收藏哟~ 前言 上篇文章记录了手动简单搭建 koats项目步骤 虽然可以直接编译后并开启服务，但如果修改./src内的文件，没法实时编译 以下介绍使用其他方法实现实时效果 优化脚本 咱使用以下依赖可实现边写…...
在Nexus上配置Docker镜像仓库
现在Docker镜像的工具已不少了，只是在Java老牌又持久的工具Nexus上配置本地Docker仓库镜像是一件即有情怀又充份利用资源的事情。 Nexus支持多种仓库类型，例如：maven、npm、docker等。 安装Nexus （略） Docker镜像配…...
深入理解C语言的函数参数
1、一个简单的函数 int Add(int x, int y) {return x y; }int main() {printf("%d", Add(2, 3, 4, 5, 6));return 0; } 这一段足够简单的代码，闭眼都能知道运行结果会在屏幕上打印 5 。那编译器是怎么处理后面的 4、5、6 ？ 我们再看看这个函…...
【C++】策略模式
目录 一、简介1. 含义2. 特点 二、实现1. 策略接口（Strategy Interface）2. 具体策略类（Concrete Strategies）3. 上下文类（Context）4. 使用策略模式 三、总结如果这篇文章对你有所帮助，渴望获得你…...
什么时候使用匿名类，匿名类解决了什么问题？为什么需要匿名类 ？
匿名类通常在以下场景下使用： 一次性使用： 当你需要创建一个类的实例，但该类只在一个地方使用，而不打算在其他地方重复使用时，可以考虑使用匿名类。 简化代码： 当创建一个小型的、一次性的类会让代码更简洁…...
怎么让gpt帮忙改文章 (1) 快码论文
大家好，今天来聊聊怎么让gpt帮忙改文章 (1)，希望能给大家提供一点参考。 以下是针对论文重复率高的情况，提供一些修改建议和技巧： 怎么让GPT帮忙改文章 一、背景介绍 随着人工智能的发展，自然语言处理技术已经成为了许…...
Android源码下载流程
1.使用repo方式： https://github.com/jeanboydev/Android-ReadTheFuckingSourceCode/blob/master/article/android/framework/Android-Windows%E7%8E%AF%E5%A2%83%E4%B8%8B%E8%BD%BD%E6%BA%90%E7%A0%81.md 2.使用git方式： Windows 环境下载 Android 源…...
ArrayList与顺序表(带完整实例)
【本节目标】 1. 线性表 2. 顺序表 3. ArrayList的简介 4. ArrayList使用 5. ArrayList的扩容机制 6. 扑克牌 1.线性表 线性表（linear list）是n个具有相同特性的数据元素的有限序列。 线性表是一种在实际中广泛使用的数据结构，常见的线性表…...
智能冶钢厂环境监控与设备控制系统（边缘物联网网关）
目录 1、项目背景 2、项目功能介绍 3、模块框架 3.1 架构框图 3.2 架构介绍 4、系统组成与工作原理 4.1 数据采集 4.2 指令控制 4.3 其他模块 4.3.1 网页、qt视频流 4.3.2 qt搜索进程 5、成果呈现 6、问题解决 7、项目总结 1、项目背景 这个项目的背景是钢铁行业的…...
【Python】conda镜像配置，.condarc文件详解，channel镜像
1. conda 环境 安装miniconda即可，Miniconda 安装包可以到 http://mirrors.aliyun.com/anaconda/miniconda/ 下载。 .condarc是conda 应用程序的配置文件，在用户家目录（windows：C:\users\username\），用于…...
实战章节：在Linux上部署各类软件
详细资料见文章的资源绑定 一、前言 1.1 为什么学习各类软件在Linux上的部署 在前面，我们学习了许多的Linux命令和高级技巧，这些知识点比较零散，同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用，但是并没…...
铭飞CMS list 接口 SQL注入漏洞复现
0x01 产品简介 铭飞CMS是一款基于java开发的一套轻量级开源内容管理系统,铭飞CMS简洁、安全、开源、免费,可运行在Linux、Windows、MacOSX、Solaris等各种平台上,专注为公司企业、个人站长快速建站提供解决方案 0x02 漏洞概述 铭飞CMS在5.2.10版本以前list 接口处存在sql注入…...
Linux指令初始
1.ls指令 语法 ： ls [ 选项 ][ 目录或文件 ] 功能 ：对于目录，该命令列出该目录下的所有子目录与文件。对于文件，将列出文件名以及其他信息。 ls 常用：-a 列出目录下的所有文件，包括以 . 开头的隐含文件。 …...
Nginx命令---启动nginx
介绍 使用命令启动nginx。 命令 nginx目录/bin/nginx...
云计算——弹性云计算器（ECS）
弹性云服务器：ECS 概述 云计算重构了ICT系统，云计算平台厂商推出使得厂家能够主要关注应用管理而非平台管理的云平台，包含如下主要概念。 ECS（Elastic Cloud Server）：即弹性云服务器，是云计算…...
python/java环境配置
环境变量放一起 python： 1.首先下载Python Python下载地址：Download Python | Python.org downloads ---windows -- 64 2.安装Python 下面两个，然后自定义，全选 可以把前4个选上 3.环境配置 1）搜高级系统设置 2…...
基础测试工具使用经验
背景 vtune，perf, nsight system等基础测试工具，都是用过的，但是没有记录，都逐渐忘了。所以写这篇博客总结记录一下，只要以后发现新的用法，就记得来编辑补充一下 perf 比较基础的用法： 先改这…...
生成 Git SSH 证书
🔑 1. 生成 SSH 密钥对 在终端（Windows 使用 Git Bash，Mac/Linux 使用 Terminal）执行命令： ssh-keygen -t rsa -b 4096 -C "your_emailexample.com" 参数说明： -t rsa&#x…...
vue3+vite项目中使用.env文件环境变量方法
vue3vite项目中使用.env文件环境变量方法 .env文件作用命名规则常用的配置项示例使用方法注意事项在vite.config.js文件中读取环境变量方法 .env文件作用 .env 文件用于定义环境变量，这些变量可以在项目中通过 import.meta.env 进行访问。Vite 会自动加载这些环境变…...
PHP 8.5 即将发布：管道操作符、强力调试
前不久，PHP宣布了即将在 2025 年 11 月 20 日 正式发布的 PHP 8.5！作为 PHP 语言的又一次重要迭代，PHP 8.5 承诺带来一系列旨在提升代码可读性、健壮性以及开发者效率的改进。而更令人兴奋的是，借助强大的本地开发环境 ServBay&am…...
深入解析光敏传感技术：嵌入式仿真平台如何重塑电子工程教学
一、光敏传感技术的物理本质与系统级实现挑战 光敏电阻作为经典的光电传感器件，其工作原理根植于半导体材料的光电导效应。当入射光子能量超过材料带隙宽度时，价带电子受激发跃迁至导带，形成电子-空穴对，导致材料电导率显著提升。…...
在Spring Boot中集成RabbitMQ的完整指南
前言 在现代微服务架构中，消息队列（Message Queue）是实现异步通信、解耦系统组件的重要工具。RabbitMQ 是一个流行的消息中间件，支持多种消息协议，具有高可靠性和可扩展性。 本博客将详细介绍如何在 Spring Boot 项目…...
Angular中Webpack与ngx-build-plus 浅学
Webpack 在 Angular 中的概念 Webpack 是一个模块打包工具，用于将多个模块和资源打包成一个或多个文件。在 Angular 项目中，Webpack 负责将 TypeScript、HTML、CSS 等文件打包成浏览器可以理解的 JavaScript 文件。Angular CLI 默认使用 Webpack 进行项目…...
大模型的LoRa通讯详解与实现教程
一、LoRa通讯技术概述 LoRa（Long Range）是一种低功耗广域网（LPWAN）通信技术，由Semtech公司开发，特别适合于物联网设备的长距离、低功耗通信需求。LoRa技术基于扩频调制技术，能够在保持低功耗的同时实现数公里甚至数十公里的通信距离。 LoRa的主要特点 长距离通信：在城…...