当前位置： 首页 > news >正文

Hadoop简介

news 2026/4/3 6:51:33

1. Hadoop简介

官网：http://hadoop.apache.org

1.1 Hadoop架构

  • Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN

请添加图片描述

1.2 Hadoop历史

请添加图片描述

  • Hadoop作者Doug Cutting

  • Apache Lucene是一个文本搜索系统库

  • Apache Nutch作为前者的一部分，主要包括web爬虫、全文检索；2003年“谷歌分布式文件系统GFS”论文，2004年开源版本NDFS

  • 2004年“谷歌MapReduce”论文，2005年Nutch开源版MapReduce

请添加图片描述

2、更多内容：

Hadoop相关

  • HDFS分布式文件系统
  • MR(MapReduce)离线数据处理
  • YARN集群资源管理

Hive相关

  • Hive-01之数仓、架构、数据类型、DDL、内外部表
  • Hive-02之分桶表、数据导入导出、静动态分区、查询、排序、hiveserver2
  • Hive-03之传参、常用函数、explode、lateral view、行专列、列转行、UDF
  • Hive-04之存储格式、SerDe、企业级调优
  • Hive-05之查询 分组、排序、case when、 什么情况下Hive可以避免进行MapReduce
  • Hive-06之函数 聚合Cube、Rollup、窗口函数
  • Hive-07之企业级调优
  • Hive-08之数据仓库之建模、分析
  • Hive-09之主流文件存储格式对比
  • Hive-10之数据倾斜处理办法

相关文章：

Hadoop简介

1. Hadoop简介 官网：http://hadoop.apache.org 1.1 Hadoop架构 Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN 1.2 Hadoop历史 Hadoop作者Doug Cutting Apache Lucene是一个文本搜索系统库 Apache Nutch作为前者的一部…...

编程日记 2025/3/3 18:35:02

密码学（哈希函数）

4.1 Hash函数与数据完整性 数据完整性： 检测传输消息（加密或未加密）的修改。 密码学Hash函数： 构建某些数据的简短“指纹”；如果数据被篡改，则该指纹（以高概率）不再有效。Hash函数…...

编程日记 2025/3/3 18:34:00

谈谈单例模式中通过Htools包的SpringUtil.getBean获取Bean的好处

目录 优势 解决依赖注入失效问题： 典型应用场景： 好处 1. 实例化时序问题 2. 延迟获取解决空指针 3. 设计模式与 Spring 的权衡 代码对比：错误 vs 正确 错误示例（空指针）： 正确实现（延…...

编程日记 2025/3/3 18:32:59

本地部署大语言模型-DeepSeek

DeepSeek 是国内顶尖 AI 团队「深度求索」开发的多模态大模型，具备数学推理、代码生成等深度能力，堪称"AI界的六边形战士"。 Hostease AMD 9950X/96G/3.84T NVMe/1G/5IP/RTX4090 GPU服务器提供多种计费模式。 DeepSeek-R1-32B配置 配置项 规…...

编程日记 2025/3/3 18:25:51

adb的安装

1、概念 （1）adb（android debug bridge）安卓调试桥，用于完成电脑和手机之间的通信控制。 （2）xcode来完成对于ios设备的操控，前提是有个mac电脑。 2、adb的安装 （1&…...

编程日记 2025/3/3 18:21:46

Python 如何实现 Markdown 记账记录转 Excel 存储

文章精选推荐 1 JetBrains Ai assistant 编程工具让你的工作效率翻倍 2 Extra Icons：JetBrains IDE的图标增强神器 3 IDEA插件推荐-SequenceDiagram，自动生成时序图 4 BashSupport Pro 这个ides插件主要是用来干嘛的 ？ 5 IDEA必装的插件&…...

编程日记 2025/3/3 18:20:45

随机播放音乐 伪随机

import java.util.*;/*** https://cloud.tencent.com.cn/developer/news/1045747* 伪随机播放音乐*/ public class MusicPlayer {private List<String> allSongs; // 所有歌曲列表private List<String> playedSongs; // 已经播放过的歌曲列表private Map<String…...

编程日记 2025/3/3 18:19:42

latex 环境配置

编译器可选 miktex和 tex live ① miktex 下载地址 Portable 版本用的也是 Installer版的安装程序 basic-miktex-24.1-x64.exe&#xff0c;但是需要修改文件名为 miktex-portable.exe ├──texmfs │ ├─config │ ├─data │ └─install │ └─miktex/…...

编程日记 2025/3/3 18:16:37

fortify安全扫描Access Control: Database问题解决

概述 Access Control: Database说白了就是权限控制。在访问数据库(sql和nosql)需要加入当前用户的权限控制。不然会被fortify扫描出来&#xff0c;认为客户端可能不挟持和假冒&#xff0c;从而导致数据被泄露。 但是这个并不是任何时候都需要的&#xff0c;有的接口本来…...

编程日记 2025/3/3 18:09:23

Java 设计模式：软件开发的精髓与艺

目录 一、设计模式的起源二、设计模式的分类1. 创建型模式2. 结构型模式3. 行为型模式三、设计模式的实践1. 单例模式2. 工厂模式3. 策略模式四、设计模式的优势五、设计模式的局限性六、总结在软件开发的浩瀚星空中，设计模式犹如一颗颗璀璨的星辰，照亮了开发者前行的道路。它…...

编程日记 2025/3/3 18:07:20

初学者如何用 Python 写第一个爬虫？

?? 欢迎来到我的博客&#xff01; 非常高兴能在这里与您相遇。在这里&#xff0c;您不仅能获得有趣的技术分享&#xff0c;还能感受到轻松愉快的氛围。无论您是编程新手&#xff0c;还是资深开发者&#xff0c;都能在这里找到属于您的知识宝藏&#xff0c;学习和成长。 ?? …...

编程日记 2025/3/3 18:04:17

Cocos Creator3.8.6拖拽物体的几种方式

文章目录 前言一、第一种通过UILocation二、第二种通过UIDelta实现总结 前言 在游戏开发中&#xff0c;拖拽物体是一个非常常见的交互功能&#xff0c;无论是用于UI元素的拖动&#xff0c;还是场景中物体的移动&#xff0c;拖拽操作都能极大地提升用户体验。Cocos Creator 3.8…...

编程日记 2025/3/3 18:03:15

分布式Session

我用「餐厅点餐代码实战」帮你彻底搞懂分布式Session&#xff0c;看完不仅能应对面试&#xff0c;还能直接应用到实际开发。先记住这个核心矛盾&#xff1a;多服务员如何记住同一顾客的喜好&#xff1f; 一、从生活场景理解Session的本质 传统单机场景&#xff08;小餐馆&…...

编程日记 2025/3/3 17:59:10

Kotlin 运算符重载

在Kotlin中&#xff0c;常用的运算符重载函数名如下&#xff1a; 1.算术操作符&#xff1a; 加法&#xff1a;plus 减法&#xff1a;minus 乘法&#xff1a;times 除法&#xff1a;div 取模&#xff1a;rem 或 mod 整数除法&#xff1a;floorDiv 求幂&#xff1a;pow 自增&…...

编程日记 2025/3/3 17:58:09

OpenHarmony4.1-轻量与小型系统ubuntu开发环境

因OpenHarmony官网提供包含轻量、小型与标准系统的全量代码非常宠大&#xff0c;解包后大概需要70G以上硬盘空间&#xff0c;如要编译标准系统则需要140G以上空间。 如硬盘空间有限与只使用轻量/小型OpenHarmony系统&#xff0c;则可以下载并直接使用本人裁剪源码过的ubuntu硬盘…...

编程日记 2025/3/3 17:48:58

AVR 单片机硬件供电处理

摘自AVR 单片机应用笔记&#xff1a;AN2519 - AVR Microcontroller Hardware Design Considerations。 2. 供电 供电设计是任何硬件设计的关键一环&#xff0c;直接影响到系统的性能。在设计供电时&#xff0c;有两个重要的方面需要考虑&#xff1a;ESD 防护和噪声干扰。这些内…...

编程日记 2025/3/3 17:45:54

LeetCode 27 移除元素

LeetCode 27 - 移除元素&#xff08;Remove Element&#xff09;是一个简单但经典的双指针问题&#xff0c;主要考察数组操作的基本功。虽然问题容易&#xff0c;但掌握多种解法以及衍生的变体问题对解决更复杂的操作数组问题有帮助。 题目描述 输入&#xff1a;整数数组 nums…...

编程日记 2025/3/3 17:43:51

对“预训练”的理解

预训练有什么用 传统的机器学习是偏数学的&#xff0c;对数据的量不做过多要求&#xff0c;而深度学习的项目通常是有大量的数据可供使用。 在平常的任务或者项目中&#xff0c;我们可能并没有大量数据&#xff0c;只有少量数据&#xff0c;在这时我们就可以通过“借用”有大…...

编程日记 2025/3/3 17:40:46

论文阅读：CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION?

CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION? 生成式大语言模型能否进行自动语音识别&#xff08;ASR&#xff09;纠错&#xff1f; https://arxiv.org/pdf/2307.04172 文章目录 速览常规总结通俗版 摘要&#xff08;Abstract&#xff09;2. 引言&a…...

编程日记 2025/3/3 17:38:43

Stable Diffusion（SD）系列模型及关联算法深度解析

一、‌基础模型架构演进‌ SD v1.5‌ ‌核心架构‌&#xff1a;基于Latent Diffusion Model&#xff08;LDM&#xff09;&#xff0c;通过VAE将图像压缩至潜空间进行扩散训练&#xff0c;支持512x512分辨率生成&#xff0c;兼容二次元与写实风格混合创作‌12。 ‌训练数据‌&…...

编程日记 2025/3/3 17:36:39

实战分享：如何用星图平台零代码私有化Qwen3-VL:30B，并接入飞书实现智能对话

实战分享&#xff1a;如何用星图平台零代码私有化Qwen3-VL:30B&#xff0c;并接入飞书实现智能对话 1. 项目概述与价值 在当今企业智能化转型的浪潮中&#xff0c;如何快速部署私有化大模型并实现业务场景落地&#xff0c;成为许多技术团队面临的挑战。本文将详细介绍如何通过…...

编程新知 2026/4/3 6:01:03

科哥二次开发AWPortrait-Z体验：批量生成人像，效率提升300%

科哥二次开发AWPortrait-Z体验&#xff1a;批量生成人像&#xff0c;效率提升300% 1. 为什么选择AWPortrait-Z进行人像生成&#xff1f; 在当今内容创作领域&#xff0c;高质量人像需求呈现爆发式增长。从电商产品展示到社交媒体内容&#xff0c;专业级人像已经成为刚需。然而…...

编程新知 2026/4/3 5:50:56

AgentCPM深度研报助手使用技巧：三个参数让报告更专业

AgentCPM深度研报助手使用技巧&#xff1a;三个参数让报告更专业 1. 为什么你的AI研报总像“流水账”&#xff1f;问题可能出在参数上 你用过AI写报告&#xff0c;结果是不是这样&#xff1a;内容看起来都对&#xff0c;但读起来总觉得“差点意思”&#xff1f;结构松散像拼凑…...

编程新知 2026/4/3 5:20:18

假芯片识别与防范：工程师实战指南

1. 假芯片泛滥&#xff1a;半导体行业的隐秘危机最近在调试一块电路板时&#xff0c;我发现一个奇怪的现象&#xff1a;明明使用的是同型号的MCU&#xff0c;但部分板子的功耗异常偏高。经过一周的排查&#xff0c;最终发现问题出在芯片上——我们采购到了一批"套牌"…...

编程新知 2026/4/3 4:29:36

鸿蒙开发实战：HDC工具在本地模拟器中的高效调试技巧

1. HDC工具入门&#xff1a;鸿蒙开发的瑞士军刀 第一次接触HDC工具时&#xff0c;我把它当成了鸿蒙版的ADB。但用久了才发现&#xff0c;这个看似简单的命令行工具&#xff0c;其实是鸿蒙开发的万能钥匙。HDC全称Huawei Device Connector&#xff0c;就像它的名字一样&#xff…...

编程新知 2026/4/3 4:11:19

Laravel Stats Tracker设备检测技术解析：精准识别移动端与桌面端

Laravel Stats Tracker设备检测技术解析&#xff1a;精准识别移动端与桌面端 【免费下载链接】tracker Laravel Stats Tracker 项目地址: https://gitcode.com/gh_mirrors/tr/tracker Laravel Stats Tracker是一款强大的Laravel统计跟踪工具&#xff0c;它提供了精准的设…...

编程新知 2026/4/3 3:55:12

OpenClaw+Qwen3.5-9B：技术文档翻译与本地化自动化

OpenClawQwen3.5-9B&#xff1a;技术文档翻译与本地化自动化 1. 为什么选择这个技术组合&#xff1f; 去年参与一个开源项目时&#xff0c;我遇到了文档本地化的难题。项目文档有300多页Markdown文件&#xff0c;需要翻译成5种语言。传统翻译工具要么破坏格式&#xff0c;要么…...

编程新知 2026/4/3 3:37:00

如何通过智慧树自动化学习助手解决网课学习效率问题

如何通过智慧树自动化学习助手解决网课学习效率问题 【免费下载链接】zhihuishu 智慧树刷课插件&#xff0c;自动播放下一集、1.5倍速度、无声 项目地址: https://gitcode.com/gh_mirrors/zh/zhihuishu 副标题&#xff1a;面向时间紧张学习者的智能网课辅助工具 一、价…...

编程新知 2026/4/3 3:16:42

抖音批量下载工具终极指南：免费去水印，轻松获取视频素材

抖音批量下载工具终极指南&#xff1a;免费去水印&#xff0c;轻松获取视频素材 【免费下载链接】douyin-downloader A practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser f…...

编程新知 2026/4/3 2:38:02

OpenClaw与Qwen3-14b_int4_awq联动：低成本实现个人自动化办公

OpenClaw与Qwen3-14b_int4_awq联动&#xff1a;低成本实现个人自动化办公 1. 为什么选择OpenClawQwen3-14b_int4_awq组合 去年夏天&#xff0c;当我第一次尝试用AI自动化处理周报时&#xff0c;发现商业API的token消耗速度远超预期——生成5份周报就花掉了近50元。这促使我开…...

编程新知 2026/4/3 2:23:48