Hadoop简介
1. Hadoop简介
官网：http://hadoop.apache.org
1.1 Hadoop架构
- Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN
1.2 Hadoop历史
-
Hadoop作者Doug Cutting
-
Apache Lucene是一个文本搜索系统库
-
Apache Nutch作为前者的一部分，主要包括web爬虫、全文检索；2003年“谷歌分布式文件系统GFS”论文，2004年开源版本NDFS
-
2004年“谷歌MapReduce”论文，2005年Nutch开源版MapReduce
2、更多内容：
Hadoop相关
- HDFS分布式文件系统
- MR(MapReduce)离线数据处理
- YARN集群资源管理
Hive相关
- Hive-01之数仓、架构、数据类型、DDL、内外部表
- Hive-02之分桶表、数据导入导出、静动态分区、查询、排序、hiveserver2
- Hive-03之传参、常用函数、explode、lateral view、行专列、列转行、UDF
- Hive-04之存储格式、SerDe、企业级调优
- Hive-05之查询 分组、排序、case when、 什么情况下Hive可以避免进行MapReduce
- Hive-06之函数 聚合Cube、Rollup、窗口函数
- Hive-07之企业级调优
- Hive-08之数据仓库之建模、分析
- Hive-09之主流文件存储格式对比
- Hive-10之数据倾斜处理办法
相关文章：
Hadoop简介
1. Hadoop简介 官网：http://hadoop.apache.org 1.1 Hadoop架构 Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN 1.2 Hadoop历史 Hadoop作者Doug Cutting Apache Lucene是一个文本搜索系统库 Apache Nutch作为前者的一部…...
密码学（哈希函数）
4.1 Hash函数与数据完整性 数据完整性： 检测传输消息（加密或未加密）的修改。 密码学Hash函数： 构建某些数据的简短“指纹”；如果数据被篡改，则该指纹（以高概率）不再有效。Hash函数…...
谈谈单例模式中通过Htools包的SpringUtil.getBean获取Bean的好处
目录 优势 解决依赖注入失效问题： 典型应用场景： 好处 1. 实例化时序问题 2. 延迟获取解决空指针 3. 设计模式与 Spring 的权衡 代码对比：错误 vs 正确 错误示例（空指针）： 正确实现（延…...
本地部署大语言模型-DeepSeek
DeepSeek 是国内顶尖 AI 团队「深度求索」开发的多模态大模型，具备数学推理、代码生成等深度能力，堪称"AI界的六边形战士"。 Hostease AMD 9950X/96G/3.84T NVMe/1G/5IP/RTX4090 GPU服务器提供多种计费模式。 DeepSeek-R1-32B配置 配置项 规…...
adb的安装
1、概念 （1）adb（android debug bridge）安卓调试桥，用于完成电脑和手机之间的通信控制。 （2）xcode来完成对于ios设备的操控，前提是有个mac电脑。 2、adb的安装 （1&…...
Python 如何实现 Markdown 记账记录转 Excel 存储
文章精选推荐 1 JetBrains Ai assistant 编程工具让你的工作效率翻倍 2 Extra Icons：JetBrains IDE的图标增强神器 3 IDEA插件推荐-SequenceDiagram，自动生成时序图 4 BashSupport Pro 这个ides插件主要是用来干嘛的 ？ 5 IDEA必装的插件&…...
随机播放音乐 伪随机
import java.util.*;/*** https://cloud.tencent.com.cn/developer/news/1045747* 伪随机播放音乐*/ public class MusicPlayer {private List<String> allSongs; // 所有歌曲列表private List<String> playedSongs; // 已经播放过的歌曲列表private Map<String…...
latex 环境配置
编译器可选 miktex和 tex live ① miktex 下载地址 Portable 版本用的也是 Installer版的安装程序 basic-miktex-24.1-x64.exe，但是需要修改文件名为 miktex-portable.exe ├──texmfs │ ├─config │ ├─data │ └─install │ └─miktex/…...
fortify安全扫描Access Control: Database问题解决
概述 Access Control: Database说白了就是权限控制。在访问数据库(sql和nosql)需要加入当前用户的权限控制。不然会被fortify扫描出来，认为客户端可能不挟持和假冒，从而导致数据被泄露。 但是这个并不是任何时候都需要的，有的接口本来…...
Java 设计模式：软件开发的精髓与艺
目录 一、设计模式的起源二、设计模式的分类1. 创建型模式2. 结构型模式3. 行为型模式三、设计模式的实践1. 单例模式2. 工厂模式3. 策略模式四、设计模式的优势五、设计模式的局限性六、总结在软件开发的浩瀚星空中，设计模式犹如一颗颗璀璨的星辰，照亮了开发者前行的道路。它…...
初学者如何用 Python 写第一个爬虫？
?? 欢迎来到我的博客！ 非常高兴能在这里与您相遇。在这里，您不仅能获得有趣的技术分享，还能感受到轻松愉快的氛围。无论您是编程新手，还是资深开发者，都能在这里找到属于您的知识宝藏，学习和成长。 ?? …...
Cocos Creator3.8.6拖拽物体的几种方式
文章目录 前言一、第一种通过UILocation二、第二种通过UIDelta实现总结 前言 在游戏开发中，拖拽物体是一个非常常见的交互功能，无论是用于UI元素的拖动，还是场景中物体的移动，拖拽操作都能极大地提升用户体验。Cocos Creator 3.8…...
分布式Session
我用「餐厅点餐代码实战」帮你彻底搞懂分布式Session，看完不仅能应对面试，还能直接应用到实际开发。先记住这个核心矛盾：多服务员如何记住同一顾客的喜好？ 一、从生活场景理解Session的本质 传统单机场景（小餐馆&…...
Kotlin 运算符重载
在Kotlin中，常用的运算符重载函数名如下： 1.算术操作符： 加法：plus 减法：minus 乘法：times 除法：div 取模：rem 或 mod 整数除法：floorDiv 求幂：pow 自增&…...
OpenHarmony4.1-轻量与小型系统ubuntu开发环境
因OpenHarmony官网提供包含轻量、小型与标准系统的全量代码非常宠大，解包后大概需要70G以上硬盘空间，如要编译标准系统则需要140G以上空间。 如硬盘空间有限与只使用轻量/小型OpenHarmony系统，则可以下载并直接使用本人裁剪源码过的ubuntu硬盘…...
AVR 单片机硬件供电处理
摘自AVR 单片机应用笔记：AN2519 - AVR Microcontroller Hardware Design Considerations。 2. 供电 供电设计是任何硬件设计的关键一环，直接影响到系统的性能。在设计供电时，有两个重要的方面需要考虑：ESD 防护和噪声干扰。这些内…...
LeetCode 27 移除元素
LeetCode 27 - 移除元素（Remove Element）是一个简单但经典的双指针问题，主要考察数组操作的基本功。虽然问题容易，但掌握多种解法以及衍生的变体问题对解决更复杂的操作数组问题有帮助。 题目描述 输入：整数数组 nums…...
对“预训练”的理解
预训练有什么用 传统的机器学习是偏数学的，对数据的量不做过多要求，而深度学习的项目通常是有大量的数据可供使用。 在平常的任务或者项目中，我们可能并没有大量数据，只有少量数据，在这时我们就可以通过“借用”有大…...
论文阅读：CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION?
CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION? 生成式大语言模型能否进行自动语音识别（ASR）纠错？ https://arxiv.org/pdf/2307.04172 文章目录 速览常规总结通俗版 摘要（Abstract）2. 引言&a…...
Stable Diffusion（SD）系列模型及关联算法深度解析
一、基础模型架构演进 SD v1.5 核心架构：基于Latent Diffusion Model（LDM），通过VAE将图像压缩至潜空间进行扩散训练，支持512x512分辨率生成，兼容二次元与写实风格混合创作12。 训练数据&…...
ClassGraph安全封装绕过：Narcissus与JVM-Driver深度分析
ClassGraph安全封装绕过：Narcissus与JVM-Driver深度分析 【免费下载链接】classgraph An uber-fast parallelized Java classpath scanner and module scanner. 项目地址: https://gitcode.com/gh_mirrors/cl/classgraph ClassGraph作为一款超快速的并行化Ja…...
杰理之关机DAC未进入高阻【篇】
memset(JL_ADDA, 0x0, sizeof(JL_ADDA_TypeDef)); SFR(JL_ADDA->DAA_CON2, 15, 1, 1); SFR(JL_ADDA->DAA_CON2, 5, 1, 1);...
多层PCB结构与过孔工艺深度解析
1. 多层PCB内部结构探秘作为一名硬件工程师，第一次拆解十层PCB板时，那种震撼感至今难忘。密密麻麻的过孔像微型蚁穴般贯穿板体，各层铜箔线路在灯光下泛着金属光泽。本文将用3D视角为你拆解这块"电子千层糕"的构造奥秘。多层PCB的核…...
HUSB238 USB-C PD物理层驱动设计与ESP32集成指南
1. HUSB238 驱动库概述HUSB238 是由 Microchip 推出的 USB Type-C 和 USB PD（Power Delivery）源端（Source）控制器，专为高集成度、小尺寸 USB-C 充电应用设计。其核心功能包括：USB-C 插拔检测（CC…...
AI Agent自我进化底层教程（非常详细），收藏这一篇就够了！
一句话讲清楚👉🏻 MemSkill通过可学习和演进的"记忆技能"系统，让AI Agent能够动态选择和优化记忆操作，实现真正的自我进化。 背景：AI Agent的记忆困境 2026年，AI Agent已经成为人工智能领域最热…...
突破模型部署瓶颈：TimesFM 2.5从500M到200M的压缩实践指南
突破模型部署瓶颈：TimesFM 2.5从500M到200M的压缩实践指南 【免费下载链接】timesfm TimesFM (Time Series Foundation Model) is a pretrained time-series foundation model developed by Google Research for time-series forecasting. 项目地址: https://gitc…...
三维建模师必看：Blender中坐标变换的数学原理与操作技巧
三维建模师必看：Blender中坐标变换的数学原理与操作技巧 在Blender的世界里，每个顶点、每条边、每个面都在三维空间中占据着精确的位置。当我们移动一个物体、缩放一个模型或旋转一个摄像机时，背后是一套精密的数学机制在运作。对于艺术背景的…...
别再让你的Druid监控裸奔了！手把手教你配置账户密码与访问控制
Druid监控安全加固实战：从零构建企业级防护体系 在Java生态中，Druid作为阿里巴巴开源的数据库连接池，凭借其强大的监控功能成为众多企业的标配组件。但令人担忧的是，超过60%的生产环境存在Druid监控页面暴露的安全隐患——这相当于…...
博士论文的“破茧”时刻：好写作AI如何陪你走完最后一公里
一个论文科普博主眼中的“学术极限运动辅助器” 亲爱的博士生朋友们，今天我们聊点“不轻松”的话题。 当你的同学在朋友圈晒工作、晒娃、晒旅游时，你在晒什么？晒图书馆的凌晨三点，晒被导师批注得“血肉模糊”的草稿，晒…...
BR DI426数字输入模块
B&R DI426 数字输入模块是一款工业自动化系统用的 I/O 模块，主要用于采集现场开关量信号并传输至控制系统。一、基本概述型号：DI426类型：数字输入模块用途：采集工业现场的开关量信号，为控制系统提供输入数据二、主…...