Hadoop简介
1. Hadoop简介
官网：http://hadoop.apache.org
1.1 Hadoop架构
- Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN
1.2 Hadoop历史
-
Hadoop作者Doug Cutting
-
Apache Lucene是一个文本搜索系统库
-
Apache Nutch作为前者的一部分，主要包括web爬虫、全文检索；2003年“谷歌分布式文件系统GFS”论文，2004年开源版本NDFS
-
2004年“谷歌MapReduce”论文，2005年Nutch开源版MapReduce
2、更多内容：
Hadoop相关
- HDFS分布式文件系统
- MR(MapReduce)离线数据处理
- YARN集群资源管理
Hive相关
- Hive-01之数仓、架构、数据类型、DDL、内外部表
- Hive-02之分桶表、数据导入导出、静动态分区、查询、排序、hiveserver2
- Hive-03之传参、常用函数、explode、lateral view、行专列、列转行、UDF
- Hive-04之存储格式、SerDe、企业级调优
- Hive-05之查询 分组、排序、case when、 什么情况下Hive可以避免进行MapReduce
- Hive-06之函数 聚合Cube、Rollup、窗口函数
- Hive-07之企业级调优
- Hive-08之数据仓库之建模、分析
- Hive-09之主流文件存储格式对比
- Hive-10之数据倾斜处理办法
相关文章：
Hadoop简介
1. Hadoop简介 官网：http://hadoop.apache.org 1.1 Hadoop架构 Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN 1.2 Hadoop历史 Hadoop作者Doug Cutting Apache Lucene是一个文本搜索系统库 Apache Nutch作为前者的一部…...
密码学（哈希函数）
4.1 Hash函数与数据完整性 数据完整性： 检测传输消息（加密或未加密）的修改。 密码学Hash函数： 构建某些数据的简短“指纹”；如果数据被篡改，则该指纹（以高概率）不再有效。Hash函数…...
谈谈单例模式中通过Htools包的SpringUtil.getBean获取Bean的好处
目录 优势 解决依赖注入失效问题： 典型应用场景： 好处 1. 实例化时序问题 2. 延迟获取解决空指针 3. 设计模式与 Spring 的权衡 代码对比：错误 vs 正确 错误示例（空指针）： 正确实现（延…...
本地部署大语言模型-DeepSeek
DeepSeek 是国内顶尖 AI 团队「深度求索」开发的多模态大模型，具备数学推理、代码生成等深度能力，堪称"AI界的六边形战士"。 Hostease AMD 9950X/96G/3.84T NVMe/1G/5IP/RTX4090 GPU服务器提供多种计费模式。 DeepSeek-R1-32B配置 配置项 规…...
adb的安装
1、概念 （1）adb（android debug bridge）安卓调试桥，用于完成电脑和手机之间的通信控制。 （2）xcode来完成对于ios设备的操控，前提是有个mac电脑。 2、adb的安装 （1&…...
Python 如何实现 Markdown 记账记录转 Excel 存储
文章精选推荐 1 JetBrains Ai assistant 编程工具让你的工作效率翻倍 2 Extra Icons：JetBrains IDE的图标增强神器 3 IDEA插件推荐-SequenceDiagram，自动生成时序图 4 BashSupport Pro 这个ides插件主要是用来干嘛的 ？ 5 IDEA必装的插件&…...
随机播放音乐 伪随机
import java.util.*;/*** https://cloud.tencent.com.cn/developer/news/1045747* 伪随机播放音乐*/ public class MusicPlayer {private List<String> allSongs; // 所有歌曲列表private List<String> playedSongs; // 已经播放过的歌曲列表private Map<String…...
latex 环境配置
编译器可选 miktex和 tex live ① miktex 下载地址 Portable 版本用的也是 Installer版的安装程序 basic-miktex-24.1-x64.exe，但是需要修改文件名为 miktex-portable.exe ├──texmfs │ ├─config │ ├─data │ └─install │ └─miktex/…...
fortify安全扫描Access Control: Database问题解决
概述 Access Control: Database说白了就是权限控制。在访问数据库(sql和nosql)需要加入当前用户的权限控制。不然会被fortify扫描出来，认为客户端可能不挟持和假冒，从而导致数据被泄露。 但是这个并不是任何时候都需要的，有的接口本来…...
Java 设计模式：软件开发的精髓与艺
目录 一、设计模式的起源二、设计模式的分类1. 创建型模式2. 结构型模式3. 行为型模式三、设计模式的实践1. 单例模式2. 工厂模式3. 策略模式四、设计模式的优势五、设计模式的局限性六、总结在软件开发的浩瀚星空中，设计模式犹如一颗颗璀璨的星辰，照亮了开发者前行的道路。它…...
初学者如何用 Python 写第一个爬虫？
?? 欢迎来到我的博客！ 非常高兴能在这里与您相遇。在这里，您不仅能获得有趣的技术分享，还能感受到轻松愉快的氛围。无论您是编程新手，还是资深开发者，都能在这里找到属于您的知识宝藏，学习和成长。 ?? …...
Cocos Creator3.8.6拖拽物体的几种方式
文章目录 前言一、第一种通过UILocation二、第二种通过UIDelta实现总结 前言 在游戏开发中，拖拽物体是一个非常常见的交互功能，无论是用于UI元素的拖动，还是场景中物体的移动，拖拽操作都能极大地提升用户体验。Cocos Creator 3.8…...
分布式Session
我用「餐厅点餐代码实战」帮你彻底搞懂分布式Session，看完不仅能应对面试，还能直接应用到实际开发。先记住这个核心矛盾：多服务员如何记住同一顾客的喜好？ 一、从生活场景理解Session的本质 传统单机场景（小餐馆&…...
Kotlin 运算符重载
在Kotlin中，常用的运算符重载函数名如下： 1.算术操作符： 加法：plus 减法：minus 乘法：times 除法：div 取模：rem 或 mod 整数除法：floorDiv 求幂：pow 自增&…...
OpenHarmony4.1-轻量与小型系统ubuntu开发环境
因OpenHarmony官网提供包含轻量、小型与标准系统的全量代码非常宠大，解包后大概需要70G以上硬盘空间，如要编译标准系统则需要140G以上空间。 如硬盘空间有限与只使用轻量/小型OpenHarmony系统，则可以下载并直接使用本人裁剪源码过的ubuntu硬盘…...
AVR 单片机硬件供电处理
摘自AVR 单片机应用笔记：AN2519 - AVR Microcontroller Hardware Design Considerations。 2. 供电 供电设计是任何硬件设计的关键一环，直接影响到系统的性能。在设计供电时，有两个重要的方面需要考虑：ESD 防护和噪声干扰。这些内…...
LeetCode 27 移除元素
LeetCode 27 - 移除元素（Remove Element）是一个简单但经典的双指针问题，主要考察数组操作的基本功。虽然问题容易，但掌握多种解法以及衍生的变体问题对解决更复杂的操作数组问题有帮助。 题目描述 输入：整数数组 nums…...
对“预训练”的理解
预训练有什么用 传统的机器学习是偏数学的，对数据的量不做过多要求，而深度学习的项目通常是有大量的数据可供使用。 在平常的任务或者项目中，我们可能并没有大量数据，只有少量数据，在这时我们就可以通过“借用”有大…...
论文阅读：CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION?
CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION? 生成式大语言模型能否进行自动语音识别（ASR）纠错？ https://arxiv.org/pdf/2307.04172 文章目录 速览常规总结通俗版 摘要（Abstract）2. 引言&a…...
Stable Diffusion（SD）系列模型及关联算法深度解析
一、基础模型架构演进 SD v1.5 核心架构：基于Latent Diffusion Model（LDM），通过VAE将图像压缩至潜空间进行扩散训练，支持512x512分辨率生成，兼容二次元与写实风格混合创作12。 训练数据&…...
Taotoken用量看板如何帮助团队管理API成本
🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 Taotoken用量看板如何帮助团队管理API成本 对于团队技术负责人或项目管理者而言，在引入大模型能力后，一个核…...
AlwaysOnTop终极指南：如何让Windows窗口永远置顶的完整教程
AlwaysOnTop终极指南：如何让Windows窗口永远置顶的完整教程 【免费下载链接】AlwaysOnTop Make a Windows application always run on top 项目地址: https://gitcode.com/gh_mirrors/al/AlwaysOnTop 你是否曾经在同时处理多个任务时，因为重要窗口…...
AI大神Karpathy的学习心法，普通人也能直接抄作业
美国时间2026年5月19日，AI 圈被一条重磅消息刷屏：大牛 Andrej Karpathy 在社交媒体上正式宣布加入 Anthropic。对于整个科技圈而言，他的动向影响力堪比当年乔丹宣布重返 NBA 大联盟 。这一次，他加入了 Anthropic 的预训练团队&…...
KMS_VL_ALL_AIO：告别激活烦恼的完整解决方案指南
KMS_VL_ALL_AIO：告别激活烦恼的完整解决方案指南 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO 你是否曾经为了激活Windows系统而花费数小时研究复杂的命令行？或者面对O…...
利用Taotoken用量看板与成本管理功能精细化控制AI支出
🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 利用Taotoken用量看板与成本管理功能精细化控制AI支出 作为团队的技术负责人，在引入大模型能力支持多个研发项目时&…...
嵌入式开发为何首选C语言？深入解析其核心优势与实战应用
1. 项目概述：嵌入式世界的“通用语”如果你刚踏入嵌入式开发的大门，或者正从其他编程领域转过来，可能会有一个疑问：为什么满世界都在用C语言？从你手上那块小小的单片机，到家里的智能路由器，再到…...
从 Dify 配置页理解 RAG 的重要参数
RAG（Retrieval-Augmented Generation，检索增强生成）经常被一句话概括成“先检索，再回答”。这句话没有错，但如果真的要把一个知识库调到可用，仅仅理解这四个字还不够。真正影响答案质量的，往往是…...
Claude CLI 缓存陷阱：为什么用第三方模型时 token 会暴涨 10 倍？
一个开发者的真实经历 上周，我收到一位朋友的微信： “我用 Claude Code 接 DeepSeek API，明明代码没怎么变，token 消耗却突然涨了好几倍，一天就把额度用完了。” 这个情况不是个例。在 GitHub 上，至少有 80 多个相关 issue，核心问题都指向同一个点——Claude CLI 默认…...
锂电 / 光伏工业相机选型：5 大品牌核心参数与适用场景解析
2026 年锂电与光伏行业工业相机选型，早已不再是单纯比拼分辨率数值。行业竞争焦点已转向高速传输下的运行稳定性、与 AI 智能检测的融合深度，以及复杂生产场景下的专属定制能力。像锂电极片高速涂布、光伏硅片隐裂筛查这类核心生产环节，对工业…...
球形氧化镁—电子材料的导热秘方！
从消费电子到新能源汽车，从5G基站到航空航天器件，每一款高性能电子产品的稳定运行，都离不开核心导热材料。当传统导热材料难以平衡导热效率、绝缘性能与成本控制时，球形氧化镁凭借其独特的结构优势与卓越性能，成为破解…...