Hadoop简介
1. Hadoop简介
官网：http://hadoop.apache.org
1.1 Hadoop架构
- Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN
1.2 Hadoop历史
-
Hadoop作者Doug Cutting
-
Apache Lucene是一个文本搜索系统库
-
Apache Nutch作为前者的一部分，主要包括web爬虫、全文检索；2003年“谷歌分布式文件系统GFS”论文，2004年开源版本NDFS
-
2004年“谷歌MapReduce”论文，2005年Nutch开源版MapReduce
2、更多内容：
Hadoop相关
- HDFS分布式文件系统
- MR(MapReduce)离线数据处理
- YARN集群资源管理
Hive相关
- Hive-01之数仓、架构、数据类型、DDL、内外部表
- Hive-02之分桶表、数据导入导出、静动态分区、查询、排序、hiveserver2
- Hive-03之传参、常用函数、explode、lateral view、行专列、列转行、UDF
- Hive-04之存储格式、SerDe、企业级调优
- Hive-05之查询 分组、排序、case when、 什么情况下Hive可以避免进行MapReduce
- Hive-06之函数 聚合Cube、Rollup、窗口函数
- Hive-07之企业级调优
- Hive-08之数据仓库之建模、分析
- Hive-09之主流文件存储格式对比
- Hive-10之数据倾斜处理办法
相关文章：
Hadoop简介
1. Hadoop简介 官网：http://hadoop.apache.org 1.1 Hadoop架构 Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN 1.2 Hadoop历史 Hadoop作者Doug Cutting Apache Lucene是一个文本搜索系统库 Apache Nutch作为前者的一部…...
密码学（哈希函数）
4.1 Hash函数与数据完整性 数据完整性： 检测传输消息（加密或未加密）的修改。 密码学Hash函数： 构建某些数据的简短“指纹”；如果数据被篡改，则该指纹（以高概率）不再有效。Hash函数…...
谈谈单例模式中通过Htools包的SpringUtil.getBean获取Bean的好处
目录 优势 解决依赖注入失效问题： 典型应用场景： 好处 1. 实例化时序问题 2. 延迟获取解决空指针 3. 设计模式与 Spring 的权衡 代码对比：错误 vs 正确 错误示例（空指针）： 正确实现（延…...
本地部署大语言模型-DeepSeek
DeepSeek 是国内顶尖 AI 团队「深度求索」开发的多模态大模型，具备数学推理、代码生成等深度能力，堪称"AI界的六边形战士"。 Hostease AMD 9950X/96G/3.84T NVMe/1G/5IP/RTX4090 GPU服务器提供多种计费模式。 DeepSeek-R1-32B配置 配置项 规…...
adb的安装
1、概念 （1）adb（android debug bridge）安卓调试桥，用于完成电脑和手机之间的通信控制。 （2）xcode来完成对于ios设备的操控，前提是有个mac电脑。 2、adb的安装 （1&…...
Python 如何实现 Markdown 记账记录转 Excel 存储
文章精选推荐 1 JetBrains Ai assistant 编程工具让你的工作效率翻倍 2 Extra Icons：JetBrains IDE的图标增强神器 3 IDEA插件推荐-SequenceDiagram，自动生成时序图 4 BashSupport Pro 这个ides插件主要是用来干嘛的 ？ 5 IDEA必装的插件&…...
随机播放音乐 伪随机
import java.util.*;/*** https://cloud.tencent.com.cn/developer/news/1045747* 伪随机播放音乐*/ public class MusicPlayer {private List<String> allSongs; // 所有歌曲列表private List<String> playedSongs; // 已经播放过的歌曲列表private Map<String…...
latex 环境配置
编译器可选 miktex和 tex live ① miktex 下载地址 Portable 版本用的也是 Installer版的安装程序 basic-miktex-24.1-x64.exe，但是需要修改文件名为 miktex-portable.exe ├──texmfs │ ├─config │ ├─data │ └─install │ └─miktex/…...
fortify安全扫描Access Control: Database问题解决
概述 Access Control: Database说白了就是权限控制。在访问数据库(sql和nosql)需要加入当前用户的权限控制。不然会被fortify扫描出来，认为客户端可能不挟持和假冒，从而导致数据被泄露。 但是这个并不是任何时候都需要的，有的接口本来…...
Java 设计模式：软件开发的精髓与艺
目录 一、设计模式的起源二、设计模式的分类1. 创建型模式2. 结构型模式3. 行为型模式三、设计模式的实践1. 单例模式2. 工厂模式3. 策略模式四、设计模式的优势五、设计模式的局限性六、总结在软件开发的浩瀚星空中，设计模式犹如一颗颗璀璨的星辰，照亮了开发者前行的道路。它…...
初学者如何用 Python 写第一个爬虫？
?? 欢迎来到我的博客！ 非常高兴能在这里与您相遇。在这里，您不仅能获得有趣的技术分享，还能感受到轻松愉快的氛围。无论您是编程新手，还是资深开发者，都能在这里找到属于您的知识宝藏，学习和成长。 ?? …...
Cocos Creator3.8.6拖拽物体的几种方式
文章目录 前言一、第一种通过UILocation二、第二种通过UIDelta实现总结 前言 在游戏开发中，拖拽物体是一个非常常见的交互功能，无论是用于UI元素的拖动，还是场景中物体的移动，拖拽操作都能极大地提升用户体验。Cocos Creator 3.8…...
分布式Session
我用「餐厅点餐代码实战」帮你彻底搞懂分布式Session，看完不仅能应对面试，还能直接应用到实际开发。先记住这个核心矛盾：多服务员如何记住同一顾客的喜好？ 一、从生活场景理解Session的本质 传统单机场景（小餐馆&…...
Kotlin 运算符重载
在Kotlin中，常用的运算符重载函数名如下： 1.算术操作符： 加法：plus 减法：minus 乘法：times 除法：div 取模：rem 或 mod 整数除法：floorDiv 求幂：pow 自增&…...
OpenHarmony4.1-轻量与小型系统ubuntu开发环境
因OpenHarmony官网提供包含轻量、小型与标准系统的全量代码非常宠大，解包后大概需要70G以上硬盘空间，如要编译标准系统则需要140G以上空间。 如硬盘空间有限与只使用轻量/小型OpenHarmony系统，则可以下载并直接使用本人裁剪源码过的ubuntu硬盘…...
AVR 单片机硬件供电处理
摘自AVR 单片机应用笔记：AN2519 - AVR Microcontroller Hardware Design Considerations。 2. 供电 供电设计是任何硬件设计的关键一环，直接影响到系统的性能。在设计供电时，有两个重要的方面需要考虑：ESD 防护和噪声干扰。这些内…...
LeetCode 27 移除元素
LeetCode 27 - 移除元素（Remove Element）是一个简单但经典的双指针问题，主要考察数组操作的基本功。虽然问题容易，但掌握多种解法以及衍生的变体问题对解决更复杂的操作数组问题有帮助。 题目描述 输入：整数数组 nums…...
对“预训练”的理解
预训练有什么用 传统的机器学习是偏数学的，对数据的量不做过多要求，而深度学习的项目通常是有大量的数据可供使用。 在平常的任务或者项目中，我们可能并没有大量数据，只有少量数据，在这时我们就可以通过“借用”有大…...
论文阅读：CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION?
CAN GENERATIVE LARGE LANGUAGE MODELS PERFORM ASR ERROR CORRECTION? 生成式大语言模型能否进行自动语音识别（ASR）纠错？ https://arxiv.org/pdf/2307.04172 文章目录 速览常规总结通俗版 摘要（Abstract）2. 引言&a…...
Stable Diffusion（SD）系列模型及关联算法深度解析
一、基础模型架构演进 SD v1.5 核心架构：基于Latent Diffusion Model（LDM），通过VAE将图像压缩至潜空间进行扩散训练，支持512x512分辨率生成，兼容二次元与写实风格混合创作12。 训练数据&…...
利用最小二乘法找圆心和半径
#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …...
CocosCreator 之 JavaScript/TypeScript和Java的相互交互
引擎版本： 3.8.1 语言： JavaScript/TypeScript、C、Java 环境：Window 参考：Java原生反射机制 您好，我是鹤九日！ 回顾 在上篇文章中：CocosCreator Android项目接入UnityAds 广告SDK。 我们简单讲…...
第一篇：Agent2Agent (A2A) 协议——协作式人工智能的黎明
AI 领域的快速发展正在催生一个新时代，智能代理（agents）不再是孤立的个体，而是能够像一个数字团队一样协作。然而，当前 AI 生态系统的碎片化阻碍了这一愿景的实现，导致了“AI 巴别塔问题”——不同代理之间…...
CMake 从 GitHub 下载第三方库并使用
有时我们希望直接使用 GitHub 上的开源库，而不想手动下载、编译和安装。 可以利用 CMake 提供的 FetchContent 模块来实现自动下载、构建和链接第三方库。 FetchContent 命令官方文档✅ 示例代码 我们将以 fmt 这个流行的格式化库为例，演示如何： 使用 FetchContent 从 GitH…...
Java线上CPU飙高问题排查全指南
一、引言 在Java应用的线上运行环境中，CPU飙高是一个常见且棘手的性能问题。当系统出现CPU飙高时，通常会导致应用响应缓慢，甚至服务不可用，严重影响用户体验和业务运行。因此，掌握一套科学有效的CPU飙高问题排查方法&…...
用机器学习破解新能源领域的“弃风”难题
音乐发烧友深有体会，玩音乐的本质就是玩电网。火电声音偏暖，水电偏冷，风电偏空旷。至于太阳能发的电，则略显朦胧和单薄。 不知你是否有感觉，近两年家里的音响声音越来越冷，听起来越来越单薄？ —…...
Chromium 136 编译指南 Windows篇：depot_tools 配置与源码获取（二）
引言 工欲善其事，必先利其器。在完成了 Visual Studio 2022 和 Windows SDK 的安装后，我们即将接触到 Chromium 开发生态中最核心的工具——depot_tools。这个由 Google 精心打造的工具集，就像是连接开发者与 Chromium 庞大代码库的智能桥梁…...
Linux部署私有文件管理系统MinIO
最近需要用到一个文件管理服务，但是又不想花钱，所以就想着自己搭建一个，刚好我们用的一个开源框架已经集成了MinIO，所以就选了这个 我这边对文件服务性能要求不是太高，单机版就可以 安装非常简单，几个命令就…...
深度剖析 DeepSeek 开源模型部署与应用：策略、权衡与未来走向
在人工智能技术呈指数级发展的当下，大模型已然成为推动各行业变革的核心驱动力。DeepSeek 开源模型以其卓越的性能和灵活的开源特性，吸引了众多企业与开发者的目光。如何高效且合理地部署与运用 DeepSeek 模型，成为释放其巨大潜力的关键所在&…...
【深度学习新浪潮】什么是credit assignment problem？
Credit Assignment Problem（信用分配问题） 是机器学习，尤其是强化学习（RL）中的核心挑战之一，指的是如何将最终的奖励或惩罚准确地分配给导致该结果的各个中间动作或决策。在序列决策任务中，智能体执行一系列动作后获得一个最终奖励，但每个动作对最终结果的贡献程度往往…...