大数据课程D4——hadoop的MapReduce
文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州
▲ 本章节目的
⚪ 了解MapReduce的作用和特点；
⚪ 掌握MapReduce的组件；
⚪ 掌握MapReduce的Shuffle；
⚪ 掌握MapReduce的小文件问题；
⚪ 掌握MapReduce的压缩机制；
⚪ 掌握MapReduce的推测执行机制；
⚪ 掌握MapReduce的数据倾斜问题；
一、简介
1. 概述
1. MapReduce是Hadoop提供的一套进行分布式计算机制。
2. MapReduce是Doug Cutting根据Google的论文<The Google MapReduce>来仿照实现的。
3. MapReduce会将整个计算过程拆分为2个阶段：Map阶段和Reduce阶段。在Map阶段，用户需要考虑对数据进行规整和映射；在Reduce阶段，用户需要考虑对数据进行最后的规约。
2. 特点
1. 优点
a. 易于编程：MapReduce提供了相对简单的编程模型。这就保证MapReduce相对易于学习。用户在使用的时候，只需要实现一些接口或者去继承一些类，覆盖需要实现的逻辑，即可实现分布式计算。
b. 具有良好的可扩展性：如果当前集群的性能不够，那么MapReduce能够轻易的通过增加节点数量的方式来提高集群性能。
c. 高容错性：当某一个节点产生故障的时候，MapReduce会自动的将这个节点上的计算任务进行转移而整个过程不需要用户手动参与。
d. 适合于大量数据的计算，尤其是PB级别以上的数据，因此MapReduce更适合于离线计算。
2. 缺点
a. 不适合于实时处理：MapReduce要求处理的数据是静态的，实时的特点在于数据池是动态的。
b. 不擅长流式计算：MapReduce的运行效率相对较低，在处理流式计算的时候，效率更低。
c. 不擅长DAG(有向图)运算：如果希望把上一个MapReduce的运行结果作为下一个MapReduce的输入数据，那么需要手动使用工作流进行调度，而MapReduce本身并没有这种调度功能。
3. 入门案例
1. 案例：统计文件中每一个字符出现的次数(文件：characters.txt)。
2. Hadoop对Windows系统的兼容性不强，所以在Windows中运行Hadoop程序的时候需要添加一些其他的配置 - 配置之后，需要双击winutils.exe，如果出现一个黑色窗口一闪而过，那么没有任何问题；如果双击winutils.exe之后报错，那么将jar目录下的msvcr120.dll文件放到C:\\Windows\\System32目录下，然后再次双击winutils.exe工具，查看是否报错。
3. 配置环境变量：
a. 新建HADOOP_HOME。
b. 修改Path。
c. 新建HADOOP_USER_NAME。
4. 如果运行程序的时候，出现了null/bin/winutils.exe错误，那么解决方案：
a. 先检查环境变量是否配置正确。
b. 如果环境变量配置正确，但是运行程序依然报错，那么可以在Driver类中添加代码：System.setProperty("hadoop.home.dir", "Hadoop的解压
相关文章：
大数据课程D4——hadoop的MapReduce
文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州 ▲ 本章节目的 ⚪ 了解MapReduce的作用和特点； ⚪ 掌握MapReduce的组件； ⚪ 掌握MapReduce的Shuffle； ⚪ 掌握MapReduce的小文件问题； ⚪ 掌握MapReduce的压缩机制； ⚪ 掌握MapReduce的推测执行机制…...
java策略模式
在Java中，策略模式（Strategy Design Pattern）用于定义一系列算法，并将每个算法封装成单独的类，使得它们可以互相替换，让客户端在使用算法时不需要知道具体的实现细节。策略模式是一种行为型设计模式&#x…...
Vue2封装自定义全局Loading组件
前言 在开发的过程中，点击提交按钮，或者是一些其它场景总会遇到Loading加载框，PC的一些UI库也没有这样的加载框，无法满足业务需求，因此可以自己自定义一个，实现过程如下。 效果图 如何封装？ 第…...
docker 搭建jenkins
1、拉取镜像 docker pull jenkins/jenkins:2.4162、创建文件夹 mkdir -p /home/jenkins_mount chmod 777 /home/jenkins_mount3、运行并构建容器 docker run --restartalways -d -p 10240:8080 -p 10241:50000 -v /home/jenkins_mount:/var/jenkins_home -v /etc/localtime:…...
【Docker】Docker 部署 Mysql 并设置数据持久化
文章目录 1. Docker持久化MySQL2. 测试删除MySQL容器后新建容器，数据还在不在3. 参考资料 我们使用Docker的目的就是图它方便下载部署，不用常规的经历下载、配置、安装等等繁琐的步骤。但是与此同时Docker也存在一些缺点，像删除容器后数据就都…...
【ARM 常见汇编指令学习 5 -- arm64汇编指令 wzr 和 xzr】
文章目录 ARM64 zero registerARMv8 zero 寄存器的背景xzr 在寄存器读写操作中的使用 上篇文章：ARM 常见汇编指令学习 4 – ARM64 比较指令 cbnz 与 b.ne 区别 下篇文章：ARM 常见汇编指令学习 6 - bic(位清除), orr(位或), eor(异或) ARM64 zero registe…...
4.4 成员变量与局部变量的区别有哪些？
文章目录 4.5 创建一个对象用什么运算符?对象实体与对象引用有何不同?4.6 一个类的构造方法的作用是什么? 若一个类没有声明构造方法，该程序能正确执行吗? 为什么?4.7 构造方法有哪些特性？4.8 在调用子类构造方法之前会先调用父类没有参数的构造方法…...
学生管理系统-03项目案例（3）
一、用户列表 1、编写api接口 //导入封装后的axios import {instance} from /util/request export default{getUsers:params>instance.get(/users/getUsers,{params}) } 2、表格渲染 <template><el-card><!-- 当el-table元素中注入data对象数组后&#x…...
Banana Pi BPI-KVM – 基于 Rockchip RK3568 SoC 的 KVM over IP 解决方案
Banana Pi 已经开始开发基于 Rockchip RK3568 SoC 的 BPI-KVM 盒，但它不是迷你 PC，而是 KVM over IP 解决方案，旨在远程控制另一台计算机或设备，就像您在现场一样，例如能够打开和关闭连接的设备、访问 BIOS 等。 商业…...
面试：Spring Cloud和Kubernetes的优缺点
Spring Cloud 优点 spring cloud是从应用框架层面解决微服务架构的一部分，如网关、服务发现、负载平衡、配置管理、指标跟踪等，易于Java开发者上手。 缺点 缺乏打包、持续集成、伸缩、高可用和自我修复等，且局限于Java平台。 Kubernetes …...
TSINGSEE青犀视频安防监控视频平台EasyCVR新增密码复杂度提示
智能视频监控平台TSINGSEE青犀视频EasyCVR可拓展性强、视频能力灵活、部署轻快，可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等，能对外分发RTSP、RTM…...
前端开发中的正则表达式：解密规则的魔法
引言 在前端开发中，正则表达式是一个强大且不可或缺的工具，它可以帮助我们处理和验证字符串数据。无论是表单验证、数据提取还是字符串替换，正则表达式都可以发挥巨大的作用。本篇博客将全面介绍前端开发中的正则表达式，包括基本…...
const的用法
目录 const的基本理解 C和C中const的区别 代码段 不初始化or初始化 常变量or常量 编译方式 备注开发环境：vscode通过ssh连接虚拟机中的ubuntu，ubuntu-20.04.3-desktop-amd64.iso const的基本理解 const修饰的变量不能作为左值 const修饰的变量初…...
机器学习深度学习——模型选择、欠拟合和过拟合
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——多层感知机的简洁实现 📚订阅专栏：机器学习&&深度学习 希望文章对你们有…...
IP 服务级别协议监控
工作场所分布在全球多个地点的企业通过 WAN 链接共享和接收数据，这需要跨广泛的网络位置和路径持续监控网络质量，以实现优化的性能水平和不间断的服务交付。 IP 服务水平协议 IP 服务级别协议 （IP SLA） 是一种网络测量技术&…...
Emvirus: 基于 embedding 的神经网络来预测 human-virus PPIs【Biosafety and Health，2023】
研究背景： Human-virus PPIs 预测对于理解病毒感染机制、病毒防控等十分重要；大部分基于 machine-learning 预测 human-virus PPIs 的方法利用手动方法处理序列特征，包括统计学特征、系统发育图谱、理化性质等；本文作者提出了一个…...
安全文件传输：如何降低数据丢失的风险
在当今数字化时代，文件传输是必不可少的一项工作。但是，数据丢失一直是一个令人头疼的问题。本文将探讨一些减少数据丢失风险的方法，包括加密、备份和使用可信的传输协议等。采取这些措施将有助于保护数据免受意外丢失的危险。 一、加密保护数…...
AI绘画StableDiffusion实操教程：可爱头像奶茶小女孩(附高清图片)
本教程收集于：AIGC从入门到精通教程汇总 今天继续分享AI绘画实操教程，如何用lora包生成超可爱头像奶茶小女孩 放大高清图已放到教程包内，需要的可以自取。 欢迎来到我们这篇特别的文章——《AI绘画StableDiffusion实操教程：可爱…...
java8 GroupingBy 用法大全
java8中，Collectors.groupingBy 会用得比较多，对其常见用法做一个汇总 1，模拟数据 Item import java.math.BigDecimal;public class Item {private String name;private Integer quantity;private BigDecimal price;public Item(String nam…...
vue_router__WEBPACK_IMPORTED_MODULE_1__.default is not a constructor
你所建立的项目 是 vue2x ，但是却下载了 vue-router4x 而 vue-router4x 适用于 vue3x 所以你需要卸载 vue-router4x，重新下载 vue-router3x 卸载： npm uninstall vue-router 安装：(3版本） npm i vue-router3...
Vim 调用外部命令学习笔记
Vim 外部命令集成完全指南 文章目录 Vim 外部命令集成完全指南核心概念理解命令语法解析语法对比 常用外部命令详解文本排序与去重文本筛选与搜索高级 grep 搜索技巧文本替换与编辑字符处理高级文本处理编程语言处理其他实用命令 范围操作示例指定行范围处理复合命令示例 实用技…...
使用VSCode开发Django指南
使用VSCode开发Django指南 一、概述 Django 是一个高级 Python 框架，专为快速、安全和可扩展的 Web 开发而设计。Django 包含对 URL 路由、页面模板和数据处理的丰富支持。 本文将创建一个简单的 Django 应用，其中包含三个使用通用基本模板的页面。在此…...
React hook之useRef
React useRef 详解 useRef 是 React 提供的一个 Hook，用于在函数组件中创建可变的引用对象。它在 React 开发中有多种重要用途，下面我将全面详细地介绍它的特性和用法。 基本概念 1. 创建 ref const refContainer useRef(initialValue);initialValu…...
Cesium1.95中高性能加载1500个点
一、基本方式： 图标使用.png比.svg性能要好 <template><div id"cesiumContainer"></div><div class"toolbar"><button id"resetButton">重新生成点</button><span id"countDisplay&qu…...
Objective-C常用命名规范总结
【OC】常用命名规范总结 文章目录 【OC】常用命名规范总结1.类名（Class Name)2.协议名（Protocol Name)3.方法名（Method Name)4.属性名（Property Name）5.局部变量/实例变量（Local / Instance Variables&…...
从零实现STL哈希容器：unordered_map/unordered_set封装详解
本篇文章是对C学习的STL哈希容器自主实现部分的学习分享 希望也能为你带来些帮助~ 那咱们废话不多说，直接开始吧！ 一、源码结构分析 1. SGISTL30实现剖析 // hash_set核心结构 template <class Value, class HashFcn, ...> class hash_set {ty…...
04-初识css
一、css样式引入 1.1.内部样式 <div style"width: 100px;"></div>1.2.外部样式 1.2.1.外部样式1 <style>.aa {width: 100px;} </style> <div class"aa"></div>1.2.2.外部样式2 <!-- rel内表面引入的是style样…...
土地利用/土地覆盖遥感解译与基于CLUE模型未来变化情景预测；从基础到高级，涵盖ArcGIS数据处理、ENVI遥感解译与CLUE模型情景模拟等
🔍 土地利用/土地覆盖数据是生态、环境和气象等诸多领域模型的关键输入参数。通过遥感影像解译技术，可以精准获取历史或当前任何一个区域的土地利用/土地覆盖情况。这些数据不仅能够用于评估区域生态环境的变化趋势，还能有效评价重大生态工程…...
QT： `long long` 类型转换为 `QString` 2025.6.5
在 Qt 中，将 long long 类型转换为 QString 可以通过以下两种常用方法实现： 方法 1：使用 QString::number() 直接调用 QString 的静态方法 number()，将数值转换为字符串： long long value 1234567890123456789LL; …...
第 86 场周赛：矩阵中的幻方、钥匙和房间、将数组拆分成斐波那契序列、猜猜这个单词
Q1、[中等] 矩阵中的幻方 1、题目描述 3 x 3 的幻方是一个填充有 从 1 到 9 的不同数字的 3 x 3 矩阵，其中每行，每列以及两条对角线上的各数之和都相等。 给定一个由整数组成的row x col 的 grid，其中有多少个 3 3 的 “幻方” 子矩阵&am…...