大数据课程D4——hadoop的MapReduce
文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州
▲ 本章节目的
⚪ 了解MapReduce的作用和特点；
⚪ 掌握MapReduce的组件；
⚪ 掌握MapReduce的Shuffle；
⚪ 掌握MapReduce的小文件问题；
⚪ 掌握MapReduce的压缩机制；
⚪ 掌握MapReduce的推测执行机制；
⚪ 掌握MapReduce的数据倾斜问题；
一、简介
1. 概述
1. MapReduce是Hadoop提供的一套进行分布式计算机制。
2. MapReduce是Doug Cutting根据Google的论文<The Google MapReduce>来仿照实现的。
3. MapReduce会将整个计算过程拆分为2个阶段：Map阶段和Reduce阶段。在Map阶段，用户需要考虑对数据进行规整和映射；在Reduce阶段，用户需要考虑对数据进行最后的规约。
2. 特点
1. 优点
a. 易于编程：MapReduce提供了相对简单的编程模型。这就保证MapReduce相对易于学习。用户在使用的时候，只需要实现一些接口或者去继承一些类，覆盖需要实现的逻辑，即可实现分布式计算。
b. 具有良好的可扩展性：如果当前集群的性能不够，那么MapReduce能够轻易的通过增加节点数量的方式来提高集群性能。
c. 高容错性：当某一个节点产生故障的时候，MapReduce会自动的将这个节点上的计算任务进行转移而整个过程不需要用户手动参与。
d. 适合于大量数据的计算，尤其是PB级别以上的数据，因此MapReduce更适合于离线计算。
2. 缺点
a. 不适合于实时处理：MapReduce要求处理的数据是静态的，实时的特点在于数据池是动态的。
b. 不擅长流式计算：MapReduce的运行效率相对较低，在处理流式计算的时候，效率更低。
c. 不擅长DAG(有向图)运算：如果希望把上一个MapReduce的运行结果作为下一个MapReduce的输入数据，那么需要手动使用工作流进行调度，而MapReduce本身并没有这种调度功能。
3. 入门案例
1. 案例：统计文件中每一个字符出现的次数(文件：characters.txt)。
2. Hadoop对Windows系统的兼容性不强，所以在Windows中运行Hadoop程序的时候需要添加一些其他的配置 - 配置之后，需要双击winutils.exe，如果出现一个黑色窗口一闪而过，那么没有任何问题；如果双击winutils.exe之后报错，那么将jar目录下的msvcr120.dll文件放到C:\\Windows\\System32目录下，然后再次双击winutils.exe工具，查看是否报错。
3. 配置环境变量：
a. 新建HADOOP_HOME。
b. 修改Path。
c. 新建HADOOP_USER_NAME。
4. 如果运行程序的时候，出现了null/bin/winutils.exe错误，那么解决方案：
a. 先检查环境变量是否配置正确。
b. 如果环境变量配置正确，但是运行程序依然报错，那么可以在Driver类中添加代码：System.setProperty("hadoop.home.dir", "Hadoop的解压
相关文章：
大数据课程D4——hadoop的MapReduce
文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州 ▲ 本章节目的 ⚪ 了解MapReduce的作用和特点； ⚪ 掌握MapReduce的组件； ⚪ 掌握MapReduce的Shuffle； ⚪ 掌握MapReduce的小文件问题； ⚪ 掌握MapReduce的压缩机制； ⚪ 掌握MapReduce的推测执行机制…...
java策略模式
在Java中，策略模式（Strategy Design Pattern）用于定义一系列算法，并将每个算法封装成单独的类，使得它们可以互相替换，让客户端在使用算法时不需要知道具体的实现细节。策略模式是一种行为型设计模式&#x…...
Vue2封装自定义全局Loading组件
前言 在开发的过程中，点击提交按钮，或者是一些其它场景总会遇到Loading加载框，PC的一些UI库也没有这样的加载框，无法满足业务需求，因此可以自己自定义一个，实现过程如下。 效果图 如何封装？ 第…...
docker 搭建jenkins
1、拉取镜像 docker pull jenkins/jenkins:2.4162、创建文件夹 mkdir -p /home/jenkins_mount chmod 777 /home/jenkins_mount3、运行并构建容器 docker run --restartalways -d -p 10240:8080 -p 10241:50000 -v /home/jenkins_mount:/var/jenkins_home -v /etc/localtime:…...
【Docker】Docker 部署 Mysql 并设置数据持久化
文章目录 1. Docker持久化MySQL2. 测试删除MySQL容器后新建容器，数据还在不在3. 参考资料 我们使用Docker的目的就是图它方便下载部署，不用常规的经历下载、配置、安装等等繁琐的步骤。但是与此同时Docker也存在一些缺点，像删除容器后数据就都…...
【ARM 常见汇编指令学习 5 -- arm64汇编指令 wzr 和 xzr】
文章目录 ARM64 zero registerARMv8 zero 寄存器的背景xzr 在寄存器读写操作中的使用 上篇文章：ARM 常见汇编指令学习 4 – ARM64 比较指令 cbnz 与 b.ne 区别 下篇文章：ARM 常见汇编指令学习 6 - bic(位清除), orr(位或), eor(异或) ARM64 zero registe…...
4.4 成员变量与局部变量的区别有哪些？
文章目录 4.5 创建一个对象用什么运算符?对象实体与对象引用有何不同?4.6 一个类的构造方法的作用是什么? 若一个类没有声明构造方法，该程序能正确执行吗? 为什么?4.7 构造方法有哪些特性？4.8 在调用子类构造方法之前会先调用父类没有参数的构造方法…...
学生管理系统-03项目案例（3）
一、用户列表 1、编写api接口 //导入封装后的axios import {instance} from /util/request export default{getUsers:params>instance.get(/users/getUsers,{params}) } 2、表格渲染 <template><el-card><!-- 当el-table元素中注入data对象数组后&#x…...
Banana Pi BPI-KVM – 基于 Rockchip RK3568 SoC 的 KVM over IP 解决方案
Banana Pi 已经开始开发基于 Rockchip RK3568 SoC 的 BPI-KVM 盒，但它不是迷你 PC，而是 KVM over IP 解决方案，旨在远程控制另一台计算机或设备，就像您在现场一样，例如能够打开和关闭连接的设备、访问 BIOS 等。 商业…...
面试：Spring Cloud和Kubernetes的优缺点
Spring Cloud 优点 spring cloud是从应用框架层面解决微服务架构的一部分，如网关、服务发现、负载平衡、配置管理、指标跟踪等，易于Java开发者上手。 缺点 缺乏打包、持续集成、伸缩、高可用和自我修复等，且局限于Java平台。 Kubernetes …...
TSINGSEE青犀视频安防监控视频平台EasyCVR新增密码复杂度提示
智能视频监控平台TSINGSEE青犀视频EasyCVR可拓展性强、视频能力灵活、部署轻快，可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等，能对外分发RTSP、RTM…...
前端开发中的正则表达式：解密规则的魔法
引言 在前端开发中，正则表达式是一个强大且不可或缺的工具，它可以帮助我们处理和验证字符串数据。无论是表单验证、数据提取还是字符串替换，正则表达式都可以发挥巨大的作用。本篇博客将全面介绍前端开发中的正则表达式，包括基本…...
const的用法
目录 const的基本理解 C和C中const的区别 代码段 不初始化or初始化 常变量or常量 编译方式 备注开发环境：vscode通过ssh连接虚拟机中的ubuntu，ubuntu-20.04.3-desktop-amd64.iso const的基本理解 const修饰的变量不能作为左值 const修饰的变量初…...
机器学习深度学习——模型选择、欠拟合和过拟合
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——多层感知机的简洁实现 📚订阅专栏：机器学习&&深度学习 希望文章对你们有…...
IP 服务级别协议监控
工作场所分布在全球多个地点的企业通过 WAN 链接共享和接收数据，这需要跨广泛的网络位置和路径持续监控网络质量，以实现优化的性能水平和不间断的服务交付。 IP 服务水平协议 IP 服务级别协议 （IP SLA） 是一种网络测量技术&…...
Emvirus: 基于 embedding 的神经网络来预测 human-virus PPIs【Biosafety and Health，2023】
研究背景： Human-virus PPIs 预测对于理解病毒感染机制、病毒防控等十分重要；大部分基于 machine-learning 预测 human-virus PPIs 的方法利用手动方法处理序列特征，包括统计学特征、系统发育图谱、理化性质等；本文作者提出了一个…...
安全文件传输：如何降低数据丢失的风险
在当今数字化时代，文件传输是必不可少的一项工作。但是，数据丢失一直是一个令人头疼的问题。本文将探讨一些减少数据丢失风险的方法，包括加密、备份和使用可信的传输协议等。采取这些措施将有助于保护数据免受意外丢失的危险。 一、加密保护数…...
AI绘画StableDiffusion实操教程：可爱头像奶茶小女孩(附高清图片)
本教程收集于：AIGC从入门到精通教程汇总 今天继续分享AI绘画实操教程，如何用lora包生成超可爱头像奶茶小女孩 放大高清图已放到教程包内，需要的可以自取。 欢迎来到我们这篇特别的文章——《AI绘画StableDiffusion实操教程：可爱…...
java8 GroupingBy 用法大全
java8中，Collectors.groupingBy 会用得比较多，对其常见用法做一个汇总 1，模拟数据 Item import java.math.BigDecimal;public class Item {private String name;private Integer quantity;private BigDecimal price;public Item(String nam…...
vue_router__WEBPACK_IMPORTED_MODULE_1__.default is not a constructor
你所建立的项目 是 vue2x ，但是却下载了 vue-router4x 而 vue-router4x 适用于 vue3x 所以你需要卸载 vue-router4x，重新下载 vue-router3x 卸载： npm uninstall vue-router 安装：(3版本） npm i vue-router3...
VB.net复制Ntag213卡写入UID
本示例使用的发卡器：https://item.taobao.com/item.htm?ftt&id615391857885 一、读取旧Ntag卡的UID和数据 Private Sub Button15_Click(sender As Object, e As EventArgs) Handles Button15.Click轻松读卡技术支持:网站:Dim i, j As IntegerDim cardidhex, …...
[10-3]软件I2C读写MPU6050 江协科技学习笔记（16个知识点）
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16...
第一篇：Agent2Agent (A2A) 协议——协作式人工智能的黎明
AI 领域的快速发展正在催生一个新时代，智能代理（agents）不再是孤立的个体，而是能够像一个数字团队一样协作。然而，当前 AI 生态系统的碎片化阻碍了这一愿景的实现，导致了“AI 巴别塔问题”——不同代理之间…...
【C语言练习】080. 使用C语言实现简单的数据库操作
080. 使用C语言实现简单的数据库操作 080. 使用C语言实现简单的数据库操作使用原生APIODBC接口第三方库ORM框架文件模拟1. 安装SQLite2. 示例代码：使用SQLite创建数据库、表和插入数据3. 编译和运行4. 示例运行输出：5. 注意事项6. 总结080. 使用C语言实现简单的数据库操作 在…...
ios苹果系统，js 滑动屏幕、锚定无效
现象：window.addEventListener监听touch无效，划不动屏幕，但是代码逻辑都有执行到。 scrollIntoView也无效。 原因：这是因为 iOS 的触摸事件处理机制和 touch-action: none 的设置有关。ios有太多得交互动作，从而会影响…...
Android Bitmap治理全解析：从加载优化到泄漏防控的全生命周期管理
引言 Bitmap（位图）是Android应用内存占用的“头号杀手”。一张1080P（1920x1080）的图片以ARGB_8888格式加载时，内存占用高达8MB（192010804字节）。据统计，超过60%的应用OOM崩溃与Bitm…...
站群服务器的应用场景都有哪些？
站群服务器主要是为了多个网站的托管和管理所设计的，可以通过集中管理和高效资源的分配，来支持多个独立的网站同时运行，让每一个网站都可以分配到独立的IP地址，避免出现IP关联的风险，用户还可以通过控制面板进行管理功…...
【JavaSE】多线程基础学习笔记
多线程基础 -线程相关概念 程序（Program） 是为完成特定任务、用某种语言编写的一组指令的集合简单的说:就是我们写的代码 进程 进程是指运行中的程序，比如我们使用QQ，就启动了一个进程，操作系统就会为该进程分配内存…...
宇树科技，改名了！
提到国内具身智能和机器人领域的代表企业，那宇树科技（Unitree）必须名列其榜。 最近，宇树科技的一项新变动消息在业界引发了不少关注和讨论，即： 宇树向其合作伙伴发布了一封公司名称变更函称，因…...
android13 app的触摸问题定位分析流程
一、知识点 一般来说，触摸问题都是app层面出问题，我们可以在ViewRootImpl.java添加log的方式定位；如果是touchableRegion的计算问题，就会相对比较麻烦了，需要通过adb shell dumpsys input > input.log指令，且通过打印堆栈的方式，逐步定位问题，并找到修改方案。 问题…...