当前位置： 首页 > news >正文

Hadoop3：MapReduce之InputFormat数据输入过程整体概览（0）

news 2026/4/6 12:48:54

一、MapReduce中数据流向

在这里插入图片描述

二、MapTask并行度

1、原理概览

数据块：Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据单位。
数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。数据切片是MapReduce程序计算输入数据的单位，一个切片会对应启动一个MapTask。

1)一个Job的Map阶段并行度由客户端在提交Job时的切片数决定
2)每一个Split切片分配一个MapTask并行实例处理
3)默认情况下，切片大小=BlockSize
4)切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

所以，会开启几个MapTask线程并发处理任务，是由切片数量决定的。
一般，切片大小的设置要与Block大小保持一致。这样性能最优。

2、相关配置

切片大小的配置
mapred-default.xml
最小切片大小配置
默认0，如果配置0，则代码层面分配是1

<property><name>mapreduce.input.fileinputformat.split.minsize</name><value>0</value><description>The minimum size chunk that map input should be splitinto.  Note that some file formats may have minimum split sizes thattake priority over this setting.</description>
</property>

在这里插入图片描述
最大切片大小配置
默认不配置，所以代码获取不到，代码给予Long.MAX_VALUE
mapreduce.input.fileinputformat.split.maxsize
在这里插入图片描述

BlockSize的配置
hdfs-default.xml

<property><name>dfs.blocksize</name><value>134217728</value><description>The default block size for new files, in bytes.You can use the following suffix (case insensitive):k(kilo), m(mega), g(giga), t(tera), p(peta), e(exa) to specify the size (such as 128k, 512m, 1g, etc.),Or provide complete size in bytes (such as 134217728 for 128 MB).</description>
</property>

相关文章：

Hadoop3：MapReduce之InputFormat数据输入过程整体概览（0）

一、MapReduce中数据流向 二、MapTask并行度 1、原理概览 数据块&#xff1a;Block是HDFS物理上把数据分成一块一块。数据块是HDFS存储数据单位。 数据切片&#xff1a;数据切片只是在逻辑上对输入进行分片&#xff0c;并不会在磁盘上将其切分成片进行存储。数据切片是MapRed…...

编程日记 2024/6/6 7:06:33

【Leetcode Python】70.爬楼梯

麻烦大家要自己去leetcode看题目 第一个思路 用递归会超时 return self.climbStairs(n - 1) self.climbStairs(n - 2)第二个思路 滚动数组思想 class Solution(object):def climbStairs(self, n):""":type n: int:rtype: int"""if(n<2)…...

编程日记 2024/6/6 7:04:30

深度学习 - 张量的广播机制和复杂运算

张量的广播机制&#xff08;Broadcasting&#xff09;是一种处理不同形状张量进行数学运算的方式。通过广播机制&#xff0c;PyTorch可以自动扩展较小的张量&#xff0c;使其与较大的张量形状兼容&#xff0c;从而进行元素级的运算。广播机制遵循以下规则&#xff1a; 如果张量…...

编程日记 2024/6/6 7:03:29

【CSS】will-change 属性详解

目录 基本语法属性值常见用途will-change 如何用于优化动画效果示例&#xff1a; will-change 是一个 CSS 属性&#xff0c;用于告诉浏览器某个元素在未来可能会发生哪些变化。这可以帮助浏览器优化渲染性能&#xff0c;提前做一些准备工作&#xff0c;从而提高性能。 基本语法…...

编程日记 2024/6/6 6:56:22

linux安装mysql后，配置mysql，并连接navicat软件

Xshell连接登陆服务器 输入全局命令 mysql -u root -p 回车后&#xff0c;输入密码&#xff0c;不显示输入的密码 注意mysql服务状态&#xff0c;是否运行等 修改配置文件my.cnf&#xff0c;这里没找到就找my.ini&#xff0c;指定有一个是对的 find / -name my.cnf 接下…...

编程日记 2024/6/6 6:55:21

【学习笔记】Axios、Promise

TypeScript 1、Axios 1.1、概述 1.2、axios 的基本使用 1.3、axios 的请求方式及对应的 API 1.4、axios 请求的响应结果结构 1.5、axios 常用配置选项 1.6、axios.create() 1.7、拦截器 1.8、取消请求2、Promise 2.1、封装 fs 读…...

编程日记 2024/6/6 6:54:20

自然资源-关于加强规划实施监督管理的指导意见（浙江省自然资源厅学习借鉴）

自然资源-关于加强规划实施监督管理的指导意见&#xff08;浙江省自然资源厅&#xff08;征求意见稿&#xff09;学习借鉴 以下为征求意见稿的内容&#xff0c;很多干活&#xff1a; 各市、县&#xff08;市、区&#xff09;自然资源主管部门&#xff1a; 为加强国土空间规划…...

编程日记 2024/6/6 6:53:18

408链表的创建和初始化

首先第一个头文件&#xff0c;定义结构体类型 typedef struct LNode {int data;struct LNode* next; }LNode,*LinkList; //可能作为第一次写c语言的小伙伴看不懂这一段typedef是如何定义的 //基本的解释如下所示 //typedef struct LNode LNode; //typedef struct LNode* LinkL…...

编程日记 2024/6/6 6:52:17

Python数据框/列表生成一列多个同样的值

例1&#xff1a;Python生成100个数字2 方法一&#xff1a; import numpy as np a np.random.randint(2,3,100) 方法二&#xff1a; a [2] list a * 100 #100个数字2的列表 例2&#xff1a;生成100个字符串棒 b 棒 list_b b * 100...

编程日记 2024/6/6 6:50:15

使用 MDC 实现日志链路跟踪，包教包会！

在微服务环境中&#xff0c;我们经常使用 Skywalking、Spring Cloud Sleut 等去实现整体请求链路的追踪&#xff0c;但是这个整体运维成本高&#xff0c;架构复杂&#xff0c;本次我们来使用 MDC 通过 Log 来实现一个轻量级的会话事务跟踪功能&#xff0c;需要的朋友可以参考一…...

编程日记 2024/6/6 6:49:14

【成都信息工程大学】只考程序设计！成都信息工程大学计算机考研考情分析！

成都信息工程大学&#xff08;Chengdu University of Information Technology&#xff09;&#xff0c;简称“成信大”&#xff0c;由中国气象局和四川省人民政府共建&#xff0c;入选中国首批“卓越工程师教育培养计划”、“2011计划”、“中西部高校基础能力建设工程”、四川…...

编程日记 2024/6/6 6:48:12

将单列数据帧转换成多列数据帧

文章目录 1. 查看数据文件2. 读取数据文件得到单例数据帧3. 将单列数据帧转换成多列数据帧 在本次实战中&#xff0c;我们的目标是将存储在HDFS上的以逗号分隔的文本文件student.txt转换为结构化的Spark DataFrame。首先&#xff0c;使用spark.read.text读取文件&#xff0c;得…...

编程日记 2024/6/6 6:47:11

信息学奥赛初赛天天练-20-完善程序-vector数组参数引用传递、二分中值与二分边界应用的深度解析

PDF文档公众号回复关键字:20240605 1 2023 CSP-J 完善程序1 完善程序&#xff08;单选题&#xff0c;每小题 3 分&#xff0c;共计 30 分&#xff09; 原有长度为 n1,公差为1等升数列&#xff0c;将数列输到程序的数组时移除了一个元素&#xff0c;导致长度为 n 的开序数组…...

编程日记 2024/6/6 6:45:10

推荐系统学习 一

参考&#xff1a;一文看懂推荐系统&#xff1a;召回08&#xff1a;双塔模型——线上服务需要离线存物品向量、模型更新分为全量更新和增量更新_数据库全量更新和增量更新流程图-CSDN博客 一文看懂推荐系统&#xff1a;概要01&#xff1a;推荐系统的基本概念_王树森 小红书-CSD…...

编程日记 2024/6/6 6:44:09

分库分表详解

文章目录 分库分表概述分库分表详解分库分表的策略分库分表的注意事项常用的分库分表中间件mysql单表达到多少数据量需要分库分表数据库分库分表缺点分表要停服吗&#xff0c;不停服怎么做 分库分表概述 分库分表是数据库架构设计中的一种常见策略&#xff0c;尤其是在面对大规…...

编程日记 2024/6/6 6:43:08

【java前端课堂】04_类的继承

类的继承 在Java中&#xff0c;继承是面向对象编程的四大基本特性之一&#xff0c;它允许我们根据一个已有的类来定义一个新的类&#xff0c;这个新的类继承了原有类的特性&#xff08;属性和方法&#xff09;&#xff0c;并可以添加新的特性或修改原有特性。这样&#xff0c;…...

编程日记 2024/6/6 6:42:06

React nginx配置,一个端口代理多个项目（转发后找不到CSS，JS及图片资源问题解决）

场景&#xff1a; nginx 配置负载均衡&#xff0c;甲方只提供一个端口&#xff0c;一个域名地址 方法&#xff1a; 一个端口一个域名匹配多个应用 方法一&#xff1a; 依靠设备浏览器区分: 使用UserAgent头来识别用户的客户端, CDN监测vary头的信息&#xff0c;如果内容不一致…...

编程日记 2024/6/6 6:41:04

Unity协程详解

什么是协程 协程&#xff0c;即Coroutine&#xff08;协同程序&#xff09;&#xff0c;就是开启一段和主程序异步执行的逻辑处理&#xff0c;什么是异步执行&#xff0c;异步执行是指程序的执行并不是按照从上往下执行。如果我们学过c语言&#xff0c;我们应该知道&#xff0…...

编程日记 2024/6/6 6:40:03

【iOS】UI学习（二）

目录 前言UIViewContorllerUIViewContorller基础UIViewContorller使用 定时器和视图移动UISwitch控件UIProgressView和UISlider总结 前言 本篇博客是笔者在学习UI部分内容时的成果和遇到的一些问题&#xff0c;既是我自己的学习笔记&#xff0c;也希望对你有帮助&#xff5e; …...

编程日记 2024/6/6 6:39:01

React路由(React笔记之五)

本文是结合实践中和学习技术文章总结出来的笔记(个人使用),如有雷同纯属正常((✿◠‿◠)) 喜欢的话点个赞,谢谢! React路由介绍 现在前端的项目一般都是SPA单页面应用,不再是以前多个页面多套HTML代码项目了,应用内的跳转不需要刷新页面就能完成页面跳转靠的就是路由系统 R…...

编程日记 2024/6/6 6:38:00

Kandinsky-5.0-I2V-Lite-5s社区作品精选：看看其他开发者创造了什么

Kandinsky-5.0-I2V-Lite-5s社区作品精选&#xff1a;看看其他开发者创造了什么 1. 开篇&#xff1a;一场视觉创意的盛宴 Kandinsky-5.0-I2V-Lite-5s作为当前最热门的开源图像转视频模型&#xff0c;正在全球开发者社区掀起创作热潮。短短5秒就能将静态图片转化为富有生命力的…...

编程新知 2026/4/6 12:40:00

3大突破！Path of Building数值革命：从经验猜想到数据驱动的Build构建方法

3大突破&#xff01;Path of Building数值革命&#xff1a;从经验猜想到数据驱动的Build构建方法 【免费下载链接】PathOfBuilding Offline build planner for Path of Exile. 项目地址: https://gitcode.com/GitHub_Trending/pa/PathOfBuilding 副标题&#xff1a;从天…...

编程新知 2026/4/6 11:35:18

华为防火墙IPsec点对点配置实战：从零到通的完整流程（附常见错误排查）

华为防火墙IPsec点对点配置实战&#xff1a;从零到通的完整流程&#xff08;附常见错误排查&#xff09; 在当今企业网络架构中&#xff0c;跨地域分支机构之间的安全通信已成为刚需。IPsec VPN凭借其强大的加密能力和标准化协议支持&#xff0c;成为构建安全通道的首选方案。华…...

编程新知 2026/4/6 11:11:05

TCC-G15散热控制实战指南：释放Dell游戏本性能潜力

TCC-G15散热控制实战指南&#xff1a;释放Dell游戏本性能潜力 【免费下载链接】tcc-g15 Thermal Control Center for Dell G15 - open source alternative to AWCC 项目地址: https://gitcode.com/gh_mirrors/tc/tcc-g15 一、问题发现&#xff1a;游戏本散热困境的技术根…...

编程新知 2026/4/6 10:06:21

【JavaSE-网络部分06】TCP 纯高性能优化机制：延迟应答・捎带应答【传输层】

上一期咱们把TCP稳如泰山的三大核心机制——滑动窗口、流量控制、拥塞控制彻底盘明白了&#x1f4da;。 这三者强强联手&#xff0c;既守住了可靠传输的底线&#xff0c;又大幅提升传输效率&#xff0c;让数据既稳又快地跑在网络里。 但TCP对性能的“抠搜”可不止于此&#x1f…...

编程新知 2026/4/6 8:48:41

华为云CCE内网部署Nacos集群实战：不用Helm，纯页面操作搞定镜像上传与配置

华为云CCE内网部署Nacos集群实战&#xff1a;纯控制台操作指南 在企业级容器化部署场景中&#xff0c;内网环境下的服务部署往往面临特殊挑战。当安全合规要求严格限制外网访问时&#xff0c;传统依赖公网镜像仓库和Helm工具的部署方案便不再适用。本文将详细介绍如何在华为云…...

编程新知 2026/4/6 8:22:37

小白也能当对联大师！春联生成模型-中文-base开箱即用教程

小白也能当对联大师&#xff01;春联生成模型-中文-base开箱即用教程 1. 前言&#xff1a;人人都能创作春联 春节贴春联是中国人延续千年的传统习俗&#xff0c;但创作一副对仗工整、寓意美好的春联并非易事。传统春联创作需要掌握平仄、对仗等复杂规则&#xff0c;这让许多对…...

编程新知 2026/4/6 6:43:27

Qwen3-VL-30B快速上手：开箱即用，打造你的专属多模态AI

Qwen3-VL-30B快速上手&#xff1a;开箱即用&#xff0c;打造你的专属多模态AI 1. 为什么选择Qwen3-VL-30B&#xff1f; 在当今AI技术飞速发展的时代&#xff0c;多模态模型正成为行业新宠。Qwen3-VL-30B作为Qwen系列的最新力作&#xff0c;带来了多项突破性升级&#xff1a; …...

编程新知 2026/4/6 6:16:45

保温vs隔热

保温vs隔热 什么是保温，什么是隔热？保的什么温，隔的什么热？ 1 保温vs隔热 保温vs隔热是门窗幕墙行业耳熟能详的两个词：比如门窗保温性能，隔热铝合金窗等等。那么什么是保温，什么是隔热呢？ GB/T 8478-2020《铝合金门窗》中给出了门窗保温性能和隔热性能的定义。 门…...

编程新知 2026/4/6 5:38:21

OpenClaw+千问3.5-9B数据清洗：Excel复杂表格自动化处理

OpenClaw千问3.5-9B数据清洗&#xff1a;Excel复杂表格自动化处理 1. 为什么需要自动化Excel处理 每次面对上百行的Excel表格时&#xff0c;我总会在合并单元格和异常值上浪费大量时间。作为数据分析师&#xff0c;最痛苦的莫过于收到业务部门发来的"美化版"报表—…...

编程新知 2026/4/6 3:55:45