当前位置： 首页 > news >正文

Hadoop——分布式计算

news 2026/2/10 19:46:06

一、分布式计算概述

1. 什么是计算、分布式计算？

  • 计算：对数据进行处理，使用统计分析等手段得到需要的结果
  • 分布式计算：多台服务器协同工作，共同完成一个计算任务
  1. 2. 分布式计算常见的2种工作模式
  • 分散->汇总  （MapReduce就是这种模式）
  1. 将数据分片，多台服务器各自负责一部分数据处理
  2.  然后将各自的结果，进行汇总处理
  3.  最终得到想要的计算结果
  • 中心调度->步骤执行 （大数据体系的Spark、Flink等是这种模式）

  • 1. 由一个节点作为中心调度管理者

    2. 将任务划分为几个具体步骤

    3. 管理者安排每个机器执行任务

    4. 最终得到结果数据

 二、MapReduce概述

MapReduce是“分散->汇总”模式的分布式计算框架，开发人员开发相关程序进行分布式数据计算。

MapReduce提供了2个编程接口：

• Map
• Reduce

相关文章：

Hadoop——分布式计算

一、分布式计算概述 1. 什么是计算、分布式计算？ 计算：对数据进行处理，使用统计分析等手段得到需要的结果分布式计算：多台服务器协同工作，共同完成一个计算任务2. 分布式计算常见的2种工作模式分散->汇总 （MapReduce就是这种模式）将数据分片，多台服务器各自负责一…...

编程日记 2023/12/25 11:40:37

LaTeX引用参考文献 | Texstudio引用参考文献

图片版教程： 文字版教程： ref.bib里面写参考的文献，ref.bib和document.tex要挨着放，同一个目录里面. 解析一下bib文件格式：aboyeji2023effect是引用文献的关键字，需要在正文document.tex里面使用\cite指令…...

编程日记 2023/12/25 11:39:37

如何在Go中使用模板

引言 您是否需要以格式良好的输出、文本报告或HTML页面呈现一些数据?你可以使用Go模板来做到这一点。任何Go程序都可以使用text/template或html/template包(两者都包含在Go标准库中)来整齐地显示数据。 这两个包都允许你编写文本模板并将数据传递给它们，以按你喜欢的格式呈…...

编程日记 2023/12/25 11:37:35

云原生之深入解析基于FunctionGraph在Serverless领域的FinOps的探索和实践

一、背景 Serverless 精确到毫秒级的按用付费模式使得用户不再需要为资源的空闲时间付费。然而，对于给定的某个应用函数，由于影响其计费成本的因素并不唯一，使得用户对函数运行期间的总计费进行精确的事先估计变成了一项困难的工作。以传统云…...

编程日记 2023/12/25 11:36:34

电子电器架构（E/E）演化 —— 主流主机厂域集中架构概述

电子电器架构（E/E）演化 —— 主流主机厂域集中架构概述 我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 屏蔽力是信息过载时代一个人的特殊竞争力，任何消耗你的人和事，多看一眼都是你的不对。…...

编程日记 2023/12/25 11:33:32

Python常用的几个函数

print()函数：用于打印输出信息到控制台。 input()函数：用于从控制台获取用户输入。 len()函数：用于获取字符串、列表、元组、字典等对象的长度。 range()函数：用于生成一个整数序列，常用于循环中。 type()函数&…...

编程日记 2023/12/25 11:31:28

【Linux系统基础】（2）在Linux上部署MySQL、RabbitMQ、ElasticSearch等各类软件

实战章节：在Linux上部署各类软件 前言 为什么学习各类软件在Linux上的部署 在前面，我们学习了许多的Linux命令和高级技巧，这些知识点比较零散，同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用，…...

编程日记 2023/12/25 11:26:24

HarmonyOS4.0系统性深入开发01应用模型的构成要素

应用模型的构成要素 应用模型是HarmonyOS为开发者提供的应用程序所需能力的抽象提炼，它提供了应用程序必备的组件和运行机制。有了应用模型，开发者可以基于一套统一的模型进行应用开发，使应用开发更简单、高效。 HarmonyOS应用模型的构成要…...

编程日记 2023/12/25 11:23:20

线下终端门店调研包含哪些内容

品牌渠道一般分为线上和线下，线上的价格、促销信息、店铺优惠机制等都可以通过登录查看，但是线下门店的数据则需要进店巡查，否则无法得到真实的店铺销售数据，当然也有品牌是靠线下的业务团队报备机制获得这些信息，但是…...

编程日记 2023/12/25 11:21:19

倾斜摄影三维模型数据在行业应用分析

倾斜摄影三维模型数据在行业应用分析 倾斜摄影三维模型数据是一种重要的地理信息资源，可以广泛应用于各个行业和场景，以解决不同领域的问题。以下将详细探讨几个典型的行业或场景，它们利用倾斜摄影三维模型数据解决问题的应用。 1、地理测绘…...

编程日记 2023/12/25 11:20:18

Apache Flink 进阶教程（七）：网络流控及反压剖析

目录 前言 网络流控的概念与背景 为什么需要网络流控 网络流控的实现：静态限速 网络流控的实现：动态反馈/自动反压 案例一：Storm 反压实现 案例二：Spark Streaming 反压实现 疑问：为什么 Flink（bef…...

编程日记 2023/12/25 11:19:17

k8s学习 — （DevOps实践）第十三章 DevOps 环境搭建

k8s学习 — （DevOps实践）第十三章 DevOps 环境搭建 学习资料1 Gitlab1.1 安装 Gitlab1.2 页面配置1.3 配置 Secret1.4 为项目配置 Webhook1.5 卸载 2 Harbor2.1 安装 Harbor2.1 配置 Secret 3 SonarQube3.1 安装 SonarQube3.2 生成服务 token3.3 创建 We…...

编程日记 2023/12/25 11:18:16

Java_Stream流

一、JDK8新特性（Stream流） 接下来学习一个全新的知识，叫做Stream流（也叫Stream API）。它是从JDK8以后才有的一个新特性，是专业用于对集合或者数组进行便捷操作的。有多方便呢？我们用一个案例体…...

编程日记 2023/12/25 11:17:15

delphi中，tstringlist使用方法示例

delphi中，tstringlist使用方法示例 在 Delphi 中，TStringList 是一个常用的字符串列表类，它提供了许多用于处理字符串列表的方法。以下是一个示例，演示了如何在 Delphi 中使用 TStringList 类： program TStringListEx…...

编程日记 2023/12/25 11:15:13

【飞凌 OK113i-C 全志T113-i开发板】视频编解码测试

前言 本文测试OK113i-S开发板-视频编解码的功能 OK113i-S开发板是支持视频的编解码的，下面是官方介绍的编解码功能 T113-i 是一种为多媒体解码平台设计的高级应用处理器。T113-i 集成了64位玄铁C906 RISC-V CPU， 双核 Cortex - A7 CPU 和 HiFi4 DSP&a…...

编程日记 2023/12/25 11:14:12

全部没有问题 （一.5）

java mooc练习 基础练习： 进阶练习： final 赋值一次 局部 必须赋值 抽象类 多态测试 package com.book;public class moocDraft1 {static int variable1;public void fatherMethod(moocDraft1 a){System.out.println(variable);}public static void…...

编程日记 2023/12/25 11:12:10

C++归并排序详解以及代码实现

1. 介绍 归并排序（Merge Sort）是一种采用分治法（Divide and Conquer）策略的排序算法。该算法首先将已有序的子序列合并，得到完全有序的序列。在归并排序中，合并操作是将两个有序表合并成一个有序表的过程。…...

编程日记 2023/12/25 11:11:09

springboot整合JPA 多表关联 ：一对多 多对多

补充一下自定义SQL 这是连表查询，可以任意查出字符，用Map接收 Testvoid test3() {JPAQueryFactory jpaQueryFactory new JPAQueryFactory(em);QStudent student QStudent.student;QMessage message QMessage.message;//constructor(StuMesDto.class, …...

编程日记 2023/12/25 11:10:09

Python 数据分析 Matplotlib篇 plt.rcParams 字典（第5讲）

Python 数据分析 Matplotlib篇 plt.rcParams字典（第5讲）         🍹博主 侯小啾 感谢您的支持与信赖。☀️ 🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ�…...

编程日记 2023/12/25 11:08:07

DeamonSet详解

目录 1.1 何为DaemonSet 1.2 DaemonSet 的 API 对象的定义 1.3 DaemonSet实践 1.3.1 创建 DaemonSet 对象 1.3.2 查看 DaemonSet 对象 1.3.3 DaemonSet 版本管理 1.3.4 DaemonSet 的容器镜像版本到 v2.2.0 1.1 何为DaemonSet 介绍DaemonSet我们先来思考一个问题&#x…...

编程日记 2023/12/25 11:03:03

基于uniapp+WebSocket实现聊天对话、消息监听、消息推送、聊天室等功能，多端兼容

基于 ​UniApp + WebSocket​实现多端兼容的实时通讯系统，涵盖WebSocket连接建立、消息收发机制、多端兼容性配置、消息实时监听等功能，适配​微信小程序、H5、Android、iOS等终端 目录 技术选型分析WebSocket协议优势UniApp跨平台特性WebSocket 基础实现连接管理消息收发连接…...

编程新知 2026/1/22 16:15:42

基于Uniapp开发HarmonyOS 5.0旅游应用技术实践

一、技术选型背景 1.跨平台优势 Uniapp采用Vue.js框架，支持"一次开发，多端部署"，可同步生成HarmonyOS、iOS、Android等多平台应用。 2.鸿蒙特性融合 HarmonyOS 5.0的分布式能力与原子化服务，为旅游应用带来&#xf…...

编程新知 2026/2/5 20:33:43

OkHttp 中实现断点续传 demo

在 OkHttp 中实现断点续传主要通过以下步骤完成，核心是利用 HTTP 协议的 Range 请求头指定下载范围： 实现原理 Range 请求头：向服务器请求文件的特定字节范围（如 Range: bytes1024-） 本地文件记录：保存已…...

编程新知 2025/12/12 0:56:22

【Go】3、Go语言进阶与依赖管理

前言 本系列文章参考自稀土掘金上的 【字节内部课】公开课，做自我学习总结整理。 Go语言并发编程 Go语言原生支持并发编程，它的核心机制是 Goroutine 协程、Channel 通道，并基于CSP（Communicating Sequential Processes&#xff0…...

编程新知 2025/10/7 0:32:40

Neo4j 集群管理：原理、技术与最佳实践深度解析

Neo4j 的集群技术是其企业级高可用性、可扩展性和容错能力的核心。通过深入分析官方文档，本文将系统阐述其集群管理的核心原理、关键技术、实用技巧和行业最佳实践。 Neo4j 的 Causal Clustering 架构提供了一个强大而灵活的基石，用于构建高可用、可扩展且一致的图数据库服务…...

编程新知 2025/12/27 16:43:24

通过 Ansible 在 Windows 2022 上安装 IIS Web 服务器

拓扑结构 这是一个用于通过 Ansible 部署 IIS Web 服务器的实验室拓扑。 前提条件： 在被管理的节点上安装WinRm 准备一张自签名的证书 开放防火墙入站tcp 5985 5986端口 准备自签名证书 PS C:\Users\azureuser> $cert New-SelfSignedCertificate -DnsName &…...

编程新知 2026/2/10 0:52:03

Docker拉取MySQL后数据库连接失败的解决方案

在使用Docker部署MySQL时，拉取并启动容器后，有时可能会遇到数据库连接失败的问题。这种问题可能由多种原因导致，包括配置错误、网络设置问题、权限问题等。本文将分析可能的原因，并提供解决方案。 一、确认MySQL容器的运行状态 …...

编程新知 2026/1/15 21:57:16

使用SSE解决获取状态不一致问题

使用SSE解决获取状态不一致问题 1. 问题描述2. SSE介绍2.1 SSE 的工作原理2.2 SSE 的事件格式规范2.3 SSE与其他技术对比2.4 SSE 的优缺点 3. 实战代码 1. 问题描述 目前做的一个功能是上传多个文件，这个上传文件是整体功能的一部分，文件在上传的过程中…...

编程新知 2026/1/27 17:00:20

命令行关闭Windows防火墙

命令行关闭Windows防火墙 引言一、防火墙：被低估的"智能安检员"二、优先尝试！90%问题无需关闭防火墙方案1：程序白名单（解决软件误拦截）方案2：开放特定端口（解决网游/开发端口不通）三、命令行极速关闭方案方法一：PowerShell（推荐Win10/11）​方法二：CMD命令…...

编程新知 2025/8/27 20:07:03

【Ftrace 专栏】Ftrace 参考博文

ftrace、perf、bcc、bpftrace、ply、simple_perf的使用Ftrace 基本用法Linux 利用 ftrace 分析内核调用如何利用ftrace精确跟踪特定进程调度信息使用 ftrace 进行追踪延迟Linux-培训笔记-ftracehttps://www.kernel.org/doc/html/v4.18/trace/events.htmlhttps://blog.csdn.net/…...

编程新知 2026/1/20 3:30:27