当前位置： 首页 > news >正文

Hadoop——分布式计算

news 2026/2/10 22:45:55

一、分布式计算概述

1. 什么是计算、分布式计算？

  • 计算：对数据进行处理，使用统计分析等手段得到需要的结果
  • 分布式计算：多台服务器协同工作，共同完成一个计算任务
  1. 2. 分布式计算常见的2种工作模式
  • 分散->汇总  （MapReduce就是这种模式）
  1. 将数据分片，多台服务器各自负责一部分数据处理
  2.  然后将各自的结果，进行汇总处理
  3.  最终得到想要的计算结果
  • 中心调度->步骤执行 （大数据体系的Spark、Flink等是这种模式）

  • 1. 由一个节点作为中心调度管理者

    2. 将任务划分为几个具体步骤

    3. 管理者安排每个机器执行任务

    4. 最终得到结果数据

 二、MapReduce概述

MapReduce是“分散->汇总”模式的分布式计算框架，开发人员开发相关程序进行分布式数据计算。

MapReduce提供了2个编程接口：

• Map
• Reduce

相关文章：

Hadoop——分布式计算

一、分布式计算概述 1. 什么是计算、分布式计算？ 计算：对数据进行处理，使用统计分析等手段得到需要的结果分布式计算：多台服务器协同工作，共同完成一个计算任务2. 分布式计算常见的2种工作模式分散->汇总 （MapReduce就是这种模式）将数据分片，多台服务器各自负责一…...

编程日记 2023/12/25 11:40:37

LaTeX引用参考文献 | Texstudio引用参考文献

图片版教程： 文字版教程： ref.bib里面写参考的文献，ref.bib和document.tex要挨着放，同一个目录里面. 解析一下bib文件格式：aboyeji2023effect是引用文献的关键字，需要在正文document.tex里面使用\cite指令…...

编程日记 2023/12/25 11:39:37

如何在Go中使用模板

引言 您是否需要以格式良好的输出、文本报告或HTML页面呈现一些数据?你可以使用Go模板来做到这一点。任何Go程序都可以使用text/template或html/template包(两者都包含在Go标准库中)来整齐地显示数据。 这两个包都允许你编写文本模板并将数据传递给它们，以按你喜欢的格式呈…...

编程日记 2023/12/25 11:37:35

云原生之深入解析基于FunctionGraph在Serverless领域的FinOps的探索和实践

一、背景 Serverless 精确到毫秒级的按用付费模式使得用户不再需要为资源的空闲时间付费。然而，对于给定的某个应用函数，由于影响其计费成本的因素并不唯一，使得用户对函数运行期间的总计费进行精确的事先估计变成了一项困难的工作。以传统云…...

编程日记 2023/12/25 11:36:34

电子电器架构（E/E）演化 —— 主流主机厂域集中架构概述

电子电器架构（E/E）演化 —— 主流主机厂域集中架构概述 我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 屏蔽力是信息过载时代一个人的特殊竞争力，任何消耗你的人和事，多看一眼都是你的不对。…...

编程日记 2023/12/25 11:33:32

Python常用的几个函数

print()函数：用于打印输出信息到控制台。 input()函数：用于从控制台获取用户输入。 len()函数：用于获取字符串、列表、元组、字典等对象的长度。 range()函数：用于生成一个整数序列，常用于循环中。 type()函数&…...

编程日记 2023/12/25 11:31:28

【Linux系统基础】（2）在Linux上部署MySQL、RabbitMQ、ElasticSearch等各类软件

实战章节：在Linux上部署各类软件 前言 为什么学习各类软件在Linux上的部署 在前面，我们学习了许多的Linux命令和高级技巧，这些知识点比较零散，同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用，…...

编程日记 2023/12/25 11:26:24

HarmonyOS4.0系统性深入开发01应用模型的构成要素

应用模型的构成要素 应用模型是HarmonyOS为开发者提供的应用程序所需能力的抽象提炼，它提供了应用程序必备的组件和运行机制。有了应用模型，开发者可以基于一套统一的模型进行应用开发，使应用开发更简单、高效。 HarmonyOS应用模型的构成要…...

编程日记 2023/12/25 11:23:20

线下终端门店调研包含哪些内容

品牌渠道一般分为线上和线下，线上的价格、促销信息、店铺优惠机制等都可以通过登录查看，但是线下门店的数据则需要进店巡查，否则无法得到真实的店铺销售数据，当然也有品牌是靠线下的业务团队报备机制获得这些信息，但是…...

编程日记 2023/12/25 11:21:19

倾斜摄影三维模型数据在行业应用分析

倾斜摄影三维模型数据在行业应用分析 倾斜摄影三维模型数据是一种重要的地理信息资源，可以广泛应用于各个行业和场景，以解决不同领域的问题。以下将详细探讨几个典型的行业或场景，它们利用倾斜摄影三维模型数据解决问题的应用。 1、地理测绘…...

编程日记 2023/12/25 11:20:18

Apache Flink 进阶教程（七）：网络流控及反压剖析

目录 前言 网络流控的概念与背景 为什么需要网络流控 网络流控的实现：静态限速 网络流控的实现：动态反馈/自动反压 案例一：Storm 反压实现 案例二：Spark Streaming 反压实现 疑问：为什么 Flink（bef…...

编程日记 2023/12/25 11:19:17

k8s学习 — （DevOps实践）第十三章 DevOps 环境搭建

k8s学习 — （DevOps实践）第十三章 DevOps 环境搭建 学习资料1 Gitlab1.1 安装 Gitlab1.2 页面配置1.3 配置 Secret1.4 为项目配置 Webhook1.5 卸载 2 Harbor2.1 安装 Harbor2.1 配置 Secret 3 SonarQube3.1 安装 SonarQube3.2 生成服务 token3.3 创建 We…...

编程日记 2023/12/25 11:18:16

Java_Stream流

一、JDK8新特性（Stream流） 接下来学习一个全新的知识，叫做Stream流（也叫Stream API）。它是从JDK8以后才有的一个新特性，是专业用于对集合或者数组进行便捷操作的。有多方便呢？我们用一个案例体…...

编程日记 2023/12/25 11:17:15

delphi中，tstringlist使用方法示例

delphi中，tstringlist使用方法示例 在 Delphi 中，TStringList 是一个常用的字符串列表类，它提供了许多用于处理字符串列表的方法。以下是一个示例，演示了如何在 Delphi 中使用 TStringList 类： program TStringListEx…...

编程日记 2023/12/25 11:15:13

【飞凌 OK113i-C 全志T113-i开发板】视频编解码测试

前言 本文测试OK113i-S开发板-视频编解码的功能 OK113i-S开发板是支持视频的编解码的，下面是官方介绍的编解码功能 T113-i 是一种为多媒体解码平台设计的高级应用处理器。T113-i 集成了64位玄铁C906 RISC-V CPU， 双核 Cortex - A7 CPU 和 HiFi4 DSP&a…...

编程日记 2023/12/25 11:14:12

全部没有问题 （一.5）

java mooc练习 基础练习： 进阶练习： final 赋值一次 局部 必须赋值 抽象类 多态测试 package com.book;public class moocDraft1 {static int variable1;public void fatherMethod(moocDraft1 a){System.out.println(variable);}public static void…...

编程日记 2023/12/25 11:12:10

C++归并排序详解以及代码实现

1. 介绍 归并排序（Merge Sort）是一种采用分治法（Divide and Conquer）策略的排序算法。该算法首先将已有序的子序列合并，得到完全有序的序列。在归并排序中，合并操作是将两个有序表合并成一个有序表的过程。…...

编程日记 2023/12/25 11:11:09

springboot整合JPA 多表关联 ：一对多 多对多

补充一下自定义SQL 这是连表查询，可以任意查出字符，用Map接收 Testvoid test3() {JPAQueryFactory jpaQueryFactory new JPAQueryFactory(em);QStudent student QStudent.student;QMessage message QMessage.message;//constructor(StuMesDto.class, …...

编程日记 2023/12/25 11:10:09

Python 数据分析 Matplotlib篇 plt.rcParams 字典（第5讲）

Python 数据分析 Matplotlib篇 plt.rcParams字典（第5讲）         🍹博主 侯小啾 感谢您的支持与信赖。☀️ 🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ�…...

编程日记 2023/12/25 11:08:07

DeamonSet详解

目录 1.1 何为DaemonSet 1.2 DaemonSet 的 API 对象的定义 1.3 DaemonSet实践 1.3.1 创建 DaemonSet 对象 1.3.2 查看 DaemonSet 对象 1.3.3 DaemonSet 版本管理 1.3.4 DaemonSet 的容器镜像版本到 v2.2.0 1.1 何为DaemonSet 介绍DaemonSet我们先来思考一个问题&#x…...

编程日记 2023/12/25 11:03:03

手游刚开服就被攻击怎么办？如何防御DDoS？

开服初期是手游最脆弱的阶段，极易成为DDoS攻击的目标。一旦遭遇攻击，可能导致服务器瘫痪、玩家流失，甚至造成巨大经济损失。本文为开发者提供一套简洁有效的应急与防御方案，帮助快速应对并构建长期防护体系。 一、遭遇攻击的紧急应…...

编程新知 2026/2/8 4:37:03

TDengine 快速体验（Docker 镜像方式）

简介 TDengine 可以通过安装包、Docker 镜像 及云服务快速体验 TDengine 的功能，本节首先介绍如何通过 Docker 快速体验 TDengine，然后介绍如何在 Docker 环境下体验 TDengine 的写入和查询功能。如果你不熟悉 Docker，请使用 安装包的方式快…...

编程新知 2026/2/8 20:41:53

调用支付宝接口响应40004 SYSTEM_ERROR问题排查

在对接支付宝API的时候，遇到了一些问题，记录一下排查过程。 Body:{"datadigital_fincloud_generalsaas_face_certify_initialize_response":{"msg":"Business Failed","code":"40004","sub_msg…...

编程新知 2026/2/8 20:41:48

在鸿蒙HarmonyOS 5中实现抖音风格的点赞功能

下面我将详细介绍如何使用HarmonyOS SDK在HarmonyOS 5中实现类似抖音的点赞功能，包括动画效果、数据同步和交互优化。 1. 基础点赞功能实现 1.1 创建数据模型 // VideoModel.ets export class VideoModel {id: string "";title: string ""…...

编程新知 2025/11/14 9:31:35

在HarmonyOS ArkTS ArkUI-X 5.0及以上版本中，手势开发全攻略：

在 HarmonyOS 应用开发中，手势交互是连接用户与设备的核心纽带。ArkTS 框架提供了丰富的手势处理能力，既支持点击、长按、拖拽等基础单一手势的精细控制，也能通过多种绑定策略解决父子组件的手势竞争问题。本文将结合官方开发文档&#xff0c…...

编程新知 2025/9/19 4:31:58

（二）TensorRT-LLM | 模型导出（v0.20.0rc3）

0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述，后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作，其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...

编程新知 2026/1/24 6:44:11

【Redis技术进阶之路】「原理分析系列开篇」分析客户端和服务端网络诵信交互实现（服务端执行命令请求的过程 - 初始化服务器）

服务端执行命令请求的过程 【专栏简介】【技术大纲】【专栏目标】【目标人群】1. Redis爱好者与社区成员2. 后端开发和系统架构师3. 计算机专业的本科生及研究生 初始化服务器1. 初始化服务器状态结构初始化RedisServer变量 2. 加载相关系统配置和用户配置参数定制化配置参数案…...

编程新知 2026/2/2 0:45:02

2.Vue编写一个app

1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...

编程新知 2026/1/31 6:04:01

Python爬虫（二）：爬虫完整流程

爬虫完整流程详解&#xff08;7大核心步骤实战技巧&#xff09; 一、爬虫完整工作流程 以下是爬虫开发的完整流程&#xff0c;我将结合具体技术点和实战经验展开说明&#xff1a; 1. 目标分析与前期准备 网站技术分析&#xff1a; 使用浏览器开发者工具&#xff08;F12&…...

编程新知 2025/10/19 5:48:51

python如何将word的doc另存为docx

将 DOCX 文件另存为 DOCX 格式&#xff08;Python 实现&#xff09; 在 Python 中&#xff0c;你可以使用 python-docx 库来操作 Word 文档。不过需要注意的是&#xff0c;.doc 是旧的 Word 格式&#xff0c;而 .docx 是新的基于 XML 的格式。python-docx 只能处理 .docx 格式…...

编程新知 2025/12/13 22:42:30