当前位置： 首页 > news >正文

大数据学习(36)- Hive和YARN

news 2026/2/10 22:52:33

&&大数据学习&&
🔥系列专栏： 👑哲学语录: 承认自己的无知，乃是开启智慧的大门
💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞

        当客户端提交SQL作业到HiveServer2时，HiveServer2会根据用户提交的SQL作业及数据库中现有的元数据信息生成一份可供计算引擎执行的计划。每个执行计划对应若干MapReduce作业，Hive会将所有的MapReduce作业都提交到YARN中。YARN负责创建MapReduce作业对应的子任务，并协调它们的运行。YARN创建的子任务会与HDFS进行交互，获取计算所需的数据，计算完成后将最终的结果写入HDFS或者本地。

1.YARN

YARN作为资源管理和作业调度框架，能够动态调整资源分配，确保集群中的资源得到充分利用。这有助于提高Hive作业的执行效率，因为Hive可以依赖YARN来管理资源并调度作业，从而避免资源争抢和浪费。

2.HIVE

YARN支持运行各种类型的分布式应用程序，包括Hive的MapReduce作业。这使得Hive能够与其他大数据处理框架和应用程序高效运行在同一集群中，共同利用YARN提供的资源管理功能。

Hive和YARN在Hadoop生态系统中扮演着不同的角色但相互协作。Hive作为数据仓库工具提供了丰富的SQL查询功能，而YARN作为资源管理和作业调度框架则确保了Hive作业能够高效、可靠地执行。

相关文章：

大数据学习(36)- Hive和YARN

&&大数据学习&& 🔥系列专栏： 👑哲学语录: 承认自己的无知，乃是开启智慧的大门 💖如果觉得博主的文章还不错的话，请点赞👍收藏⭐️留言📝支持一下博主哦&#x1f91…...

编程日记 2025/1/24 3:08:42

C# ASP.NET MVC项目内使用ApiController

1.在App_Start文件夹新建WebApiConfig.cs文件，建立webApi路由的注册方法。 using System.Web.Http;namespace PrivilegeManager {public class WebApiConfig{public static void Register(HttpConfiguration config){config.MapHttpAttributeRoutes();config.Route…...

编程日记 2025/1/24 3:07:41

Kafka 入门与应用实战：吞吐量优化与与 RabbitMQ、RocketMQ 的对比

前言 在现代微服务架构和分布式系统中，消息队列作为解耦组件，承担着重要的职责。它不仅提供了异步处理的能力，还能确保系统的高可用性、容错性和扩展性。常见的消息队列包括 Kafka、RabbitMQ 和 RocketMQ，其中 Kafka 因其高吞吐量…...

编程日记 2025/1/24 3:04:38

“推理”（Inference）在深度学习和机器学习的语境

“推理”（Inference）在深度学习和机器学习的语境中，是指使用经过训练的模型对新数据进行预测的过程。将其简单地理解为“模型的应用阶段”。在这一阶段，我们不再进行模型训练，而是利用已训练好且保存下来的模型来获取对…...

编程日记 2025/1/24 3:02:35

字节腾讯阿里大厂面经汇总：Java集合（容器）大厂面试题及参考答案

ArrayList 的扩容机制以及删除操作的时间复杂度 ArrayList 是 Java 中非常常用的一个集合类，它是基于数组实现的动态数组。当我们创建一个 ArrayList 时，如果不指定初始容量，它会有一个默认的初始容量（通常是 10）。当我们向 ArrayList 中添加元素时，如果元素的数量达到了…...

编程日记 2025/1/24 3:00:33

数据结构（初阶）（一）----算法复杂度

算法复杂度 算法复杂度数据结构算法算法效率复杂度的概念 数据结构 数据结构(Data Structure)是计算机存储、组织数据的⽅式，指相互之间存在⼀种或多种特定关系的数据元素的集合。没有⼀种单⼀的数据结构对所有⽤途都有⽤，所以我们要学各式各样的数据结…...

编程日记 2025/1/24 2:59:31

构建高效稳定的网络环境

概述 网络技术是当今IT行业的重要组成部分，构建高效稳定的网络环境对于企业、个人和互联网发展至关重要。本文将探讨网络技术中的关键要素，包括网络协议、网络架构、网络安全和网络优化，并提供实用的技巧和最佳实践，以帮助您构建…...

编程日记 2025/1/24 2:56:28

使用Edge打开visio文件

使用Edge打开visio文件 打开Edge浏览器搜索‘vsdx edge’ 打开第一个搜索结果 Microsoft Support 根据上述打开的页面进行操作 第一步：安装Visio Viewer 第二步：添加注册表 桌面新增文本文件，将下面的内容放入新建文本中，修…...

编程日记 2025/1/24 2:50:22

ChatGPT Prompt 编写指南

一、第一原则：明确的意图​ 你需要明确地表达你的意图和要求，尽可能具体、描述性、详细地描述所需的上下文、你期望的结果等。你的要求越明确，越有希望获得你想要的答案。​ 糟糕的案例 ❌​ ​ 写一首关于 OpenAI 的诗。​ ​ 更好的案…...

编程日记 2025/1/24 2:49:21

蚁群算法 (Ant Colony Optimization) 算法详解及案例分析

蚁群算法 (Ant Colony Optimization) 算法详解及案例分析 目录 蚁群算法 (Ant Colony Optimization) 算法详解及案例分析1. 引言2. 蚁群算法 (ACO) 算法原理2.1 蚂蚁觅食行为2.2 算法步骤2.3 数学公式3. 蚁群算法的优势与局限性3.1 优势3.2 局限性4. 案例分析4.1 案例1: 旅行商…...

编程日记 2025/1/24 2:43:14

安卓动态设置Unity图形API

命令行方式 Unity图像api设置为自动，安卓动态设置Vulkan、OpenGLES Unity设置 安卓设置 创建自定义活动并将其设置为应用程序入口点。 在自定义活动中，覆盖字符串UnityPlayerActivity。updateunitycommandlineararguments （String cmdLine）方法。 在该方法中，将cmdLine…...

编程日记 2025/1/24 2:41:09

通信协议—WebSocket

一、WebSocket编程概念 1.1 什么是WebSocket WebSocket 是一种全双工通信协议，允许在客户端（通常是浏览器）和服务器之间建立持久连接，以实现实时的双向通信。它是 HTML5 标准的一部分，相比传统的 HTTP 请求&#xff…...

编程日记 2025/1/24 2:37:03

helm推送到harbor私有库--http: server gave HTTP response to HTTPS client

harbor私有库访问的是http模式 harbor 2.8版本以上可以存储helm镜像 docker镜像推送的时候需要docker端配置insecure-registries 发现helm推送只能在harbor部署的本机使用localhost才能推送成功，即 helm push xxx.tgz oci://localhost:80/library 使用helm pus…...

编程日记 2025/1/24 2:33:59

数据结构——实验一·线性表

海~~欢迎来到Tubishu的博客🌸如果你也是一名在校大学生，正在寻找各种变成资源，那么你就来对地方啦🌟 Tubishu是一名计算机本科生，会不定期整理和分享学习中的优质资源，希望能为你的编程之路添砖加瓦⭐&…...

编程日记 2025/1/24 2:30:56

快速搭建深度学习环境（Linux：miniconda+pytorch+jupyter notebook）

本文基于服务器端环境展开，使用的虚拟终端为Xshell。 miniconda miniconda是Anaconda的轻量版，仅包含Conda和Python，如果只做深度学习，可使用miniconda。 [注]：Anaconda、Conda与Miniconda Conda：创建和管…...

编程日记 2025/1/24 2:21:46

OpenCV相机标定与3D重建(66)对立体匹配生成的视差图（disparity map）进行验证的函数validateDisparity()的使用

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 使用左右检查来验证视差。矩阵 “cost” 应该由立体对应算法计算。 cv::validateDisparity 函数是 OpenCV 库中用于对立体匹配生成的视差图&…...

编程日记 2025/1/24 2:19:45

2025年新开局！谁在引领汽车AI风潮？

汽车AI革命已来。 在2025年伊始开幕的CES展上，AI汽车、AI座舱无疑成为了今年汽车行业的最大热点。其中不少车企在2025年CES上展示了其新一代AI座舱，为下一代智能汽车的人机交互、场景创新率先打样。 其中，东软集团也携带AI驱动、大数据支撑…...

编程日记 2025/1/24 2:15:35

Spring自定义BeanPostProcessor实现bean的代理Java动态代理知识

上文：https://blog.csdn.net/qq_26437925/article/details/145241149 中大致了解了spring aop的代理的实现，其实就是有个BeanPostProcessor代理了bean对象。顺便复习下java代理相关知识 目录 自定义BeanPostProcessor实现aopJava动态代理知识动态代理的几…...

编程日记 2025/1/24 2:13:32

三篇物联网漏洞挖掘综述

由于物联网设备存在硬件资源受限、硬件复杂异构， 代码、文档未公开的问题， 物联网设备的漏洞挖掘存在较大的挑战： 硬件资源受限性: 通用动态二进分析技术需要在运行程序外围实施监控分析。由于物联网设备存储资源(存储)的受限性，…...

编程日记 2025/1/24 2:09:28

Pytorch深度学习指南 卷I --编程基础（A Beginner‘s Guide） 第1章 一个简单的回归

本章正式开始使用pytorch的接口来实现对应的numpy的学习的过程，来学习模型的实现，我们会介绍numpy是如何学习的，以及我们如何一步步的通过torch的接口来实现简单化的过程，优雅的展示我们的代码，已经我们的代码完成的事…...

编程日记 2025/1/24 2:08:27

网络编程（Modbus进阶）

思维导图 Modbus RTU（先学一点理论） 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议，由 Modicon 公司（现施耐德电气）于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…...

编程新知 2026/2/9 2:42:51

eNSP-Cloud(实现本地电脑与eNSP内设备之间通信)

说明： 想象一下，你正在用eNSP搭建一个虚拟的网络世界，里面有虚拟的路由器、交换机、电脑（PC）等等。这些设备都在你的电脑里面“运行”，它们之间可以互相通信，就像一个封闭的小王国。 但是&#…...

编程新知 2026/2/8 4:37:17

QMC5883L的驱动

简介 本篇文章的代码已经上传到了github上面，开源代码 作为一个电子罗盘模块，我们可以通过I2C从中获取偏航角yaw，相对于六轴陀螺仪的yaw，qmc5883l几乎不会零飘并且成本较低。 参考资料 QMC5883L磁场传感器驱动 QMC5883L磁力计…...

编程新知 2026/1/2 4:05:05

Day131 | 灵神 | 回溯算法 | 子集型 子集

Day131 | 灵神 | 回溯算法 | 子集型 子集 78.子集 78. 子集 - 力扣（LeetCode） 思路： 笔者写过很多次这道题了，不想写题解了，大家看灵神讲解吧 回溯算法套路①子集型回溯【基础算法精讲 14】_哔哩哔哩_bilibili 完…...

编程新知 2026/1/23 12:37:51

postgresql|数据库|只读用户的创建和删除（备忘）

CREATE USER read_only WITH PASSWORD 密码 -- 连接到xxx数据库 \c xxx -- 授予对xxx数据库的只读权限 GRANT CONNECT ON DATABASE xxx TO read_only; GRANT USAGE ON SCHEMA public TO read_only; GRANT SELECT ON ALL TABLES IN SCHEMA public TO read_only; GRANT EXECUTE O…...

编程新知 2025/9/18 19:34:22

如何将联系人从 iPhone 转移到 Android

从 iPhone 换到 Android 手机时，你可能需要保留重要的数据，例如通讯录。好在，将通讯录从 iPhone 转移到 Android 手机非常简单，你可以从本文中学习 6 种可靠的方法，确保随时保持连接，不错过任何信息。 第 1…...

编程新知 2026/1/31 5:09:27

vue3 定时器-定义全局方法 vue+ts

1.创建ts文件 路径&#xff1a;src/utils/timer.ts 完整代码&#xff1a; import { onUnmounted } from vuetype TimerCallback (...args: any[]) > voidexport function useGlobalTimer() {const timers: Map<number, NodeJS.Timeout> new Map()// 创建定时器con…...

编程新知 2025/8/9 0:31:20

MySQL 8.0 OCP 英文题库解析（十三）

Oracle 为庆祝 MySQL 30 周年&#xff0c;截止到 2025.07.31 之前。所有人均可以免费考取原价245美元的MySQL OCP 认证。 从今天开始&#xff0c;将英文题库免费公布出来&#xff0c;并进行解析&#xff0c;帮助大家在一个月之内轻松通过OCP认证。 本期公布试题111~120 试题1…...

编程新知 2026/1/31 7:25:57

鱼香ros docker配置镜像报错：https://registry-1.docker.io/v2/

使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题 一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题&#xff1a;docker pull 失败 网络不同&#xff0c;需要使用镜像源 按照如下步骤操作 sudo vi /etc/docker/dae…...

编程新知 2025/12/31 6:28:08

10-Oracle 23 ai Vector Search 概述和参数

一、Oracle AI Vector Search 概述 企业和个人都在尝试各种AI&#xff0c;使用客户端或是内部自己搭建集成大模型的终端&#xff0c;加速与大型语言模型&#xff08;LLM&#xff09;的结合&#xff0c;同时使用检索增强生成&#xff08;Retrieval Augmented Generation &#…...

编程新知 2026/2/9 20:30:28