当前位置： 首页 > news >正文

大数据学习(36)- Hive和YARN

news 2026/2/11 6:07:56

&&大数据学习&&
🔥系列专栏： 👑哲学语录: 承认自己的无知，乃是开启智慧的大门
💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞

        当客户端提交SQL作业到HiveServer2时，HiveServer2会根据用户提交的SQL作业及数据库中现有的元数据信息生成一份可供计算引擎执行的计划。每个执行计划对应若干MapReduce作业，Hive会将所有的MapReduce作业都提交到YARN中。YARN负责创建MapReduce作业对应的子任务，并协调它们的运行。YARN创建的子任务会与HDFS进行交互，获取计算所需的数据，计算完成后将最终的结果写入HDFS或者本地。

1.YARN

YARN作为资源管理和作业调度框架，能够动态调整资源分配，确保集群中的资源得到充分利用。这有助于提高Hive作业的执行效率，因为Hive可以依赖YARN来管理资源并调度作业，从而避免资源争抢和浪费。

2.HIVE

YARN支持运行各种类型的分布式应用程序，包括Hive的MapReduce作业。这使得Hive能够与其他大数据处理框架和应用程序高效运行在同一集群中，共同利用YARN提供的资源管理功能。

Hive和YARN在Hadoop生态系统中扮演着不同的角色但相互协作。Hive作为数据仓库工具提供了丰富的SQL查询功能，而YARN作为资源管理和作业调度框架则确保了Hive作业能够高效、可靠地执行。

相关文章：

大数据学习(36)- Hive和YARN

&&大数据学习&& 🔥系列专栏： 👑哲学语录: 承认自己的无知，乃是开启智慧的大门 💖如果觉得博主的文章还不错的话，请点赞👍收藏⭐️留言📝支持一下博主哦&#x1f91…...

编程日记 2025/1/24 3:08:42

C# ASP.NET MVC项目内使用ApiController

1.在App_Start文件夹新建WebApiConfig.cs文件，建立webApi路由的注册方法。 using System.Web.Http;namespace PrivilegeManager {public class WebApiConfig{public static void Register(HttpConfiguration config){config.MapHttpAttributeRoutes();config.Route…...

编程日记 2025/1/24 3:07:41

Kafka 入门与应用实战：吞吐量优化与与 RabbitMQ、RocketMQ 的对比

前言 在现代微服务架构和分布式系统中，消息队列作为解耦组件，承担着重要的职责。它不仅提供了异步处理的能力，还能确保系统的高可用性、容错性和扩展性。常见的消息队列包括 Kafka、RabbitMQ 和 RocketMQ，其中 Kafka 因其高吞吐量…...

编程日记 2025/1/24 3:04:38

“推理”（Inference）在深度学习和机器学习的语境

“推理”（Inference）在深度学习和机器学习的语境中，是指使用经过训练的模型对新数据进行预测的过程。将其简单地理解为“模型的应用阶段”。在这一阶段，我们不再进行模型训练，而是利用已训练好且保存下来的模型来获取对…...

编程日记 2025/1/24 3:02:35

字节腾讯阿里大厂面经汇总：Java集合（容器）大厂面试题及参考答案

ArrayList 的扩容机制以及删除操作的时间复杂度 ArrayList 是 Java 中非常常用的一个集合类，它是基于数组实现的动态数组。当我们创建一个 ArrayList 时，如果不指定初始容量，它会有一个默认的初始容量（通常是 10）。当我们向 ArrayList 中添加元素时，如果元素的数量达到了…...

编程日记 2025/1/24 3:00:33

数据结构（初阶）（一）----算法复杂度

算法复杂度 算法复杂度数据结构算法算法效率复杂度的概念 数据结构 数据结构(Data Structure)是计算机存储、组织数据的⽅式，指相互之间存在⼀种或多种特定关系的数据元素的集合。没有⼀种单⼀的数据结构对所有⽤途都有⽤，所以我们要学各式各样的数据结…...

编程日记 2025/1/24 2:59:31

构建高效稳定的网络环境

概述 网络技术是当今IT行业的重要组成部分，构建高效稳定的网络环境对于企业、个人和互联网发展至关重要。本文将探讨网络技术中的关键要素，包括网络协议、网络架构、网络安全和网络优化，并提供实用的技巧和最佳实践，以帮助您构建…...

编程日记 2025/1/24 2:56:28

使用Edge打开visio文件

使用Edge打开visio文件 打开Edge浏览器搜索‘vsdx edge’ 打开第一个搜索结果 Microsoft Support 根据上述打开的页面进行操作 第一步：安装Visio Viewer 第二步：添加注册表 桌面新增文本文件，将下面的内容放入新建文本中，修…...

编程日记 2025/1/24 2:50:22

ChatGPT Prompt 编写指南

一、第一原则：明确的意图​ 你需要明确地表达你的意图和要求，尽可能具体、描述性、详细地描述所需的上下文、你期望的结果等。你的要求越明确，越有希望获得你想要的答案。​ 糟糕的案例 ❌​ ​ 写一首关于 OpenAI 的诗。​ ​ 更好的案…...

编程日记 2025/1/24 2:49:21

蚁群算法 (Ant Colony Optimization) 算法详解及案例分析

蚁群算法 (Ant Colony Optimization) 算法详解及案例分析 目录 蚁群算法 (Ant Colony Optimization) 算法详解及案例分析1. 引言2. 蚁群算法 (ACO) 算法原理2.1 蚂蚁觅食行为2.2 算法步骤2.3 数学公式3. 蚁群算法的优势与局限性3.1 优势3.2 局限性4. 案例分析4.1 案例1: 旅行商…...

编程日记 2025/1/24 2:43:14

安卓动态设置Unity图形API

命令行方式 Unity图像api设置为自动，安卓动态设置Vulkan、OpenGLES Unity设置 安卓设置 创建自定义活动并将其设置为应用程序入口点。 在自定义活动中，覆盖字符串UnityPlayerActivity。updateunitycommandlineararguments （String cmdLine）方法。 在该方法中，将cmdLine…...

编程日记 2025/1/24 2:41:09

通信协议—WebSocket

一、WebSocket编程概念 1.1 什么是WebSocket WebSocket 是一种全双工通信协议，允许在客户端（通常是浏览器）和服务器之间建立持久连接，以实现实时的双向通信。它是 HTML5 标准的一部分，相比传统的 HTTP 请求&#xff…...

编程日记 2025/1/24 2:37:03

helm推送到harbor私有库--http: server gave HTTP response to HTTPS client

harbor私有库访问的是http模式 harbor 2.8版本以上可以存储helm镜像 docker镜像推送的时候需要docker端配置insecure-registries 发现helm推送只能在harbor部署的本机使用localhost才能推送成功，即 helm push xxx.tgz oci://localhost:80/library 使用helm pus…...

编程日记 2025/1/24 2:33:59

数据结构——实验一·线性表

海~~欢迎来到Tubishu的博客🌸如果你也是一名在校大学生，正在寻找各种变成资源，那么你就来对地方啦🌟 Tubishu是一名计算机本科生，会不定期整理和分享学习中的优质资源，希望能为你的编程之路添砖加瓦⭐&…...

编程日记 2025/1/24 2:30:56

快速搭建深度学习环境（Linux：miniconda+pytorch+jupyter notebook）

本文基于服务器端环境展开，使用的虚拟终端为Xshell。 miniconda miniconda是Anaconda的轻量版，仅包含Conda和Python，如果只做深度学习，可使用miniconda。 [注]：Anaconda、Conda与Miniconda Conda：创建和管…...

编程日记 2025/1/24 2:21:46

OpenCV相机标定与3D重建(66)对立体匹配生成的视差图（disparity map）进行验证的函数validateDisparity()的使用

操作系统：ubuntu22.04 OpenCV版本：OpenCV4.9 IDE:Visual Studio Code 编程语言：C11 算法描述 使用左右检查来验证视差。矩阵 “cost” 应该由立体对应算法计算。 cv::validateDisparity 函数是 OpenCV 库中用于对立体匹配生成的视差图&…...

编程日记 2025/1/24 2:19:45

2025年新开局！谁在引领汽车AI风潮？

汽车AI革命已来。 在2025年伊始开幕的CES展上，AI汽车、AI座舱无疑成为了今年汽车行业的最大热点。其中不少车企在2025年CES上展示了其新一代AI座舱，为下一代智能汽车的人机交互、场景创新率先打样。 其中，东软集团也携带AI驱动、大数据支撑…...

编程日记 2025/1/24 2:15:35

Spring自定义BeanPostProcessor实现bean的代理Java动态代理知识

上文：https://blog.csdn.net/qq_26437925/article/details/145241149 中大致了解了spring aop的代理的实现，其实就是有个BeanPostProcessor代理了bean对象。顺便复习下java代理相关知识 目录 自定义BeanPostProcessor实现aopJava动态代理知识动态代理的几…...

编程日记 2025/1/24 2:13:32

三篇物联网漏洞挖掘综述

由于物联网设备存在硬件资源受限、硬件复杂异构， 代码、文档未公开的问题， 物联网设备的漏洞挖掘存在较大的挑战： 硬件资源受限性: 通用动态二进分析技术需要在运行程序外围实施监控分析。由于物联网设备存储资源(存储)的受限性，…...

编程日记 2025/1/24 2:09:28

Pytorch深度学习指南 卷I --编程基础（A Beginner‘s Guide） 第1章 一个简单的回归

本章正式开始使用pytorch的接口来实现对应的numpy的学习的过程，来学习模型的实现，我们会介绍numpy是如何学习的，以及我们如何一步步的通过torch的接口来实现简单化的过程，优雅的展示我们的代码，已经我们的代码完成的事…...

编程日记 2025/1/24 2:08:27

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …...

编程新知 2026/2/11 4:16:16

springboot 百货中心供应链管理系统小程序

一、前言 随着我国经济迅速发展&#xff0c;人们对手机的需求越来越大&#xff0c;各种手机软件也都在被广泛应用&#xff0c;但是对于手机进行数据信息管理&#xff0c;对于手机的各种软件也是备受用户的喜爱&#xff0c;百货中心供应链管理系统被用户普遍使用&#xff0c;为方…...

编程新知 2026/2/8 20:41:49

Objective-C常用命名规范总结

【OC】常用命名规范总结 文章目录 【OC】常用命名规范总结1.类名&#xff08;Class Name)2.协议名&#xff08;Protocol Name)3.方法名&#xff08;Method Name)4.属性名&#xff08;Property Name&#xff09;5.局部变量/实例变量&#xff08;Local / Instance Variables&…...

编程新知 2025/12/14 22:33:06

【解密LSTM、GRU如何解决传统RNN梯度消失问题】

解密LSTM与GRU&#xff1a;如何让RNN变得更聪明&#xff1f; 在深度学习的世界里&#xff0c;循环神经网络&#xff08;RNN&#xff09;以其卓越的序列数据处理能力广泛应用于自然语言处理、时间序列预测等领域。然而&#xff0c;传统RNN存在的一个严重问题——梯度消失&#…...

编程新知 2025/12/24 1:45:14

【Go】3、Go语言进阶与依赖管理

前言 本系列文章参考自稀土掘金上的 【字节内部课】公开课&#xff0c;做自我学习总结整理。 Go语言并发编程 Go语言原生支持并发编程&#xff0c;它的核心机制是 Goroutine 协程、Channel 通道&#xff0c;并基于CSP&#xff08;Communicating Sequential Processes&#xff0…...

编程新知 2025/10/7 0:32:40

C++ 求圆面积的程序（Program to find area of a circle）

给定半径r&#xff0c;求圆的面积。圆的面积应精确到小数点后5位。 例子&#xff1a; 输入&#xff1a;r 5 输出&#xff1a;78.53982 解释&#xff1a;由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982&#xff0c;因为我们只保留小数点后 5 位数字。 输…...

编程新知 2026/1/31 12:52:15

项目部署到Linux上时遇到的错误（Redis，MySQL，无法正确连接，地址占用问题）

Redis无法正确连接 在运行jar包时出现了这样的错误 查询得知问题核心在于Redis连接失败&#xff0c;具体原因是客户端发送了密码认证请求&#xff0c;但Redis服务器未设置密码 1.为Redis设置密码&#xff08;匹配客户端配置&#xff09; 步骤&#xff1a; 1&#xff09;.修…...

编程新知 2026/2/10 23:35:00

Maven 概述、安装、配置、仓库、私服详解

目录 1、Maven 概述 1.1 Maven 的定义 1.2 Maven 解决的问题 1.3 Maven 的核心特性与优势 2、Maven 安装 2.1 下载 Maven 2.2 安装配置 Maven 2.3 测试安装 2.4 修改 Maven 本地仓库的默认路径 3、Maven 配置 3.1 配置本地仓库 3.2 配置 JDK 3.3 IDEA 配置本地 Ma…...

编程新知 2026/2/8 1:58:01

AI病理诊断七剑下天山，医疗未来触手可及

一、病理诊断困局&#xff1a;刀尖上的医学艺术 1.1 金标准背后的隐痛 病理诊断被誉为"诊断的诊断"&#xff0c;医生需通过显微镜观察组织切片&#xff0c;在细胞迷宫中捕捉癌变信号。某省病理质控报告显示&#xff0c;基层医院误诊率达12%-15%&#xff0c;专家会诊…...

编程新知 2026/2/6 20:53:34

RSS 2025｜从说明书学习复杂机器人操作任务：NUS邵林团队提出全新机器人装配技能学习框架Manual2Skill

视觉语言模型&#xff08;Vision-Language Models, VLMs&#xff09;&#xff0c;为真实环境中的机器人操作任务提供了极具潜力的解决方案。 尽管 VLMs 取得了显著进展&#xff0c;机器人仍难以胜任复杂的长时程任务&#xff08;如家具装配&#xff09;&#xff0c;主要受限于人…...

编程新知 2026/1/31 5:30:51