当前位置: 首页 > news >正文

hadoop-yarn常用命令

一、YARN命令介绍

1. YARN命令简介

YARN提供了一组命令行工具,用于管理和监控YARN应用程序和集群。

2. yarn application命令

(1) yarn application命令的基本语法

yarn application命令的基本语法如下:

yarn application [genericOptions] [command] [commandOptions]

(2) 常用的yarn application命令选项
yarn application命令常用选项和参数如下:

  • -list:列出所有正在运行的应用程序。
  • -status <applicationId>:获取指定应用程序的状态。
  • -kill <applicationId>:终止指定的应用程序。
  • -movetoqueue <applicationId> <queueName>:将指定应用程序移动到指定队列。
  • -queue <queueName>:列出指定队列中的应用程序。
  • 3. yarn node命令

(1) yarn node命令的基本语法
yarn node命令的基本语法如下:

yarn node [genericOptions] [command] [commandOptions]

(2) 常用的yarn node命令选项
yarn node命令常用选项和参数如下:

  • -list:列出所有节点的状态和资源使用情况。
  • -status <nodeId>:获取指定节点的状态和资源使用情况。
  • -decommission <nodeId>:将指定节点标记为退役状态。
  • -refreshNodes:刷新节点列表。

4. yarn queue命令

(1) yarn queue命令的基本语法
yarn node命令的基本语法如下:

yarn queue [genericOptions] [command] [commandOptions]

2) 常用的yarn queue命令选项
yarn queue命令常用选项和参数如下:

  • -status <queueName>:获取指定队列的状态和资源使用情况。
  • -list:列出所有队列的状态和资源使用情况。

5. yarn logs命令

(1) yarn logs命令的基本语法
yarn logs命令的基本语法如下:

yarn logs [genericOptions] [command] [commandOptions]

(2) 常用的yarn logs命令选项
yarn logs命令常用选项和参数如下:

  • -applicationId <applicationId>:指定要获取日志的应用程序ID。
  • -containerId <containerId>:指定要获取日志的容器ID。
  • -nodeAddress <nodeAddress>:指定要获取日志的节点地址。

6. yarn rmadmin命令

(1) yarn rmadmin命令的基本语法
yarn rmadmin命令的基本语法如下:

yarn rmadmin [genericOptions] [command] [commandOptions]

(2) 常用的yarn rmadmin命令选项
yarn rmadmin命令常用选项和参数如下:

  • -refreshQueues:刷新队列配置。
  • -refreshNodes:刷新节点列表。
  • -refreshSuperUserGroupsConfiguration:刷新超级用户组配置。

二、YARN常用命令

1. 列出所有正在运行的应用程序

yarn application -list

该命令将列出所有正在运行的应用程序。

2. 获取指定应用程序的状态

yarn application -status application_1234567890_0001

该命令将获取应用程序ID为application_1234567890_0001的应用程序的状态。

3. 终止指定的应用程序

yarn application -kill application_1234567890_0001

该命令将终止应用程序ID为application_1234567890_0001的应用程序。

4. 将指定应用程序移动到指定队列

yarn application -movetoqueue application_1234567890_0001 root.queue1

该命令将将应用程序ID为application_1234567890_0001的应用程序移动到名为root.queue1的队列。

5. 列出指定队列中的应用程序

yarn application -queue root.queue1

该命令将列出名为root.queue1的队列中的应用程序。

6. 列出所有节点的状态和资源使用情况

yarn node -list

该命令将列出集群中所有节点的状态和资源使用情况。

7. 获取指定节点的状态和资源使用情况

yarn node -status node1

该命令将获取名为node1的节点的状态和资源使用情况。

8. 将指定节点标记为退役状态

yarn node -decommission node2

该命令将将名为node2的节点标记为退役状态。

9. 刷新节点列表

yarn node -refreshNodes

该命令将刷新节点列表,更新集群中的节点信息。

10. 获取指定队列的状态和资源使用情况

yarn queue -status root.default

该命令将获取名为root.default的队列的状态和资源使用情况。

11. 列出所有队列的状态和资源使用情况

yarn queue -list

该命令将列出所有队列的状态和资源使用情况。

12. 指定要获取日志的应用程序ID

yarn logs -applicationId application_1234567890_0001

该命令将获取应用程序ID为application_1234567890_0001的应用程序的日志。

13. 指定要获取日志的容器ID

yarn logs -containerId container_1234567890_0001_01_000001

该命令将获取容器ID为container_1234567890_0001_01_000001的容器的日志。

14. 指定要获取日志的节点地址

yarn logs -nodeAddress node1.example.com

该命令将获取位于node1.example.com节点上的应用程序的日志。

15. 刷新队列配置

yarn rmadmin -refreshQueues

该命令将刷新队列配置,更新队列的相关信息。

16. 刷新节点列表

yarn rmadmin -refreshNodes

该命令将刷新节点列表,更新集群中的节点信息。

17. 刷新超级用户组配置

yarn rmadmin -refreshSuperUserGroupsConfiguration

该命令将刷新超级用户组配置,更新超级用户组的相关信息。

 

相关文章:

hadoop-yarn常用命令

一、YARN命令介绍 1. YARN命令简介 YARN提供了一组命令行工具&#xff0c;用于管理和监控YARN应用程序和集群。 2. yarn application命令 (1) yarn application命令的基本语法 yarn application命令的基本语法如下&#xff1a; yarn application [genericOptions] [comma…...

LabVIEW滤波器功能

程序通过LabVIEW生成一个带噪声的正弦波信号&#xff0c;并利用滤波器对其进行信号提取。具体来说&#xff0c;它生成一个正弦波信号&#xff0c;叠加高频噪声后形成带噪信号&#xff0c;再通过低通滤波器滤除噪声&#xff0c;提取原始正弦波信号。整个过程展示了信号生成、噪声…...

【Unity3D日常开发】Unity3D中打开Window文件对话框打开文件(PC版)

推荐阅读 CSDN主页GitHub开源地址Unity3D插件分享QQ群&#xff1a;398291828小红书小破站 大家好&#xff0c;我是佛系工程师☆恬静的小魔龙☆&#xff0c;不定时更新Unity开发技巧&#xff0c;觉得有用记得一键三连哦。 一、前言 这篇文章继续讲如何使用Unity3D打开Window文…...

ros2笔记-6.2 使用urdf创建机器人模型

本节主要跟着小鱼老师的视频操作&#xff0c;不同的仿真平台有不同的建模语言&#xff0c;但是几乎都支持URDF。 本节使用URDF创建一个机器人模型。 6.2.1 帮机器人创建一个身体 URDF使用XML来描述机器人的结构和传感器、执行器等信息。 在chapt6/chap6_ws/src创建功能包:r…...

【centos】校时服务创建-频率修改

在 NTP 配置中&#xff0c;校时频率通常是由 NTP 协议自动管理的&#xff0c;NTP 会根据网络延迟和时间偏差动态调整校时频率。不过&#xff0c;您可以通过配置文件中的一些参数来影响 NTP 的行为。 如果想要更改 NTP 的校时频率&#xff0c;可以考虑以下几个方面&#xff1a;…...

J.U.C(1)

目录 JUC&#xff08;一&#xff09;一&#xff1a;AQS二&#xff1a;reentrantlock原理1&#xff1a;加锁&#xff1a;2&#xff1a;解锁3&#xff1a;可重入锁原理4&#xff1a;可打断原理5&#xff1a;公平锁原理6&#xff1a;条件变量 三&#xff1a;读写锁&#xff08;ree…...

计算机网络之---静态路由与动态路由

静态路由 静态路由是由网络管理员手动配置并固定的路由方式。路由器通过静态配置的路由条目来转发数据包&#xff0c;而不会自动调整。它不依赖于任何路由协议。 特点&#xff1a; 手动配置&#xff1a;网络管理员需要手动在路由器中配置每条静态路由。不自动更新&#xff1a;…...

Kubernetes1.28 编译 kubeadm修改证书有效期到 100年.并更新k8s集群证书

文章目录 前言一、资源准备1. 下载对应源码2.安装编译工具3.安装并设置golang 二、修改证书有效期1.修改证书有效期2.修改 CA 证书有效期 三、编译kubeadm四、使用新kubeadm方式1.当部署新集群时,使用该kubeadm进行初始化2.替换现有集群kubeadm操作 前言 kubeadm 默认证书为一…...

C++----STL(string)

引言&#xff1a;STL简介 什么是STL STL(standard template libaray-标准模板库)&#xff1a; 是 C标准库的重要组成部分&#xff08;注意&#xff1a;STL只是C标准库里的一部分&#xff0c;cin和cout也是属于C标准库的&#xff09;&#xff0c;不仅是一个可复用的组件库&…...

利用 Java 爬虫从 yiwugo 根据 ID 获取商品详情

在当今数字化时代&#xff0c;数据是商业决策的关键。对于从事国际贸易的商家来说&#xff0c;精准获取商品的详细信息至关重要。yiwugo 是一个知名的国际贸易平台&#xff0c;拥有海量的商品数据。通过 Java 爬虫技术&#xff0c;我们可以高效地从 yiwugo 根据商品 ID 获取详细…...

vue2修改表单只提交被修改的数据的字段传给后端接口

效果&#xff1a; 步骤一、 vue2修改表单提交的时候&#xff0c;只将修改的数据的字段传给后端接口&#xff0c;没有修改得数据不传参给接口。 在 data 对象中添加一个新的属性&#xff0c;用于存储初始表单数据的副本&#xff0c;与当前表单数据进行比较&#xff0c;找出哪些…...

Flink类加载机制详解

1. 总览 在运行Flink应用时,它会加载各种类,另外我们用户代码也会引入依赖,由于他们依赖版本以及加载顺序等不同,就可能会导致冲突,所以很要必要了解Flink是如何加载类的。 根据加载的来源的不同,我们可以将类分为三种: Java Classpath:Java类路径下,这是Java通用的…...

ClickHouse大数据准实时更新

一、问题背景 最近有一个项目需求&#xff0c;需要对日活跃的3万辆车的定位数据进行分析&#xff0c;并支持查询和统计分析结果。每辆车每天产生1条分析结果数据&#xff0c;要求能够查询过去一年内的所有分析结果。因此&#xff0c;每月需要处理约90万条记录&#xff0c;一年大…...

计算机网络之---端口与套接字

总括 端口&#xff1a;是计算机上用于标识网络服务的数字标识符&#xff0c;用于区分不同的服务或应用程序。套接字&#xff1a;是操作系统提供的用于进程间网络通信的编程接口&#xff0c;允许程序通过它来进行数据的发送、接收和连接管理。关系&#xff1a;端口号用于标识服…...

UE5中制作地形材质

在创作大场景内容时&#xff0c;地形的设计和优化是至关重要的一步。利用UE中的地形系统&#xff0c;开发者能够高效地创建复杂的地形形态&#xff0c;同时保持游戏的性能和视觉效果。 1.在创建地形之前&#xff0c;先新建一个地形使用的混合材质球&#xff0c;添加节点Landsc…...

【Docker】docker compose 安装 Redis Stack

注&#xff1a;整理不易&#xff0c;请不要吝啬你的赞和收藏。 前文 Redis Stack 什么是&#xff1f; 简单来说&#xff0c;Redis Stack 是增强版的 Redis &#xff0c;它在传统的 Redis 数据库基础上增加了一些高级功能和模块&#xff0c;以支持更多的使用场景和需求。Redis…...

pytest 常用插件

pytest 提供了许多功能强大的插件来增强测试体验和执行能力。以下是一些常用的 pytest 插件介绍&#xff0c;并结合 pytest.main() 进行使用的示例。 1. pytest-xdist pytest-xdist 插件用于并行化测试的执行&#xff0c;可以将测试分配到多个 CPU 核心并行运行&#xff0c;从…...

浅谈云计算05 | 云存储等级及其接口工作原理

一、云存储设备 在当今数字化飞速发展的时代&#xff0c;数据已然成为个人、企业乃至整个社会的核心资产。从日常生活中的珍贵照片、视频&#xff0c;到企业运营里的关键业务文档、客户资料&#xff0c;数据量呈爆炸式增长。面对海量的数据&#xff0c;如何安全、高效且便捷地存…...

linux:文件的创建/删除/复制/移动/查看/查找/权限/类型/压缩/打包,文本处理sed,awk

关于文件的关键词 创建 touch 删除 rm 复制 cp 权限 chmod 移动 mv 查看内容 cat(全部); head(前10行); tail(末尾10行); more,less,grep 查找 find 压缩 gzip ; bzip 打包 tar 编辑 sed 文本处理 awk 创建文件 格式&#xff1a; touch 文件名 删除文件 复制文…...

CentOS 8 如何安装java与mysql

在CentOS 8上安装Java和MySQL的步骤如下&#xff1a; 1. 安装 Java 1.1 安装 OpenJDK&#xff08;推荐&#xff09; CentOS 8 默认的软件仓库提供了 OpenJDK 包&#xff0c;您可以直接使用 dnf 命令安装。 # 更新系统 sudo dnf update -y# 安装 OpenJDK 11&#xff08;Cent…...

QMC5883L的驱动

简介 本篇文章的代码已经上传到了github上面&#xff0c;开源代码 作为一个电子罗盘模块&#xff0c;我们可以通过I2C从中获取偏航角yaw&#xff0c;相对于六轴陀螺仪的yaw&#xff0c;qmc5883l几乎不会零飘并且成本较低。 参考资料 QMC5883L磁场传感器驱动 QMC5883L磁力计…...

DAY 47

三、通道注意力 3.1 通道注意力的定义 # 新增&#xff1a;通道注意力模块&#xff08;SE模块&#xff09; class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...

《用户共鸣指数(E)驱动品牌大模型种草:如何抢占大模型搜索结果情感高地》

在注意力分散、内容高度同质化的时代&#xff0c;情感连接已成为品牌破圈的关键通道。我们在服务大量品牌客户的过程中发现&#xff0c;消费者对内容的“有感”程度&#xff0c;正日益成为影响品牌传播效率与转化率的核心变量。在生成式AI驱动的内容生成与推荐环境中&#xff0…...

《通信之道——从微积分到 5G》读书总结

第1章 绪 论 1.1 这是一本什么样的书 通信技术&#xff0c;说到底就是数学。 那些最基础、最本质的部分。 1.2 什么是通信 通信 发送方 接收方 承载信息的信号 解调出其中承载的信息 信息在发送方那里被加工成信号&#xff08;调制&#xff09; 把信息从信号中抽取出来&am…...

鱼香ros docker配置镜像报错:https://registry-1.docker.io/v2/

使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题 一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题&#xff1a;docker pull 失败 网络不同&#xff0c;需要使用镜像源 按照如下步骤操作 sudo vi /etc/docker/dae…...

实现弹窗随键盘上移居中

实现弹窗随键盘上移的核心思路 在Android中&#xff0c;可以通过监听键盘的显示和隐藏事件&#xff0c;动态调整弹窗的位置。关键点在于获取键盘高度&#xff0c;并计算剩余屏幕空间以重新定位弹窗。 // 在Activity或Fragment中设置键盘监听 val rootView findViewById<V…...

【JavaWeb】Docker项目部署

引言 之前学习了Linux操作系统的常见命令&#xff0c;在Linux上安装软件&#xff0c;以及如何在Linux上部署一个单体项目&#xff0c;大多数同学都会有相同的感受&#xff0c;那就是麻烦。 核心体现在三点&#xff1a; 命令太多了&#xff0c;记不住 软件安装包名字复杂&…...

图表类系列各种样式PPT模版分享

图标图表系列PPT模版&#xff0c;柱状图PPT模版&#xff0c;线状图PPT模版&#xff0c;折线图PPT模版&#xff0c;饼状图PPT模版&#xff0c;雷达图PPT模版&#xff0c;树状图PPT模版 图表类系列各种样式PPT模版分享&#xff1a;图表系列PPT模板https://pan.quark.cn/s/20d40aa…...

LangChain知识库管理后端接口:数据库操作详解—— 构建本地知识库系统的基础《二》

这段 Python 代码是一个完整的 知识库数据库操作模块&#xff0c;用于对本地知识库系统中的知识库进行增删改查&#xff08;CRUD&#xff09;操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 &#x1f4d8; 一、整体功能概述 该模块…...

Golang——6、指针和结构体

指针和结构体 1、指针1.1、指针地址和指针类型1.2、指针取值1.3、new和make 2、结构体2.1、type关键字的使用2.2、结构体的定义和初始化2.3、结构体方法和接收者2.4、给任意类型添加方法2.5、结构体的匿名字段2.6、嵌套结构体2.7、嵌套匿名结构体2.8、结构体的继承 3、结构体与…...