hadoop 编写开启关闭集群脚本, hadoop hdfs,yarn开启关闭脚本。傻瓜式hadoop脚本 hadoop(九)
1. 三台机器: hadoop22, hadoop23, hadoop24
2. hdfs在22机器启动,yarn在hadoop23机器
3. 脚本需要hadoop用户启动才可以
4. 脚本必须在hadoop22机器运行。如果想在所有机器都能运行,你可以自己修改脚本
4. 脚本:
#!/bin/bashHADOOP_PATH="/opt/module/hadoop-3.3.4"# 检查脚本执行用户是否为 hadoop
if [ "$(whoami)" != "hadoop" ]; thenecho "错误: 该脚本需要以 hadoop 用户身份执行"exit 1
fi# 检查输入参数
if [ "$#" -ne 1 ]; thenecho "使用方法: $0 <start|stop>"exit 1
fifunction start_cluster() {echo "****************************************************************"echo "* *"echo "***********************启动hadoop集群.**************************"echo "* *"echo "****************************************************************"cd $HADOOP_PATHsbin/start-dfs.shecho "已启动hdf."ssh -T hadoop23 << EOFcd "$HADOOP_PATH"sbin/start-yarn.shecho "已启动yarn."exit
EOF}function stop_cluster() {echo "****************************************************************"echo "* *"echo "***********************关闭hadoop集群.**************************"echo "* *"echo "****************************************************************"cd $HADOOP_PATHsbin/stop-dfs.shecho "已关闭hdf."ssh -T hadoop23 << EOFcd "$HADOOP_PATH"sbin/stop-yarn.shecho "已关闭yarn."exit
EOF}# 判断输入参数是start还是stop
case "$1" in"start")start_cluster;;"stop")stop_cluster;;*)echo "未知操作:$1"exit 1;;
esac
5. 含有历史服务器的:
#!/bin/bashHADOOP_PATH="/opt/module/hadoop-3.3.4"# 检查脚本执行用户是否为 hadoop
if [ "$(whoami)" != "hadoop" ]; thenecho "错误: 该脚本需要以 hadoop 用户身份执行"exit 1
fi# 检查输入参数
if [ "$#" -ne 1 ]; thenecho "使用方法: $0 <start|stop>"exit 1
fifunction start_cluster() {echo "****************************************************************"echo "* *"echo "***********************启动hadoop集群.**************************"echo "* *"echo "****************************************************************"cd $HADOOP_PATHsbin/start-dfs.shecho "已启动hdf."ssh -T hadoop23 << EOFcd "$HADOOP_PATH"sbin/start-yarn.shecho "已启动yarn."exit
EOFbin/mapred --daemon start historyserverecho "已启动historysever."}function stop_cluster() {echo "****************************************************************"echo "* *"echo "***********************关闭hadoop集群.**************************"echo "* *"echo "****************************************************************"cd $HADOOP_PATHbin/mapred --daemon stop historyserverecho "已关闭historysever."sbin/stop-dfs.shecho "已关闭hdf."ssh -T hadoop23 << EOFcd "$HADOOP_PATH"sbin/stop-yarn.shecho "已关闭yarn."exit
EOF}# 判断输入参数是start还是stop
case "$1" in"start")start_cluster;;"stop")stop_cluster;;*)echo "未知操作:$1"exit 1;;
esac
相关文章:
hadoop 编写开启关闭集群脚本, hadoop hdfs,yarn开启关闭脚本。傻瓜式hadoop脚本 hadoop(九)
1. 三台机器: hadoop22, hadoop23, hadoop24 2. hdfs在22机器启动,yarn在hadoop23机器 3. 脚本需要hadoop用户启动才可以 4. 脚本必须在hadoop22机器运行。如果想在所有机器都能运行,你可以自己修改脚本 4. 脚本: #!/bin/bas…...
ArrayList中放的是一个对象,如何同时根据对象中的三个字段对List进行排序
import java.util.ArrayList; import java.util.Collections; import java.util.Comparator;public class YourObject {private int field1;private String field2;private double field3;// 构造函数和其他代码public int getField1() {return field1;}public String getField…...
MONGODB 的基础 NOSQL注入基础
首先来学习一下nosql 这里安装就不进行介绍 只记录一下让自己了解mongodb ubuntu 安装后 进入 /usr/bin ./mongodb即可进入然后可通过 进入的url链接数据库 基本操作 show dbshow dbsshow tablesuse 数据库名插入数据db.admin.insert({json格式的数据})例如 db.admin.inse…...
单链表实现【队列】
目录 队列的概念及其结构 队列的实现 数组队列 链式队列 队列的常见接口的实现 主函数Test.c 头文件&函数声明Queue.h 头文件 函数声明 函数实现Queue.c 初始化QueueInit 创建节点Createnode 空间释放QueueDestroy 入队列QueuePush 出队列QueuePop 队头元…...
随机微分方程的MATLAB数值求解
dt0.01; tout200; %总时间为2 xzeros(1,tout); x(1)0.5; %初始位置 mu0.2; sigma1; Wtsqrt(dt)*randn(1,tout); %产生随机序列Wt for t1:tout-1x(t1)x(t)mu*x(t)*dtsigma*x(t)*Wt(t); end t11:10:tout; %对原时间序列进行抽样 xtzeros(1,length(t1)); i1; for tt1xt(i)0.5*exp(…...
ChatGPT 也并非万能,品牌如何搭上 AIGC「快班车」
内容即产品的时代,所见即所得,所得甚至超越所见。 无论是在公域的电商平台、社交媒体,还是品牌私域的官网、社群、小程序,品牌如果想与用户发生连接,内容永远是最前置的第一要素。 01 当内容被消费过,就…...
【JavaSE】不允许你不会使用String类
🎥 个人主页:深鱼~🔥收录专栏:JavaSE🌄欢迎 👍点赞✍评论⭐收藏 目录 前言: 一、常用方法 1.1 字符串构造 1.2 String对象的比较 (1)比较是否引用同一个对象 注意…...
身份证阅读器和社保卡读卡器Harmony鸿蒙系统ArkTS语言SDK开发包
项目需求,用ArkTS新一代开发语言实现了在Harmony鸿蒙系统上面兼容身份证阅读器和社保卡读卡器,调用了DonseeDeviceLib.har这个读卡库。 需要注意的是,鸿蒙系统的app扩展名为.hap,本项目编译输出的应用为:entry-default…...
并发与并行
并发和并行是操作系统中的两个重要概念,它们在定义和处理任务的方式上有一些区别。 并发(concurrency)是指在一段时间内,有多个程序都处于启动运行到运行完毕之间,但任一时刻点上只有一个程序在处理机上运行。它是一种…...
搭个网页应用,让ChatGPT帮我写SQL
大家好,我是凌览。 开门见山,我搭了一个网页应用名字叫sql-translate。访问链接挂在我的个人博客(https://linglan01.cn/about)导航栏,也可以访问https://www.linglan01.cn/c/sql-translate/直达sql-translate。 它的主要功能有:…...
实时云渲染 助力破解智慧园区痛点困局
智慧园区是运用先进的信息技术,如物联网(IoT)、大数据、云计算、人工智能、三维可视化等,对园区内的各类设施、资源以及管理进行智能化和数字化升级。其目标是通过科技手段提升园区的运营效率、资源利用率,提供更便捷、…...
计算机组成原理2
1.浮点数 2.IEEE 754 3.存储器的性能指标 4.存储器的层次化结构 主存类似手机运行内存8g ,辅存类似手机内存128g.... 辅存必须先通过主存才能被cpu接收,就例如微信打开那个月亮小人界面两三秒就是主存在读取辅存的程序然后被cpu接收运行。 5.主存储…...
Py之PyMuPDF:PyMuPDF的简介、安装、使用方法之详细攻略
Py之PyMuPDF:PyMuPDF的简介、安装、使用方法之详细攻略 目录 PyMuPDF的简介 PyMuPDF的安装 PyMuPDF的使用方法 1、基础用法 PyMuPDF的简介 PyMuPDF是一个高性能的Python库,用于PDF(和其他)文档的数据提取,分析,转换和操作。 …...
2023亚太杯数学建模A题B题C题思路模型代码论文指导
2023亚太地区数学建模A题思路:开赛后第一时间更新,获取见文末 名片 2023亚太地区数学建模B题思路:开赛后第一时间更新,获取见文末 名片 2023亚太地区数学建模C题思路:开赛后第一时间更新,获取见文末 名片…...
【C/PTA】函数专项练习(四)
本文结合PTA专项练习带领读者掌握函数,刷题为主注释为辅,在代码中理解思路,其它不做过多叙述。 目录 6-1 计算A[n]1/(1 A[n-1])6-2 递归实现顺序输出整数6-3 自然数的位数(递归版)6-4 分治法求解金块问题6-5 汉诺塔6-6 重复显示字符(递归版)…...
广西柳州机械异形零部件三维扫描3D抄数全尺寸测绘建模-CASAIM中科广电
一、背景介绍 复杂机械异形零部件具有不规则的形状和复杂的结构,给生产制造带来了很大的检测难度。为了确保零部件的制造质量和精度,需要对零部件进行全面的尺寸检测和分析。 CASAIM三维扫描仪在机械异形零部件全尺寸检测应用可以实现对机械异形零部件…...
(四)C语言之符号常量概述
(四)C语言之符号常量概述 一、符号常量概述 一、符号常量概述 在程序中使用像300,20等这样的等类似的“幻数”不是一个好的习惯,它们无法向阅读该程序的人提供更多有用的信息,从而使得修改程序变得困难。处理这种幻数的一种方法是…...
springboot -sse -flux 服务器推送消息
先说BUG处理,遇到提示异步问题 Async support must be enabled on a servlet and for all filters involved in async request processing. This is done in Java code using the Servlet API or by adding "<async-supported>true</async-supported&…...
js进阶笔记之原型,原型链
目录 1、原型对象 constructor 属性 对象原型 2、原型链 3、instanceof 4、原型继承 1、原型对象 面向过程就是分析出解决问题所需要的步骤,然后用函数把这些步骤一步一步实现,使用的时候再一个一个的依次调用就可以了。 面向对象是把事务分解成为…...
【DevOps】Git 图文详解(四):Git 使用入门
本系列包含: Git 图文详解(一):简介及基础概念Git 图文详解(二):Git 安装及配置Git 图文详解(三):常用的 Git GUIGit 图文详解(四)&a…...
猫抓Cat-Catch:浏览器资源嗅探扩展的完整技术解析
猫抓Cat-Catch:浏览器资源嗅探扩展的完整技术解析 【免费下载链接】cat-catch 猫抓 浏览器资源嗅探扩展 / cat-catch Browser Resource Sniffing Extension 项目地址: https://gitcode.com/GitHub_Trending/ca/cat-catch 猫抓Cat-Catch是一款革新性的浏览器资…...
Java低代码平台内核开发避坑指南(98%团队踩过的4类元数据一致性雷区)
更多请点击: https://intelliparadigm.com 第一章:Java低代码平台内核开发的核心挑战与元数据治理范式 在 Java 低代码平台构建中,内核并非仅是可视化拖拽逻辑的封装层,而是承载模型驱动、运行时动态编译、多租户隔离与策略化扩…...
Demucs-GUI:AI音乐分离工具的图形界面解决方案
Demucs-GUI:AI音乐分离工具的图形界面解决方案 【免费下载链接】Demucs-Gui A GUI for music separation AI demucs 项目地址: https://gitcode.com/gh_mirrors/de/Demucs-Gui 音乐制作和音频处理领域迎来了一次革命性的变化——AI音乐分离技术让任何人都能轻…...
告别笨重模拟器:3步在Windows上直接安装APK文件的终极方案
告别笨重模拟器:3步在Windows上直接安装APK文件的终极方案 【免费下载链接】APK-Installer An Android Application Installer for Windows 项目地址: https://gitcode.com/GitHub_Trending/ap/APK-Installer 你是否曾因安卓模拟器占用过多内存、启动缓慢而苦…...
位深度(Bit Depth)详解
位深度(Bit Depth)详解 位深度是数字图像和视频中的一个重要概念,它决定了每个像素可以表示的颜色数量和精度。一、基本概念 位深度(Bit Depth),也称为色彩深度或量化精度,是指用于表示每个像素…...
从SSC生成的代码到实际跑通:我的STM32F103 EtherCAT从站移植与调试全记录
从SSC生成代码到实际运行的STM32F103 EtherCAT从站开发实战指南 1. 引言:EtherCAT从站开发的挑战与机遇 在工业自动化领域,EtherCAT凭借其卓越的实时性能和灵活的拓扑结构,已成为主流工业以太网协议之一。对于嵌入式开发者而言,实…...
《AI大模型应用开发实战从入门到精通共60篇》022、微调数据准备:如何构建高质量的指令数据集?
022 微调数据准备:如何构建高质量的指令数据集? 上周帮一个做法律AI的团队排查模型输出问题,发现一个典型现象:模型在“合同条款审查”任务上表现不错,但一旦问“请用一句话总结这份合同的风险点”,输出就变…...
从硬件拓扑到软件调度:深入理解NUMA如何影响你的K8s和Docker容器性能
从硬件拓扑到软件调度:深入理解NUMA如何影响你的K8s和Docker容器性能 在云原生技术栈中,性能调优往往聚焦于CPU配额和内存限制,却忽略了硬件架构对容器表现的深层影响。当我们在Kubernetes集群中部署高吞吐量应用时,经常会遇到一个…...
开源红队平台Viper:一体化、多平台与LLM智能体实战解析
1. 项目概述与核心定位如果你在红队或者渗透测试领域摸爬滚打过几年,大概率会对Cobalt Strike、Brute Ratel这类工具又爱又恨。爱的是它们功能强大,是实战中的“瑞士军刀”;恨的是它们要么价格昂贵,要么生态封闭,要么在…...
Qwen3.5-4B-AWQ应用场景:跨境电商独立站AI客服多语言实时响应
Qwen3.5-4B-AWQ应用场景:跨境电商独立站AI客服多语言实时响应 1. 项目背景与价值 跨境电商独立站面临的最大挑战之一就是多语言客服问题。传统解决方案要么成本高昂(雇佣多语种客服团队),要么响应迟缓(依赖翻译工具&…...
