当前位置： 首页 > news >正文

Hadoop Hdfs基本命令

news 2026/5/15 22:15:21

0目录

1.hadoop安装问题处理

2.hdfs基本命令

3.上传/下载文件和文件夹

1.hadoop安装问题处理

如果安装有进程无法启动，如下图

重新检查6个配置文件

Core-site.xml \ hdfs-site.xml \ hadoop-env.sh \ yarn-site.xml \ workers \ yarn-site.xml

来到hadoop313目录

清空data和yarndata

重新初始化

测试

2.hadoop hdfs基本命令

Windows目录添加端口号

测试

分布式启动命令

关闭

启动dfs.sh

关闭dfs.sh

启动yarn

对应

dfs.sh   对应    DataNode / NameNode / SecondaryNameNode

yarn.sh  对应    ResourceManager / NodeManager

启动单一进程

来到sbin目录下 启动hdfs

启动yarn

3.上传/下载文件夹和文档

目前没有文件和文档

Opt 目录下创建kb23tmp文件夹，kb23tmp创建hellohadoop.txt

编辑hellohadoop.txt

上传

上传成功

上传文件 来到install目录下

hdfs 创建 install文件

上传

[root@kb130 install]# hdfs dfs -put ./hadoop313.gz /install

上传成功

3个节点

删除文档

删除文件夹

下载 将hellohadoop.txt 下载到当前（kb23tmp目录下）

补充常见端口号

  • 常用端口号
    hadoop3.x
    HDFS NameNode 内部通常端口: 8020/9000/9820
    HDFS NameNode 对用户的查询端口:9870
    Yarn查看任务运行情况的:8088
    历史服务器:19888
    hadoop2.x
    HDFS NameNode内部通常端口:8020/9000
    HDFS NameNode 对用户的查询端口: 50070
    Yarn查看任务运行情况的:8088
    历史服务器:19888
    二、常用的配置文件
    3.x 
    core-site. xml hdfs-site. xml yarn-site. xml mapred-site.xml workers
    2.x 
    core-site. xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves

Yarn

开启历史服务器

相关文章：

Hadoop Hdfs基本命令

0目录 1.hadoop安装问题处理 2.hdfs基本命令 3.上传/下载文件和文件夹 1.hadoop安装问题处理 如果安装有进程无法启动，如下图 重新检查6个配置文件 Core-site.xml \ hdfs-site.xml \ hadoop-env.sh \ yarn-site.xml \ workers \ yarn-site.xml 来到hadoop313目录…...

编程日记 2023/8/29 20:42:40

Spring Boot 整合MyBatis（超详细）

😀前言 本篇博文关于Spring Boot 整合MyBatis，希望你能够喜欢 🏠个人主页：晨犀主页 🧑个人简介：大家好，我是晨犀，希望我的文章可以帮助到大家，您的满意是我的动力&#x…...

编程日记 2023/8/29 20:41:38

【管理运筹学】第 6 章 | 运输问题（4，表上作业法 |闭回路调整法以及特殊情况 | 产销不平衡的运输问题）

文章目录 引言二、表上作业法2.3 改进的方法 —— 闭回路调整法2.4 表上作业法中的特殊情况（一）无穷多最优解（二）退化 三、产销不平衡的运输问题3.1 产量大于销量3.2 销量大于产量 写在最后 引言 接下来我们学习表上作业法的最后…...

编程日记 2023/8/29 20:40:36

Greenplum实用技巧

一、通过gp_segment_id查看数据倾斜 gp_segment_id是表中的隐藏列，用来标记该行属于哪个segment节点。因此可以基于该隐藏列进行分组查询，获取每个segment的记录数，从而判断表数据的分布是否均匀或有倾斜。 qb#select gp_segment_id, count…...

编程日记 2023/8/29 20:39:35

以物联网为核心的智慧工地云平台：聚集智能技术，实现建筑工地智慧管理

智慧工地云平台源码，智慧工地项目监管平台源码，智慧工地可视化数据大屏源码 智慧工地云平台是将云计算、大数据、物联网、移动技术和智能设备等信息化技术手段，聚集在建筑工地施工管理现场，围绕人员、机械、物料、环境等关键要素&…...

编程日记 2023/8/29 20:38:34

Java项目-苍穹外卖-Day05-Redis技术应用

1.店铺营业状态设置 需求分析和设计 左上角要求是有回显的 所以至少两个接口 1.查询营业状态接口（分为了管理端和用户端） 2.修改营业状态接口 因为管理端和用户端路径不同，所以现在是至少三个接口的 可以发现如果存到表里除了id只有一个…...

编程日记 2023/8/29 20:37:32

linux安装jmeter

linux安装jmeter 部署java1.8 下载jmeter安装包：官网、网盘5.6.2版本 # 解压 rootiZbp1at7nu2rpq4xn4zaf1Z:/opt/jmeter# sudo tar -xzf apache-jmeter-5.6.2.tgz # 加入环境变量 rootiZbp1at7nu2rpq4xn4zaf1Z:/opt/jmeter/apache-jmeter-5.6.2# export JMETER/op…...

编程日记 2023/8/29 20:36:31

【笔记】泛型以及如何绕过泛型定义

泛型定义以及其带来的好处 泛型使类型（类和接口）能够在定义类、接口和方法时成为参数。与方法声明中使用的更熟悉的形式参数非常相似，类型参数为您提供了一种通过不同输入重复使用相同代码的方法。区别在于形式参数的输入是值，而…...

编程日记 2023/8/29 20:35:30

JAVA JNA 调用C接口的三种方式

文章目录 1. 准备一个共享库文件2. JNA姿势1—继承Library接口3. JNA姿势2—直接NativeLibrary.getInstance3. JNA姿势3—Native方法 1. 准备一个共享库文件 test.c #include <stdio.h> int test(char *input){printf("input:%s\n",input);return 0; }libtes…...

编程日记 2023/8/29 20:34:27

StarRocks入门到熟悉

1、部署 1.1、注意事项 需要根据业务需求设计严谨的集群架构&#xff0c;一般来说&#xff0c;需要注意以下几项&#xff1a; 1.1.1、FE数量及高可用 FE的Follower要求为奇数个&#xff0c;且并不建议部署太多&#xff0c;通常我们推荐部署1个或3个Follower。在三个Followe…...

编程日记 2023/8/29 20:33:26

华为AR路由器 典型配置案例——以太网交换

目录 Eth-Trunk 例&#xff1a;配置三层链路聚合 组网需求 操作步骤 检查配置结果 配置脚本 VLAN 举例&#xff1a;配置基于接口划分VLAN&#xff0c;实现同一VLAN内的互通&#xff08;同设备&#xff09; 组网需求 操作步骤 检查配置结果 配置脚本 举例&#xff…...

编程日记 2023/8/29 20:32:25

DP读书：鲲鹏处理器 架构与编程（十三）操作系统内核与云基础软件

操作系统内核与云基础软件 鲲鹏软件构成硬件特定软件 鲲鹏软件构成硬件特定软件1. Boot Loader2. SBSA 与 SBBR3. UEFI4. ACPI 操作系统内核Linux系统调用Linux进程调度Linux内存管理Linux虚拟文件系统Linux网络子系统Linux进程间通信Linux可加载内核模块Linux设备驱动程序Linu…...

编程日记 2023/8/29 20:31:22

Vue2项目练手——通用后台管理项目第一节

Vue2项目练手——通用后台管理项目 知识补充yarn和npm区别npm的缺点&#xff1a;yarn的优点 npm查看镜像和设置镜像 项目介绍项目的技术栈 项目搭建文件目录 创建路由&#xff0c;引入element-uirouter/index.jsmain.jspages/Users.vuepages/Main.vuepages/Home.vuepages/Login…...

编程日记 2023/8/29 20:30:21

「Vue｜网页开发｜前端开发」02 从单页面到多页面网站：使用路由实现网站多个页面的展示和跳转

本文主要介绍如何使用路由控制来实现将一个单页面网站扩展成多页面网站&#xff0c;包括页面扩展的逻辑&#xff0c;vue的官方路由vue-router的基本用法以及扩展用法 文章目录 本系列前文传送门一、场景说明二、基本的页面扩展页面扩展是在扩什么创建新页面的代码&#xff0c;…...

编程日记 2023/8/29 20:29:20

【Nginx20】Nginx学习：FastCGI模块（二）缓存配置

Nginx学习&#xff1a;FastCGI模块&#xff08;二&#xff09;缓存配置 通过上篇文章的学习&#xff0c;普通的 PHP 与 Nginx 的连接就已经没啥大问题了。一般的网站直接那套配置就够了&#xff0c;这也是 Nginx 非常友好的一面。很多在默认的配置文件中注释掉的内容&#xff0…...

编程日记 2023/8/29 20:28:19

苹果支付外包开发流程

苹果支付的实现流程主要涉及集成苹果的支付系统——Apple Pay&#xff0c;以及在你的应用中处理支付交易。以下是一个简要的实现流程概述&#xff0c;希望对大家有所帮助。北京木奇移动技术有限公司&#xff0c;专业的软件外包开发公司&#xff0c;欢迎交流合作。 1.开发者账号…...

编程日记 2023/8/29 20:27:16

银河麒麟V10（Tercel）服务器版安装 Docker

一、服务器环境 ## 查看系统版本&#xff0c;确认版本 cat /etc/kylin-release Kylin Linux Advanced Server release V10 (Tercel)## 操作系统 uname -p aarch64## 内核版本&#xff08;≥ 3.10&#xff09; uname -r 4.19.90-21.2.ky10.aarch64## iptables 版本&#xff08;…...

编程日记 2023/8/29 20:26:14

web、HTTP协议

目录 一、Web基础 1.1 HTML概述 1.1.1 HTML的文件结构 1.2 HTML中的部分基本标签 1.3 URI 和 URL 二.HTTP协议 2.1.HTTP概念 2.2.HTTP协议版本 2.3.HTTP请求方法 2.4.HTTP请求访问的完整过程 2.5.HTTP状态码 2.6.HTTP请求报文和响应报文 2.7.HTTP连接优化 三.HTT…...

编程日记 2023/8/29 20:25:13

达梦SQL书写注意事项

模糊查询 模糊查询like后面的字段要求用单引号引用&#xff0c;不能使用双引号 select * from user where name like %小组 分组查询 select查询的列字段必须在分组中的字段存在 正确&#xff1a; select name,age from user group by name,age 错误&#xff1a; select * f…...

编程日记 2023/8/29 20:24:12

博途1200脉冲输出控制速度轴(轴工艺对象基本配置)

这里的1200脉冲轴，主要用来完成线缆包材绕包时的重叠率控制。关于重叠率的具体概念，这里不再阐述，大家可以看下面的文章链接， 重叠率控制 重叠率控制(算法详细介绍含SCL和梯形图源代码)_RXXW_Dor的博客-CSDN博客产品包装和线缆保护材料的包覆都需要进行材料包装重叠率的控…...

编程日记 2023/8/29 20:23:11

对比直接使用官方API体验Taotoken在稳定性与成本上的差异

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 对比直接使用官方API体验Taotoken在稳定性与成本上的差异 在将大模型能力集成到个人项目或小团队工作流中时&#xff0c;开发者通常…...

编程新知 2026/5/15 21:49:59

架构设计经验分享：从方法论到落地的完整实践

写在前面 “架构"是技术圈里被滥用最严重的词之一。很多人一说架构就开始画框图、讲中间件、列技术栈&#xff0c;但问一句"你这个架构解决了什么问题”&#xff0c;答不上来。 我做架构这些年&#xff0c;最深的体会是&#xff1a;架构不是技术选型的堆砌&#xff0…...

编程新知 2026/5/15 21:35:44

Excel公式生成黑科技落地实录（ChatGPT+Power Query+LAMBDA三引擎联动）

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;Excel公式生成黑科技落地实录&#xff08;ChatGPTPower QueryLAMBDA三引擎联动&#xff09; 场景驱动的智能公式生成闭环 当财务团队需在5分钟内为127张销售报表动态生成「跨表多条件加权滚动同比」公…...

编程新知 2026/5/15 21:27:20

Saga状态机设计失效导致订单丢失？DeepSeek内部SRE团队紧急修复的7个隐性陷阱，你中了几个？

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;Saga状态机设计失效导致订单丢失&#xff1f;DeepSeek内部SRE团队紧急修复的7个隐性陷阱&#xff0c;你中了几个&#xff1f; Saga 模式在分布式事务中被广泛采用&#xff0c;但 DeepSeek SRE 团队在一…...

编程新知 2026/5/15 18:47:55

Wwise音频文件处理终极指南：3步完成游戏音效解包与替换

Wwise音频文件处理终极指南&#xff1a;3步完成游戏音效解包与替换 【免费下载链接】wwiseutil Tools for unpacking and modifying Wwise SoundBank and File Package files. 项目地址: https://gitcode.com/gh_mirrors/ww/wwiseutil 还在为游戏音频文件无法编辑而烦恼…...

编程新知 2026/5/15 18:34:03

【NotebookLM考古学研究辅助实战指南】：20年文博技术专家亲授3大冷启动技巧，让田野笔记秒变学术论文

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;NotebookLM考古学研究辅助的范式革命 NotebookLM 作为 Google 推出的基于文档理解的 AI 助手&#xff0c;正悄然重塑考古学研究的信息处理范式。传统考古工作依赖大量手写笔记、田野报告、碳十四测年数…...

编程新知 2026/5/15 18:04:39

别再“另存为”了！职场人90%的无效内耗都源于这一个操作。企业文档如何管理?

加班到晚上八点&#xff0c;职场人小林终于改完了项目方案&#xff0c;随手点了“另存为”&#xff0c;命名为“方案_最终版.doc“后发到了工作群。本以为可以安心下班&#xff0c;群里却炸锅了&#xff1a;“小林&#xff0c;你这个最终版和我手里的不一样啊&#xff1f;”“我…...

编程新知 2026/5/15 17:53:46

Linux内核镜像构建与管理：从源码到部署的工程化实践

1. 项目概述&#xff1a;从“kernel-images”看内核镜像的构建与管理在Linux系统开发、嵌入式设备定制或者云原生基础设施的维护中&#xff0c;我们经常会遇到一个看似简单却至关重要的环节&#xff1a;内核镜像的构建与管理。无论是为了修复一个安全漏洞、启用一个新的硬件驱动…...

编程新知 2026/5/15 17:28:32

深度解析RPG资源解密：Java-RPG-Maker-MV-Decrypter的3大核心技术揭秘

深度解析RPG资源解密&#xff1a;Java-RPG-Maker-MV-Decrypter的3大核心技术揭秘 【免费下载链接】Java-RPG-Maker-MV-Decrypter You can decrypt whole RPG-Maker MV Directories with this Program, it also has a GUI. 项目地址: https://gitcode.com/gh_mirrors/ja/Java-…...

编程新知 2026/5/15 17:12:17

如何使用Redis优化Trigger.dev任务队列：提升AI工作流性能的完整指南

如何使用Redis优化Trigger.dev任务队列&#xff1a;提升AI工作流性能的完整指南 【免费下载链接】trigger.dev Trigger.dev – build and deploy fully‑managed AI agents and workflows 项目地址: https://gitcode.com/gh_mirrors/tr/trigger.dev Trigger.dev是一个强…...

编程新知 2026/5/15 17:08:15