当前位置： 首页 > news >正文

HDFS NFS Gateway(环境配置，超级详细！！)

news 2026/3/27 7:28:52

HDFS NFS Gateway简介:

​ HDFS NFS Gateway是Hadoop Distributed File System（HDFS）中的一个组件，它允许客户端通过NFS（Network File System，网络文件系统）与HDFS进行交互。具体来说，HDFS NFS Gateway允许客户端像访问本地文件系统一样挂载和访问HDFS文件系统，支持上传，下载，删除，追加内容，有点类似于windows的文件共享。下面正文即开始讲解该组件的功能使用，以及配置

正文

以图片的方式描述NFS，让读者能更好的理解！

​ 如下图，将HDFS挂载为windows文件管理器的网络位置

在这里插入图片描述

在这里插入图片描述

hadoop内容

在这里插入图片描述

1，配置NFS

配置HDFS需要配置如下内容

core-site.xml，新增配置项以及hdfs-site.xml,新增配置项

开启protmap，nfs3两个进程

在root1进行如下操作

1.1 在core-site.xml内新增如下两项

在这里插入图片描述

1.2 在hdfs-site.xml中新增如下项

在这里插入图片描述

nfs.suerpser：NFS操作HDFS系统，所使用的超级用户(hdfs的启动用户为超级用户)

nfs.dump.dir：NFS接受数据上传时使用的临时目录

nfs.exports.allowed.hosts：NFS允许连接的客户端IP和权限，rw表示读写，ip整体活部分可以*代替

上面写的192.168.88.1以rw连接（这个是电脑虚拟网卡VMnet8的IP，与虚拟机通讯就走这个网卡）

在这里插入图片描述

2，启用NFS功能

2.1 将配置好的core-site.xml和hdfs-site.xml分发到root2和root3

在这里插入图片描述

2.2 重启Hadoop HDFS集群（先stop-dfs.sh然后start-dfs.sh）

在这里插入图片描述

2.3 停止系统的NFS相关进程

systemctl stop nfs;systemctl disable nfs 关闭系统nfs并关闭其开机自启

在这里插入图片描述

2.4 启动portmap（HDFS自带的rpcbind功能）（必须root执行）：hdfs --daemon start portmap

在这里插入图片描述

2.5 启动nfs（HDFS自带的nfs功能）（必须以hadoop用户执行）：hdfs --daemon start nfs3

在这里插入图片描述

2.6 最后启动HDFS集群

检查NFS是否正常

以下操作在root2或root3执行（因为root1卸载了rpcbind，缺少了必要的2个命令）

执行：rpcinfo -p root1，正常输出如下

在这里插入图片描述

执行showmount -e root1

可以看到 / 192.168.88.1

在这里插入图片描述

这样就是表示正常了

3，在windows挂载HDFS文件系统（windows必须是专业版）

3.1 开启windows的NFS功能

在这里插入图片描述

3.2 在windows挂载HDFS文件系统并访问

在windows命令提示符cmd输入net use X:\192.168.88.101!

在这里插入图片描述

总结

到这里这个HDSF NFS就完全部署完成了，希望该文章能有有效的帮助到大家，如有不懂的，可留言，来帮你解决剩下的疑难问题

相关文章：

HDFS NFS Gateway(环境配置，超级详细！！)

HDFS NFS Gateway简介: ​ HDFS NFS Gateway是Hadoop Distributed File System（HDFS）中的一个组件，它允许客户端通过NFS（Network File System，网络文件系统）与HDFS进行交互。具体来说，HDFS NFS…...

编程日记 2023/12/22 5:04:23

nginx 离线安装 https反向代理

这里写自定义目录标题 安装步骤1.安装nginx所需依赖1.1 安装gcc和gcc-c1.1.1下载依赖包1.1.2 上传依赖包1.1.3安装依赖 1.2 安装pcre1.2.1 下载pcre1.2.2 上传解压安装包1.2.3 编译安装 1.3 下载安装zlib1.3.1 下载zlib1.3.2 上传解压安装包1.3.3 编译安装 1.4 下载安装openssl…...

编程日记 2023/12/22 4:59:19

Linux Centos 配置 Docker 国内镜像加速

在使用 Docker 进行容器化部署时，由于国外的 Docker 镜像源速度较慢，我们可以配置 Docker 使用国内的镜像加速器，以提高下载和部署的效率。本文将介绍如何在 CentOS 系统上配置 Docker 使用国内镜像加速。 步骤一：安装 Docker 首…...

编程日记 2023/12/22 4:58:18

中心下标-----来自力扣

本题使用go语言完成： 思路：1.先求出整个数组的和 2.用一个循环整个和减去左和看是否等于右和，如果等于，返回索引下标 寻找数组的中心索引 给你一个整数数组 nums ，请计算数组的 中心下标 。 数组 中心下标 是数组的一…...

编程日记 2023/12/22 4:55:15

手写单链表（指针）（next域）附图

目录 创建文件： 具体实现： 首先是头插。 注意：一定要注意：再定义tmp时，要给它赋一个初始值（推荐使用 new list_next) 接着是尾插： 随后是中间插： 然后是最简单的改值&#xf…...

编程日记 2023/12/22 4:51:12

关于with torch.no_grad:的一些小问题

with torch.no_grad:是截断梯度记录的，新生成的数据的都不记录梯度，但是今天产生了一点小疑惑，如果存在多层函数嵌入，是不是函数内所有的数据都不记录梯度，验证了一下，确实是的。 import torch x torch.r…...

编程日记 2023/12/22 4:45:06

大创项目推荐 深度学习 机器视觉 人脸识别系统 - opencv python

文章目录 0 前言1 机器学习-人脸识别过程人脸检测人脸对其人脸特征向量化人脸识别 2 深度学习-人脸识别过程人脸检测人脸识别Metric Larning 3 最后 0 前言 🔥 优质竞赛项目系列，今天要分享的是 🚩 深度学习 机器视觉 人脸识别系统 该项目…...

编程日记 2023/12/22 4:44:05

【PostGIS】空间数据库-常用空间函数

记录一些常用的空间函数： 1、转换函数 在几何图形和外部数据格式之间进行转换的函数。 -- 将文本表示转换为几何类型 -- 结果：0101000000000000000000F03F000000000000F03F SELECT st_geomfromtext(point(1 1),0);-- 将几何类型转换为文本表示 -- 结果…...

编程日记 2023/12/22 4:35:57

程序员的50大JVM面试问题及答案

文章目录 1.JDK、JRE、JVM关系？2.启动程序如何查看加载了哪些类，以及加载顺序？3. class字节码文件10个主要组成部分?4.画一下jvm内存结构图？5.程序计数器6.Java虚拟机栈7.本地方法栈8.Java堆9.方法区10.运行时常量池？…...

编程日记 2023/12/22 4:31:54

架构设计系列之前端架构和后端架构的区别和联系

前端架构和后端架构都是软件系统中最关键的架构层，负责处理不同方面的任务和逻辑，两者之间是存在一些区别和联系的，我会从以下几个方面来阐述： 一、定位和职责 前端架构 主要关注用户界面和用户体验，负责处理用户与…...

编程日记 2023/12/22 4:26:50

UE5 水材质注意要点

1、两个法线反向交替流动，可以去观感假的现象 2、水面延边的透明度低 3、增加水面延边的浪花 4、增加折射 折射要整体质量至少在High才有效果 改为半透明材质没有法线信息？ 5、处理反射效果 勾选为true 找到这个放在水域 勾为false，即可有非…...

编程日记 2023/12/22 4:25:49

数据安全扫描仪荣膺网络安全优秀创新成果大赛优胜奖 - 凸显多重优势

近日，由中国网络安全产业联盟（CCIA）主办、CCI数据安全工作委员会中国电子技术标准化研究院等单位承办的“2023年网络安全优秀创新成果大赛”获奖名单公布。天空卫士数据安全扫描仪（DSS）产品获得创新成果大赛优胜奖。 本…...

编程日记 2023/12/22 4:24:48

数据结构学习 leetcode64最小路径和

动态规划 题目： 建议看这里，有这道题详细的解析。我觉得写的挺好。 这是我在学动态规划的时候，动手做的一道题。 虽然我在学动态规划，但是我之前学了dps，所以我就想先用dps试着做，结果发现不行&#xf…...

编程日记 2023/12/22 4:21:46

导出（导入）Linux虚拟机并修改IP地址

一、导出虚拟机 说明：先关闭虚拟机，然后再进行导出。 步骤1：选择要导出的虚拟机 步骤2：选择文件菜单栏下的导出为OVF文件。 步骤3：将导出的文件保存至硬盘文件夹。 二、导入虚拟机 步骤1：选择文件菜单栏…...

编程日记 2023/12/22 4:16:42

OpenCV4工业缺陷检测的六种方法

👨‍🎓博主简介 🏅云计算领域优质创作者   🏅华为云开发者社区专家博主   🏅阿里云开发者社区专家博主 💊交流社区：运维交流社区 欢迎大家的加入！ 🐋 希望大家多多支…...

编程日记 2023/12/22 4:14:41

ICC2：Less than minimum edge length和Concave convex edge enclosure

我正在「拾陆楼」和朋友们讨论有趣的话题，你⼀起来吧？ 拾陆楼知识星球入口 首先，要介绍一下这两种drc Less than minimum edge length对应的tf rule如下: 而Concave convex edge enclosure对应图示和tf 规则如下，可...

编程日记 2023/12/22 4:13:40

RouterSrv-DHCP

2023年全国网络系统管理赛项真题 模块B-Windows解析 题目 安装和配置DHCP relay服务，为办公区域网络提供地址上网。DHCP服务器位于AppSrv服务器上。拆分DHCP服务器上的作用域，拆分的百分比为7:3。InsideCli优先从RouterSrv获取地址。配置步骤 安装和配置DHCP relay服务，为办…...

编程日记 2023/12/22 4:11:38

【人生苦短，我学 Python】（8）文件的读写和过滤器

目录 简述 / 前言1. 文件的操作2. 过滤器2.1 more —— 逐屏显示数据2.2 sort —— 排序2.3 more 和 sort 一起用 文章传送门 简述 / 前言 上一篇我们介绍了 Python 的输入（input）和输出（print），以及如何通过命令行给…...

编程日记 2023/12/22 4:10:38

智能优化算法应用：基于饥饿游戏算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于饥饿游戏算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用：基于饥饿游戏算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.饥饿游戏算法4.实验参数设定5.算法结果6.…...

编程日记 2023/12/22 4:09:37

leetCode算法—10. 正则表达式匹配

10.给你一个字符串 s 和一个字符规律 p，请你来实现一个支持 ‘.’ 和 ‘*’ 的正则表达式匹配。 难度：困难 *** 给你一个字符串 s 和一个字符规律 p，请你来实现一个支持 ‘.’ 和 ‘*’ 的正则表达式匹配。 ‘.’ 匹配任意单个字符 ‘*’ 匹…...

编程日记 2023/12/22 4:07:35

解决Docker容器中英伟达GPU驱动报错：nvidia-container-toolkit安装指南

1. 为什么Docker容器无法识别英伟达GPU？ 最近在帮朋友调试一个深度学习项目时，遇到了一个典型问题：当尝试在Docker容器中运行需要GPU加速的应用时，系统报错提示无法找到NVIDIA驱动。错误信息是这样的： Error response …...

编程新知 2026/3/27 6:39:18

SDMatte惊艳抠图效果展示：10组高难度玻璃/纱布/叶片实测对比图

SDMatte惊艳抠图效果展示：10组高难度玻璃/纱布/叶片实测对比图 1. 开篇：当AI遇见高难度抠图 在图像处理领域，抠图一直是个技术活。特别是遇到玻璃杯、薄纱窗帘、树叶这些半透明或边缘复杂的物体时，传统工具往往力不从心。今天我…...

编程新知 2026/3/27 6:25:12

PyTorch 2.8镜像效果展示：使用OpenCV对VideoLDM输出做运动模糊增强处理

PyTorch 2.8镜像效果展示：使用OpenCV对VideoLDM输出做运动模糊增强处理 1. 效果展示概览 在视频生成领域，运动模糊效果是提升视频真实感的关键因素之一。本文将展示如何利用PyTorch 2.8镜像环境，结合OpenCV对VideoLDM生成的原始视频进行运动…...

编程新知 2026/3/27 5:32:48

AnythingtoRealCharacters2511应用案例：为小说角色生成真人参考形象

AnythingtoRealCharacters2511应用案例：为小说角色生成真人参考形象 1. 引言：从动漫到真人的魔法转换 想象一下，当你阅读一本精彩的小说时，脑海中浮现的角色形象突然变得栩栩如生。这正是AnythingtoRealCharacters2511能够实现的…...

编程新知 2026/3/27 5:20:45

三菱PLC与MCGS组态农田智能灌溉系统：后发送产品包括梯形图原理图、IO分配及组态画面解析

基于三菱PLC和MCGS组态农田智能灌溉系统 我们主要的后发送的产品有，带解释的梯形图接线图原理图图纸，io分配，组态画面上周刚把农田智能灌溉的项目收尾，把资料打包发给客户的时候，终于能瘫在椅子上喝杯冰可乐了。这个…...

编程新知 2026/3/27 3:43:28

C#实战：基于WebAPI与Modbus构建EMS核心采集服务

1. 为什么需要EMS核心采集服务？ 在工业现场，我们经常会遇到几十台甚至上百台智能电表、传感器等设备需要监控。这些设备可能来自不同厂家，使用不同的通信协议，数据格式也各不相同。想象一下，如果每个设备都需要单独开发…...

编程新知 2026/3/27 3:37:18

企业级vGPU选型指南：从GRID vApps到vCS，4种NVIDIA虚拟GPU场景化对比

企业级虚拟GPU技术选型全景指南：四大应用场景深度解析 在数字化转型浪潮中，图形处理单元(GPU)的虚拟化技术正成为企业IT架构的关键支柱。无论是设计团队的3D建模、数据分析师的机器学习任务，还是全公司范围的虚拟桌面部署，虚拟GPU…...

编程新知 2026/3/27 3:19:05

基于PSO算法的海陆空多栖无人机路径规划探索

PSO算法，空中机器人路径规划，无人机路径规划 海陆空多栖环境路径规划，考虑海洋和大气中的能源消耗不同，还原环境特性，粒子群PSO算法在如今科技飞速发展的时代，无人机的应用场景越发广泛，从简单的…...

编程新知 2026/3/27 2:42:46

OpenClaw+GLM-4.7-Flash：自动化电子书生成与排版工具

OpenClawGLM-4.7-Flash：自动化电子书生成与排版工具 1. 为什么需要自动化电子书制作 作为一个经常需要整理技术文档的开发者，我过去制作电子书的流程堪称"手工活地狱"：先在多个网页间复制粘贴内容，用Word调整格式&…...

编程新知 2026/3/27 2:02:40

Meshery 1.0正式发布，为云原生基础设施提供新的管控层

跨多云环境管理Kubernetes基础设施长期以来产生了YAML文件泛滥、配置漂移以及依赖个人而非系统的知识问题。生成基础设施配置的AI工具速度超过了团队审查能力，使这个问题更加难以控制。开源Meshery技术正是为了解决这一问题而构建的。Meshery v1.0现已发布&#xff…...

编程新知 2026/3/27 1:40:29