当前位置: 首页 > news >正文

hadoop的运行模式

作者简介:大家好我是小唐同学(๑>؂<๑),好久不见,为梦想而努力的小唐又回来了,让我们一起加油!!!

个人主页:小唐同学(๑>؂<๑)的博客主页

目前再学习大数据,现在在初级阶段-刚学Hadoop,若有错误,请指正

目录

hadoop的三种运行模式区别:

完全分布式运行模式步骤:

一,虚拟机准备:

二,编写集群分发脚本xsync

        (1)scp定义:

        (2)基础语法:

(1)按照上述语法进行拷贝jdk

(2)按照上述语法拷贝Hadoop(第二种方法)

(3)拷贝也可以让Hadoop103操作  从Hadoop102中拷贝入Hadoop104

 三,rsync远程同步工具

rsync语法:

ssh免密登录:

免密登录原理:

ssh免密登录实操:


hadoop的三种运行模式区别:

完全分布式运行模式步骤:

1.准备三台客户机(关闭防火墙,静态IP,主机名)

2.安装jdk

3.配置环境变量

4.安装Hadoop

5.配置环境变量

6.配置集群

7.单点启动

8.配置ssh

9.群起并测试集群

一,虚拟机准备:

详见上章

二,编写集群分发脚本xsync

        (1)scp定义:

scp可以实现服务器与服务器之间的数据拷贝

        (2)基础语法:

scp      -r        $pdir/$fname                                 $user@$host:$pdir/$fname

命令    递归       要拷贝的文件路径/名称              目的地用户@主机:目的地路径/名称

实例演示(Hadoop100,Hadoop102,Hadoop103,Hadoop104已 经准备完全)

将jdk从Hadoop102上 拷贝到Hadoop103,Hadoop104上

将Hadoop从Hadoop102上拷贝到Hadoop103,Hadoop104上

拷贝有两种方法:

(1)把本服务器文件拷贝入其他服务器

(2)把其他服务器文件拷贝入本服务器

(1)按照上述语法进行拷贝jdk

(这是上述的第一种拷贝)

首次拷贝需要验证

 需要通过Xshell登录到Hadoop103    所以需要输入密码

 拷贝jar包

 进入Hadoop103   可以进入指定目录查看

(2)按照上述语法拷贝Hadoop(第二种方法)

在Hadoop103中操作,从Hadoop102中拷贝Hadoop

scp -r tangxiaocong@hadoop102:/opt/module/hadoop-3.1.3 ./

 这种操作可以让本机路径简化

以上两种操作,就使Hadoop,jdk从Hadoop102拷贝入Hadoop103

(3)拷贝也可以让Hadoop103操作  从Hadoop102中拷贝入Hadoop104

(听上去很无赖,很像小美)

scp -r tangxiaocong@hadoop102:/opt/module/* tangxiaocong@hadoop104:/opt/module/e/* tangxiaocon

在这里需要输入两次密码

 三,rsync远程同步工具

rsync主要用于备份和镜像,具有速度快,避免复制相同内容和支持符号链接的优点

 rsync和scp的区别:

        用rsync做文件的复制要比scp的速度快,rsync只对差异文件进行操作

        scp是把所有文件都进行复制

rsync语法:

 rsync   -av   $pdir/$fname                                 $user@$host:$pdir/$fname

命令    递归       要拷贝的文件路径/名称              目的地用户@主机:目的地路径/名称

xsync集群分发脚本

需求:

        循环复制文件到所有节点的相同目录下

需求分析:

        (a)rsync命令原始拷贝

rsync -av /opt/module tangxiaocong@hadoop103:/opt/

        (b)期望脚本

xsync要同步的文件名称

        (c)期望脚本在任何路径下都能使用(脚本在全局环境变量的路径)

ssh免密登录:

        ssh:是一种网络协议,用于计算机之间的加密登录

免密登录原理:

ssh免密登录实操:

现在是Hadoop102ssh远程登录Hadoop103

现在是有密登录

可以显示,已经在Hadoop102上有密登录

先来到自己家目录下

ls -al是查看所有隐藏文件

执行过ssh命令,所以会在家目录中有ssh的隐藏文件

设置ssh

免密登录

执行命令

  ssh-keygen -t rsa

rsa 是密钥对的一种算法(免密登录是通过密钥队进行联系---私钥和公钥) 

 没有执行命令之前

执行命令时

执行命令后会生成密钥队

 设置免密登录的服务器,需要将公钥进行拷贝(私钥不用拷贝)

ssh-copy-id命令可以把本地的ssh公钥文件安装到远程主机对应的账户下

实现免密登录

Hadoop在Xshell下访问自己也是要输入密码的:

所以还需要在给自己copy一份

可知copy后再ssh就不需要输入密码实现免密登录

当然这是普通用户的登录,如果切换到root用户下需要重新配置

相关文章:

hadoop的运行模式

作者简介&#xff1a;大家好我是小唐同学(๑>؂<๑&#xff09;&#xff0c;好久不见&#xff0c;为梦想而努力的小唐又回来了&#xff0c;让我们一起加油&#xff01;&#xff01;&#xff01; 个人主页&#xff1a;小唐同学(๑>؂<๑&#xff09;的博客主页 目前…...

服务器(centos7.6)已经安装了宝塔面板,想在里面安装一个SVN工具(subversion),应该如何操作呢?

首先&#xff0c;在登录进入宝塔面板&#xff0c;然后点击左侧终端&#xff0c;进入终端界面&#xff0c;如下图&#xff1a;------------------------------------------如果是第一次使用会弹出输入服务器用户名和密码&#xff0c;此时输入root账号和密码&#xff0c;即可进入…...

从智能进化模型看用友BIP的AI平台化能力

随着人工成本的上升&#xff0c;智能和自动化技术的成熟&#xff0c;企业在越来越多的场景开始应用自动化技术来替代相对标准及有规则的工作&#xff0c;同时利用智能算法来优化复杂工作及决策&#xff0c;获得竞争优势。 不同于阅读、聊天、搜索等面向终端用户的应用场景&…...

项目管理的主要内容包括哪些?盘点好用的项目管理系统软件

阅读本文您将了解&#xff1a;1、项目管理的主要内容包括哪些2、好用的项目管理软件 项目管理是为了实施一个特定目标&#xff0c;所实施的一系列针对项目要素的管理过程&#xff0c;包括过程、手段以及技术等。 通过项目管理&#xff0c;我们能够提前安排和控制项目的时间、…...

Allegro如何查看PCB上器件的库路径操作指导

Allegro如何查看PCB上器件的库路径操作指导 在做PCB设计的时候,有时需要检查PCB上器件使用的库的路径是否正确,Allegro支持快速将PCB上所有器件的库路径都列出来 如下图 如何显示这个报表,具体操作如下 点击Tools点击Report...

笔记【尚硅谷】大数据Canal教程丨Alibaba数据实时同步神器

视频教程&#xff1a;【尚硅谷】大数据Canal教程丨Alibaba数据实时同步神器教程资料&#xff1a;https://pan.baidu.com/s/1VhGBcqeywM6jyXJxtytd1w?pwd6666&#xff0c;提取码&#xff1a;6666本套教程以Canal的底层原理展开讲解&#xff0c;细致地介绍了Canal的安装部署及常…...

如何重定向命令行日志信息到指定txt文件?

如果你想把命令行的输出重定向到指定的txt文件&#xff0c;你可以使用一些符号来实现。例如&#xff0c;你可以在命令后面加上>或>>符号&#xff0c;然后指定文件名。例如&#xff1a; command > output.txt 这样就会把command的标准输出保存到output.txt文件中&…...

物理机不能访问虚拟机kali的web服务解决方案记录

目录 环境 问题描述 解决方案 知识补充 效果测试 其他思路 环境 kali&#xff08;nat模式&#xff09;&#xff0c;物理机&#xff0c;可互ping 问题描述 kali的web服务器不能在物理机上访问。 1.本机能ping通虚拟机 2.虚拟机也能ping通本机 3.虚拟机能访问自己的web …...

服务器配置 | 在Windows本地显示远程服务器绘图程序

文章目录方法1&#xff1a;在MobaXterm的终端输入指令方法2&#xff1a;在Pycharm中运行前提概要&#xff0c;需要在本地Windows端显示点云的3d可视化界面 对于点云的3d可视化一般有两种方法&#xff0c;open3d显示或者是mayavi显示。这两个库都可以使用pip install来实现安装…...

高级信息系统项目管理(高项 软考)原创论文——质量管理(2)

<...

从0开始学python -47

Python CGI编程 -2 GET和POST方法 浏览器客户端通过两种方法向服务器传递信息&#xff0c;这两种方法就是 GET 方法和 POST 方法。 使用GET方法传输数据 GET方法发送编码后的用户信息到服务端&#xff0c;数据信息包含在请求页面的URL上&#xff0c;以"?"号分割…...

【数据结构】八大经典排序总结

文章目录一、排序的概念及其运用1.排序的概念2.常见排序的分类3.排序的运用二、常见排序算法的实现1.直接插入排序1.1排序思想1.2代码实现1.3复杂度及稳定性1.4特性总结2.希尔排序2.1排序思想2.3复杂度及稳定性2.4特性总结3.直接选择排序3.1排序思想3.2代码实现3.3复杂度及稳定…...

BI的能力边界:能解决的企业问题和不擅长的领域

数字化转型本就需要借助信息化相关技术、思想来完成&#xff0c;所以说信息化建设同样是数字化转型过程中非常重要的一环&#xff0c;而这就是商业智能BI和数字化转型的关系 BI 能解决的企业问题 数据是企业的重要资产&#xff0c;也是企业商业智能BI的核心要求。通常&#x…...

金三银四面试必备,“全新”突击真题宝典,阿里腾讯字节都稳了

前言招聘旺季就到了&#xff0c;不知道大家是否准备好了&#xff0c;面对金三银四的招聘旺季&#xff0c;如果没有精心准备那笔者认为那是对自己不负责任&#xff1b;就我们Java程序员来说&#xff0c;多数的公司总体上面试都是以自我介绍项目介绍项目细节/难点提问基础知识点考…...

MYSQL 基础篇 | 02-MYSQL基础应用

文章目录1 MySQL概述2 SQL2.1 SQL通用语法2.2 SQL分类2.3 DDL2.3.1 数据库操作2.3.2 表操作2.4 DML2.4.1 添加数据2.4.2 修改数据2.4.3 删除数据2.5 DQL2.5.1 基础查询2.5.2 条件查询2.5.3 聚合查询2.5.4 分组查询2.5.5 排序查询2.5.6 分页查询2.5.7 综合练习2.6 DCL2.6.1 管理…...

CSS实现checkbox选中动画

前言 &#x1f44f;CSS实现checkbox选中动画&#xff0c;速速来Get吧~ &#x1f947;文末分享源代码。记得点赞关注收藏&#xff01; 1.实现效果 2.实现步骤 定义css变量&#xff0c;–checked&#xff0c;表示激活选中色值 :root {--checked: orange; }创建父容器&#xf…...

工业机器人编程调试怎么学

很多人觉得工业机器人很难学学&#xff0c;实际上机器人涉及的知识远比PLC要少。现简单说明一下初学者学习工业机器人编程调试的流程&#xff0c;以AUBO机器人为例&#xff1a; 首先我们需要知道工业机器人的调试学起来不难&#xff0c;远比编程更简单&#xff0c;示教器上的编…...

Java并发包提供了哪些并发工具类?

第19讲 | Java并发包提供了哪些并发工具类&#xff1f; 通过前面的学习&#xff0c;我们一起回顾了线程、锁等各种并发编程的基本元素&#xff0c;也逐步涉及了 Java 并发包中的部分内容&#xff0c;相信经过前面的热身&#xff0c;我们能够更快地理解 Java 并发包。 今天我要…...

systemctl 启动/停止/重新加载 nginx

systemctl 启动/停止/重新加载 nginx 一、新建nginx.service脚本 sudo vim /usr/lib/systemd/system/nginx.service然后按iii进入编辑模式&#xff0c;粘贴如下内容&#xff0c;其中/usr/local/nginx/是进行make && make install之后的文件夹路径&#xff0c;需要根据…...

SSRF学习 3

目录 <1> 什么是SSRF&#xff1f; <2> 通常SSRF会发生在哪些位置&#xff1f; <3> 测试流程 <4> Weblogic-ssrf 复现 (1) 漏洞存在点 (2) 注入HTTP头&#xff0c;利用Redis反弹shell (3) 修复方案 <1> 什么是SSRF&#xff1f; SSRF(Serv…...

Llama-3.2V-11B-cot企业级应用:双卡4090支撑的生产环境视觉推理服务搭建

Llama-3.2V-11B-cot企业级应用&#xff1a;双卡4090支撑的生产环境视觉推理服务搭建 1. 项目概述 Llama-3.2V-11B-cot是基于Meta最新多模态大模型开发的高性能视觉推理工具&#xff0c;专为企业级生产环境设计。该工具针对双卡NVIDIA RTX 4090环境进行了深度优化&#xff0c;…...

中国跨境电商大会代理授权机制与决策影响分析

对于众多寻求通过“中国跨境电商大会”精准撬动海外市场的企业而言&#xff0c;面对琳琅满目的代理商选择&#xff0c;决策过程本身就是一次关于市场洞察、风险评估与资源匹配的深度考验。一个优质的代理商&#xff0c;不仅是展位的“售票员”&#xff0c;更是企业出海战略的“…...

Spring PetClinic实战解析:从单体应用到云原生部署的5大架构亮点

Spring PetClinic实战解析&#xff1a;从单体应用到云原生部署的5大架构亮点 【免费下载链接】spring-petclinic A sample Spring-based application 项目地址: https://gitcode.com/gh_mirrors/sp/spring-petclinic 你是否遇到过这样的困境&#xff1a;在学习Spring框架…...

打造轻量级Windows系统:Tiny11Builder深度应用指南

打造轻量级Windows系统&#xff1a;Tiny11Builder深度应用指南 【免费下载链接】tiny11builder Scripts to build a trimmed-down Windows 11 image. 项目地址: https://gitcode.com/GitHub_Trending/ti/tiny11builder 价值定位&#xff1a;解决三大系统痛点 你的Windo…...

Pixel Fashion Atelier基础教程:硬核8-Bit界面操作逻辑与非对称布局解析

Pixel Fashion Atelier基础教程&#xff1a;硬核8-Bit界面操作逻辑与非对称布局解析 1. 像素时装锻造坊简介 Pixel Fashion Atelier是一款基于Stable Diffusion与Anything-v5的图像生成工具&#xff0c;它彻底改变了传统AI工具的界面设计理念。这款工具将复古日系RPG的"…...

智能提取视频转文档:自动化工具提升内容处理效率

智能提取视频转文档&#xff1a;自动化工具提升内容处理效率 【免费下载链接】extract-video-ppt extract the ppt in the video 项目地址: https://gitcode.com/gh_mirrors/ex/extract-video-ppt 在数字化学习与办公场景中&#xff0c;视频内容提取已成为知识管理的重要…...

AEB紧急制动系统与carsim及simulink联仿技术:卓越效果与性能的完美结合

紧急制动系统AEB&#xff0c;carsim与simulink联仿&#xff0c;效果极好 &#xff0c;踩下刹车的那一刻&#xff0c;方向盘突然传来剧烈震动。盯着屏幕里那辆虚拟的前车尾灯&#xff0c;我手心全是汗——这已经是今天第三次测试紧急制动了。Carsim里那台SUV正以60km/h的速度冲向…...

从理论到实践:在快马平台构建基于openclaw的物流分拣仿真系统

最近在研究物流自动化分拣系统时&#xff0c;发现openclaw机械爪控制在实际应用中存在不少痛点。传统开发流程需要从零搭建仿真环境、编写控制逻辑、调试物理交互&#xff0c;整个过程耗时耗力。于是尝试用InsCode(快马)平台快速构建了一个物流分拣仿真系统&#xff0c;效果出乎…...

Kubernetes 集群管理新选择:Kuboard 图形化界面实战解析

1. 为什么你需要Kuboard这样的Kubernetes图形化管理工具 如果你刚开始接触Kubernetes&#xff0c;可能会被它复杂的命令行操作吓到。记得我第一次使用kubectl时&#xff0c;光是记住各种命令参数就花了两周时间。后来团队规模扩大&#xff0c;管理多个集群时&#xff0c;命令行…...

开源项目 Git 贡献全流程拆解:从入门到精通

好的&#xff0c;这是一篇关于开源项目 Git 贡献全流程拆解的技术文章大纲&#xff1a;开源项目 Git 贡献全流程拆解&#xff1a;从入门到精通引言开源精神与协作的重要性。Git 作为分布式版本控制系统在开源世界的核心地位。明确目标&#xff1a;清晰、完整地拆解向开源项目贡…...