【大数据技术基础 | 实验一】配置SSH免密登录
文章目录
- 一、实验目的
- 二、实验要求
- 三、实验原理
- (一)大数据实验一体机
- (二)SSH免密认证
- 四、实验环境
- 五、实验内容和步骤
- (一)搭建集群服务器
- (二)添加域名映射
- (三)配置SSH免密登录
- 六、实验结果
- 七、实验心得
一、实验目的
- 熟悉大数据实验一体机并了解如何搭建集群;
- 熟悉Linux基本命令;
- 掌握vi编辑器的使用;
- 了解SSH免密登录的原理以及为何需要配置SSH免密登录;
- 掌握如何配置SSH免密登录。
二、实验要求
- 连接OpenVPN,能够通过Xshell成功SSH登录至分配到的3台服务器上
- 完成master到master、slave1-2的免密登录
- 完成slave1到master、slave2的免密登录
- 完成slave2到master、slave1的免密登录
三、实验原理
(一)大数据实验一体机
随着移动互联网、云计算、物联网的快速发展,特别是智能手机端博客、社交网络、位置服务(LBS)等信息发布方式的不断涌现,数据正以较快的速度在不断地增长和累积,大数据时代已经来到。在海量数据面前,大数据人才无疑是其中关键环节之一,然而,不论国内外,大数据人才却紧缺相当稀缺,比如,当前我国数据人才缺口高达150万,而在未来5-10年,随着市场规模不断增加,这一缺口还将不断增加。
然而,在创新探索大数据教学面前,高校却碰到了一系列困难,如大部分高校大数据课程体系并不完善,在实验环节,由于缺乏实验设备,大数据实训案例匮乏、实验难开展。针对大数据专业建设的三大难题,云创大数据为各大高校量身定制了大数据软硬件一体化的教学科研平台——大数据实验一体机。大数据实验一体机通过应用容器技术,以少量机器虚拟大量实验集群,可供大量学生同时拥有多套集群进行试验,而每个学生的实验环境不仅相互隔离,方便高效地完成实验,而且实验彼此不干扰,即使某个实验环境被破坏,对其他人也没有影响,一键重启就可以拥有一套新集群,大幅度节省了硬件和人员管理的投入成本。
此外,作为一个可供大量学生完成大数据与云计算实验的集成环境,该平台同步提供了配套的培训服务,对于教学组件的安装、配置,教材、实验手册等具体应用提供一站式服务,有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求,并在一定程度上缓解大数据师资不足的问题。对于各大高校而言,即使没有任何大数据实验基础,该平台也能助其轻松开展大数据与云计算的教学、实验与科研。具体而言,大数据实验一体机从以下三个方面解决了高校大数据的教学科研难题:
(1)完整的大数据课程体系及配套资源,一步解决入门难内容充实的课程体系
在《实战Hadoop2.0——从云计算到大数据》和实验手册的指导之下,大数据实验一体机解决方案涵盖大数据算法、接口、工具、平台等多方面内容,从大数据监测与收集、大数据存储与处理、大数据分析与挖掘直至大数据创新,帮助高校构建完善的大数据课程体系。综合36个大数据实验的实验手册及配套高清视频课程,涵盖原理验证、综合应用、自主设计及创新的多层次实验内容。每个实验呈现详细的实验目的、实验内容、实验原理和实验流程指导。配套相应的实验数据和高清视频课程,参照手册即可轻松完成每个实验。国内专业领域数一数二的网站——中国大数据、中国云计算、中国存储等提供全线支持,一网打尽各类优质资源。
(2)安全可靠的实验环境,大幅度提升大数据技能
基于Docker容器技术,大数据实验一体机可瞬间创建随时运行的实验环境。使用几台机器即可虚拟出大量实验集群,方便上百学生同时使用。采用Kubernetes+ZooKeeper架构管理集群,实验集群完全隔离。实验环境互不干扰,如果实验环境破坏,一键重启即可建立新集群。内置数据挖掘等教学实验数据,可导入高校各学科数据进行教学、科研,校外培训机构同样适用。
(3)热门实战项目贯穿始终,进一步提高教学效果与就业率
大数据实验一体机解决方案采用理论与实践相结合的人才培养模式,帮助教师提高教学水平,促使学生完善大数据知识体系。基于真实的企业基地实训经验,提供丰富的项目实训案例。结合高校各专业实际情况进行行业数据研究,培养实用型人才的专业项目能力。
(4)更多潜在效益,同步增强高校的硬实力和影响力
大数据上升为国家战略,发改委明确组建13个大数据实验室,大数据实验一体机有助于高校大数据实验室建设以及高层次大数据人才的深度培育。大数据实验一体机解决方案将理论与实践双管齐下,帮助提升了高校信息化管理水平和实验项目研究水平。大数据产业迎来发展黄金期,以大数据实验一体机提高大数据专业就业率,可进一步增强高校的硬实力和影响力。
在2016年暑期全国高校大数据培训中,云创大数据利用大数据实验一体机搭建了Docker容器云,为每个学员分配5套虚拟服务器集群,为其提供了简洁易用的上机操作环境,得到了学员的一致好评。在理论讲解的基础上,讲师通过这一实践平台,为学员提供每一步的操作指导,真正做到了学思结合、知行统一,所有学员的大数据应用能力均得以提升,并获得了相应的大数据能力等级证书。大数据实验一体机基本操作主要包括账号管理、集群管理、集群登录和辅助功能四大部分,其中账号管理完成新建和销毁用户账号,集群管理完成新建和销毁集群,集群登录指的是通过SSH登录到集群各机器,辅助功能模板提供了部分软件下载等实用小功能。
输入本校大数据实验一体机网址后,请输入相应账号与密码,点击登录即可。如图所示。
相关下载:大数据实验一体机的相关下载界面提供了实验所需的软件及插件的下载,为避免软件版本不同导致实验环境配置错误,请尽量下载和使用此处指定的软件版本与插件。
(二)SSH免密认证
实验中,我们需要从实验室机器登录到集群中的Linux服务器上,而绝大多数Linux服务器采用的是SSH(Secure Shell)登录方式,因此,我们需要在实验室机器上安装一个SSH登录工具。常用的SSH工具包括XShell、Secure CRT、putty等,大数据实验一体机的相关下载界面中提供了XShell工具的下载。
Hadoop的基础是分布式文件系统HDFS,HDFS集群有两类节点以管理者-工作者的模式运行,即一个namenode(管理者)和多个datanode(工作者)。在Hadoop启动以后,namenode通过SSH来启动和停止各个节点上的各种守护进程,这就需要在这些节点之间执行指令时采用无需输入密码的认证方式,因此,我们需要将SSH配置成使用无需输入root密码的密钥文件认证方式。如图所示。
四、实验环境
云创大数据实验平台
五、实验内容和步骤
(一)搭建集群服务器
使用自己的账号密码登录大数据实验一体机,进入实验界面。点击启动,等待集群建立完成。
(二)添加域名映射
系统搭建好的集群服务器已经完成修改主机名、关闭防火墙、安装JDK、同步时钟四步操作,为了可以安装大数据组件,还需为所有机器添加域名映射。
使用SSH工具登录到master服务器,使用vi
命令编辑/etc/hosts
文件:
vi /etc/hosts
在文件的末尾追加写入如下三行(具体的IP地址请替换为实际集群服务器内部IP)。编辑完成之后按ESC键退出编辑,然后输入命令:wq
保存并退出即可,master服务器的域名映射即添加完成,使用cat
命令查看/etc/hosts
文件。
然后依次登录slave1~2服务器,重复该操作。
(三)配置SSH免密登录
1. 生成master服务器密钥
执行命令ssh-keygen
,生成master服务器密钥。
ssh-keygen
2. 手工确认是否已生成公私钥
ls -all .ssh/
通过命令ls -all .ssh
查看到,SSH密钥文件夹.ssh
目录下的确生成了两个文件id_rsa
和id_rsa_pub
,这两个文件都有用,其中公钥用于加密,私钥用于解密。中间的rsa
表示算法为RSA算法。
3. 拷贝master服务器公钥至master、slave1~2
执行命令ssh-copy-id
,将master服务器公钥拷贝至master、slave1~2。第一次连接slave1~2时,需要输入yes来确认建立授权的主机名访问,并需要输入root用户密码来完成公钥文件传输。
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
这里的slave1~2也可以用对应的IP地址替代。前提是已经做好了域名映射。
然后依次登录slave1~2服务器,重复该操作。
4. 验证master服务器SSH免密登录master、slave1~2
ssh master
ssh slave1
ssh slave2
然后退出的话直接使用命令exit
即可退出。
然后依次登录slave1~2服务器,重复该操作。按照同样的方式配置SSH免密登录,完成后验证是否可以互相之间实现SSH免密登录。
六、实验结果
验证slave1服务器SSH免密登录master、slave1~2:
验证slave2服务器SSH免密登录master、slave1~2:
七、实验心得
通过配置SSH免密登录,避免了每次登录时输入密码的繁琐过程,同时也减少了密码泄露的风险。公钥和私钥的加密方式保证了数据传输的安全性。免密登录极大地方便了日常运维工作,提高了工作效率。特别是在需要频繁登录远程服务器的情况下,免密登录显得尤为重要。在配置过程中,需要注意文件权限的设置。如果遇到无法免密登录的问题,可以检查SSH日志以获取更多信息。
通过实验,加深了对SSH协议和公钥认证机制的理解。掌握了配置SSH免密登录的具体步骤和注意事项。提高了实际操作能力和解决问题的能力。在未来的工作中,可以更加自信地应用SSH免密登录技术,提高运维效率。也可以将这项技术应用到其他需要安全、便捷登录的场景中,如自动化脚本执行、远程备份等。
综上所述,配置SSH免密登录是一项非常有用的技能,它不仅提高了工作效率,还增强了系统的安全性。通过本次实验,我深刻体会到了这项技术的重要性和实用性。
相关文章:

【大数据技术基础 | 实验一】配置SSH免密登录
文章目录 一、实验目的二、实验要求三、实验原理(一)大数据实验一体机(二)SSH免密认证 四、实验环境五、实验内容和步骤(一)搭建集群服务器(二)添加域名映射(三ÿ…...

地级市碳排放效率测算2006-2021年
为了测算碳排放效率,研究者们采用了多种方法,其中超效率SBM(Slack-Based Measure)和超效率CCR(Charnes, Cooper and Rhodes)模型是常用的两种方法。这些模型可以有效地评估决策单元的相对有效性,…...

周易解读:四象
四 象 在前面呢,我是讲完了太极与两仪的知识。这一节,我们来讲解四象的内容。 关于四象的知识,它在正式的周易的经文里面,它并没有多少用处。但是呢,在基础知识的学习里面,四象的知识,大家是…...

Java设计模式梳理:行为型模式(策略,观察者等)
行为型模式 行为型模式关注的是各个类之间的相互作用,将职责划分清楚,使得我们的代码更加地清晰。 策略模式 策略模式太常用了,所以把它放到最前面进行介绍。它比较简单,我就不废话,直接用代码说事吧。 下面设计的…...
【MySQL】入门篇—基本数据类型:使用LIMIT限制结果集
为了提高查询效率和用户体验,MySQL提供了LIMIT子句,用于限制查询结果的行数。LIMIT不仅可以提高性能,还可以帮助用户快速获取所需的数据,尤其在分页显示数据时非常有用。 应用场景: 分页显示:在网页应用中…...
PostgreSQL与MySQL在语法上的区别
PostgreSQL与MySQL在语法上的区别 在数据库管理系统中,PostgreSQL和MySQL都是非常受欢迎的选择。虽然它们都是一种关系型数据库管理系统(RDBMS),但它们在语法上有一些显著的区别。本文将介绍PostgreSQL和MySQL在语法上的主要区别。 数据类型 PostgreS…...

frameworks 之InputDispatcher
frameworks 之InputDispatcher 1. 填充Iq2.进入循环3.进入oq4. 发布消息,并将数据放进去wq5. 接收消息6. 移除wq android 输入事件 主要分 2个流程 事件读取 和 事件分发。本文讲解事件分发流程。 涉及到的类如下 -frameworks/native/services/inputflinger/Input…...

ESP32-IDF GPIO 专题
目录 一、基本介绍1、配置结构体2、API2.1 gpio_config2.2 gpio_reset_pin2.3 gpio_set_intr_type2.4 gpio_intr_enable2.5 gpio_intr_disable2.6 gpio_set_level2.7 gpio_get_level2.8 gpio_set_direction2.9 gpio_set_pull_mode2.10 gpio_isr_register2.11 gpio_install_isr_…...
深度学习代码学习笔记2
1、torch.max correct 0 total 0 for xb,yb in valid_dl:outputs model(xb)_,predicted torch.max(outputs.data,1)total yb.size(0) #yb.size(0) 返回的是张量 yb 在第 0 维的大小,也就是 yb 中的样本数量。correct (predicted yb).sum().item() print(…...

016集——c# 实现CAD类库 与窗体的交互(CAD—C#二次开发入门)
第一步:搭建CAD类库dll开发环境。 第二步:添加窗体 第三步:添加控件 第四步:双击控件,在控件点击方法内输入代码 第五步:在主程序内实例化新建的form类,并弹窗form窗体 第六步:CAD命…...

【亲测可行】最新ubuntu搭建rknn-toolkit2
文章目录 🌕结构图(ONNX->RKNN)🌕下载rknn-toolkit2🌕搭建环境🌙配置镜像源🌙conda搭建python3.8版本的虚拟环境🌙进入packages目录安装依赖库🌕测试安装是否成功🌕其它🌙rknn-toolkit2🌙rknn_model_zoo🌙关于部署的博客发布本文的时间为2024.10.13…...

pico+Unity交互开发——触碰抓取
一、VR交互的类型 Hover(悬停) 定义:发起交互的对象停留在可交互对象的交互区域。例如,当手触摸到物品表面(可交互区域)时,视为触发了Hover。 Grab(抓取) 概念ÿ…...

16年408计算机网络
第一题: 解析: 首先我们要清楚R1,R2,R3是路由器(网络层),Switch是以太网交换机(数据链路层),Hub是集线器(物理层)。 由此可见路由器实现的最高功能层是3层&am…...

PDF 转 CAD 工具:实现文档格式高效转换的利器
如果你从事设计相关PDF和CAD作为两种常见且重要的文件格式,在不同的领域都有着广泛的应用。今天,我们就来介绍几个各具特色的PDF转换成CAD工具。 1.福昕PDF转换大师 链接一下>>https://www.pdf365.cn/pdf2word/ 该工具在跨领域应用中表现出明确…...
基于springboot的画师约稿系统的设计与实现
文章目录 项目介绍主要功能截图:部分代码展示设计总结项目获取方式🍅 作者主页:超级无敌暴龙战士塔塔开 🍅 简介:Java领域优质创作者🏆、 简历模板、学习资料、面试题库【关注我,都给你】 🍅文末获取源码联系🍅 项目介绍 基于springboot的画师约稿系统的设计与实…...
使用Python生成SVG图片
SVG(可缩放矢量图形)是一种基于XML的图像格式,它可以无损缩放且文件大小较小。在本文中,我们将探讨如何使用Python生成SVG图片。 为什么选择SVG? 可缩放:SVG图像可以无限放大而不失真。文件小:SVG文件通常比位图文件小。可编辑:SVG文件可以通过文本编辑器修改。 使用Python…...

hackmyvm-Hundred靶机
主机发现 sudo arp-scan -l 以sudo权限执行arp-scan -l 扫描并列出本地存在的机器,发现靶机ip为192.168.91.153 nmap扫描 端口发现 21/tcp open ftp 22/tcp open ssh 80/tcp open http web信息收集 我们先尝试一下ftp端口的匿名登录 FTP:是文件传输协议的端…...

多场景多任务建模(三): M2M(Multi-Scenario Multi-Task Meta Learning)
多场景建模: STAR(Star Topology Adaptive Recommender) 多场景建模(二): SAR-Net(Scenario-Aware Ranking Network) 前面两篇文章,讲述了关于多场景的建模方案,其中可以看到很多关于多任务学习的影子&…...
Day31 || 122.买卖股票的最佳时机 II、55. 跳跃游戏、 45.跳跃游戏II 、1005.K次取反后最大化的数组和
122.买卖股票的最佳时机 II 题目链接:力扣题目链接 思路:因为是求虽大利润完全可以假设知道第二天涨前一天买入即可,就是求两天只差大于0 的和。 55. 跳跃游戏 题目链接:力扣题目链接 思路:应该从后往前循环判断&…...

【uniapp】打包成H5并发布
目录 1、设置配置mainifest.sjon 1.1 页面标题 1.2 路由模式 1.3 运行的基础路径 2、打包 2.1 打包入口 2.2 打包成功 2.3 依据目录找到web目录 3、 将web目录整体拷贝出来 4、上传 4.1 登录uniapp官网注册免费空间 4.2 上传拷贝的目录 4.3 检查上传是否正确 5、…...
<6>-MySQL表的增删查改
目录 一,create(创建表) 二,retrieve(查询表) 1,select列 2,where条件 三,update(更新表) 四,delete(删除表…...

(十)学生端搭建
本次旨在将之前的已完成的部分功能进行拼装到学生端,同时完善学生端的构建。本次工作主要包括: 1.学生端整体界面布局 2.模拟考场与部分个人画像流程的串联 3.整体学生端逻辑 一、学生端 在主界面可以选择自己的用户角色 选择学生则进入学生登录界面…...
C++:std::is_convertible
C++标志库中提供is_convertible,可以测试一种类型是否可以转换为另一只类型: template <class From, class To> struct is_convertible; 使用举例: #include <iostream> #include <string>using namespace std;struct A { }; struct B : A { };int main…...

相机Camera日志实例分析之二:相机Camx【专业模式开启直方图拍照】单帧流程日志详解
【关注我,后续持续新增专题博文,谢谢!!!】 上一篇我们讲了: 这一篇我们开始讲: 目录 一、场景操作步骤 二、日志基础关键字分级如下 三、场景日志如下: 一、场景操作步骤 操作步…...
五年级数学知识边界总结思考-下册
目录 一、背景二、过程1.观察物体小学五年级下册“观察物体”知识点详解:由来、作用与意义**一、知识点核心内容****二、知识点的由来:从生活实践到数学抽象****三、知识的作用:解决实际问题的工具****四、学习的意义:培养核心素养…...

微信小程序 - 手机震动
一、界面 <button type"primary" bindtap"shortVibrate">短震动</button> <button type"primary" bindtap"longVibrate">长震动</button> 二、js逻辑代码 注:文档 https://developers.weixin.qq…...

Module Federation 和 Native Federation 的比较
前言 Module Federation 是 Webpack 5 引入的微前端架构方案,允许不同独立构建的应用在运行时动态共享模块。 Native Federation 是 Angular 官方基于 Module Federation 理念实现的专为 Angular 优化的微前端方案。 概念解析 Module Federation (模块联邦) Modul…...

JUC笔记(上)-复习 涉及死锁 volatile synchronized CAS 原子操作
一、上下文切换 即使单核CPU也可以进行多线程执行代码,CPU会给每个线程分配CPU时间片来实现这个机制。时间片非常短,所以CPU会不断地切换线程执行,从而让我们感觉多个线程是同时执行的。时间片一般是十几毫秒(ms)。通过时间片分配算法执行。…...

微软PowerBI考试 PL300-在 Power BI 中清理、转换和加载数据
微软PowerBI考试 PL300-在 Power BI 中清理、转换和加载数据 Power Query 具有大量专门帮助您清理和准备数据以供分析的功能。 您将了解如何简化复杂模型、更改数据类型、重命名对象和透视数据。 您还将了解如何分析列,以便知晓哪些列包含有价值的数据,…...
在鸿蒙HarmonyOS 5中使用DevEco Studio实现企业微信功能
1. 开发环境准备 安装DevEco Studio 3.1: 从华为开发者官网下载最新版DevEco Studio安装HarmonyOS 5.0 SDK 项目配置: // module.json5 {"module": {"requestPermissions": [{"name": "ohos.permis…...