当前位置: 首页 > article >正文

Hadoop•踩过的SHIT

听说这里是目录哦

  • ssh登录Permission denied, please try again💩
    • 要发癫🥲
  • centos7 yum报错:cannot find a valid baseurl for repo:base/7/x86_64💩
  • FinalShell重连失效💩
  • ssh免密登录显示 No route to host💩
  • 免密登录时显示 Connection refused💩
  • 用mv命令移动JDK时显示没有那个文件或目录💩
  • 用tar命令解压上传的JDK时显示没有那个文件或目录💩
  • test1: WARNING: /export/servers/hadoop-3.3.0/logs does not exist. Creating.💩
  • 多次格式化导致secondary namenode等丢失(jps时看不到)💩
  • 能量站😚

不知道手机的会不会不一样,电脑里的这坨小便便真的很可爱呀哈哈哈哈~

在这里插入图片描述

ssh登录Permission denied, please try again💩

密码正确,但是报错Permission denied, please try again
原因是远程的服务器,禁用了root账户可以被远程访问的权限。开启操作如下:

  1. 编辑配置文件
vi /etc/ssh/sshd_config
  1. 文件中找到PermitRootLogin,把PermitRootLogin without-password 这行改成 PermitRootLogin yes(需要连接的每一台机子都要更改!!!)
    在这里插入图片描述
    如果你是配置了集群的,集群里的机子都改好上述文件后,直接在主节点里start-all.sh开集群就行了,然后jps出来的是下面这样就可以了。
    在这里插入图片描述

要发癫🥲

如果是HY【懂的都懂,伤心的事就不说了呜呜呜呜】那个实验平台,想要实验二的截图的话,就直接在第一个实验里完成最后一个实验的操作,最后一个实验的环境不行(第二个实验平台没法用上面的步骤jps出正确的东西)💩
解决办法:在第一个实验平台里按照上面的步骤jps出上述图片里的东西以后,就直接执行实验二里的步骤就行了。
补充:可以复制粘贴的,只不过到命令窗口里的粘贴不能使用快捷键Ctrl+v,而是需要右键点击粘贴选项。
在这里插入图片描述 分屏,在两个网页都登录,一个操作,一个看步骤:在这里插入图片描述

centos7 yum报错:cannot find a valid baseurl for repo:base/7/x86_64💩

我直接用国内资源,不在谷歌下载。

  1. 检查网络连接ping www.baidu.com看一下能不能成功。下面这个图就是成功了,你Ctrl+c停止就行。
    在这里插入图片描述
  2. 更新YUM仓库源为阿里云镜像源vi /etc/yum.repos.d/CentOS-Base.repo将内容替换为以下内容:
[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
  1. 清理并重建缓存
yum clean all
yum makecache
yum update

FinalShell重连失效💩

这种情况是虚拟机的网络连接断了,解决办法如下:

1.关闭NetworkManager

  • systemctl stop NetworkManager
  • systemctl status NetworkManager

2.开启network服务

  • systemctl restart network
  • systemctl status network

3.检查一下

  • ip addr
    在这里插入图片描述

ssh免密登录显示 No route to host💩

没开虚拟机,找不到路径,把虚拟机开了就行。

免密登录时显示 Connection refused💩

因为没登出上一台虚拟机,exit登出一下就可以了。(图里蓝色的应该是node2)
在这里插入图片描述

用mv命令移动JDK时显示没有那个文件或目录💩

解决办法:在上传的时候就打开到所需文件夹,在该界面上传时会直接上传到这个文件夹
在这里插入图片描述
在这里插入图片描述

用tar命令解压上传的JDK时显示没有那个文件或目录💩

解决办法:先cd到存放了JDK的目录,再用ll查看。(即使刷新了FinalShell也不行,要在虚拟机里查看了,懵懵的虚拟机宝宝才能感觉到这个文件的位置,宠着吧,我自己的宝宝,这跟用什么身份解压没关系)
我的安装包是放在/export/software里的。
在这里插入图片描述

test1: WARNING: /export/servers/hadoop-3.3.0/logs does not exist. Creating.💩

这里是以test为主结点、test1test2为从结点。
解决办法:在三个节点上启动journalnode,命令是hdfs --daemon start journalnode,就是三台虚拟机都需要执行这个命令。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

多次格式化导致secondary namenode等丢失(jps时看不到)💩

解决办法:

  1. 关闭集群 stop-all.sh
  2. 删除集群产生的缓存文件(三台机子都要!!!)
    (一)/export/datahadoop文件夹(三台机子都要)【我的文件夹存放目录可看Hadoop•安装JDK,可以帮助理解为什么是这个路径】
    在这里插入图片描述
    (二)删除/export/servers/hadoop-3.1.4/logs(三台机子都要)
    也是先刷新哦,然后整个文件夹直接删掉,格式化后它会自己创建的
    在这里插入图片描述
  3. 重新格式化 hdfs namenode -format
    这个警告没事⬇️
    在这里插入图片描述

能量站😚

有人说哭不能解决问题,但没有人哭是为了解决问题,眼泪自由。
请添加图片描述

❤️你很好❤️

相关文章:

Hadoop•踩过的SHIT

听说这里是目录哦 ssh登录Permission denied, please try again💩要发癫🥲 centos7 yum报错:cannot find a valid baseurl for repo:base/7/x86_64💩FinalShell重连失效💩ssh免密登录显示 No route to host&#x1f4a…...

闭环SOTA!北航DiffAD:基于扩散模型实现端到端自动驾驶「多任务闭环统一」

端到端自动驾驶目前是有望实现完全自动驾驶的一条有前景的途径。然而,现有的端到端自动驾驶系统通常采用主干网络与多任务头结合的方式,但是它们存在任务协调和系统复杂度高的问题。为此,本文提出了DiffAD,它统一了各种驾驶目标并…...

Docker Registry 清理镜像最佳实践

文章目录 registry-clean1. 简介2. 功能3. 安装 docker4. 配置 docker5. 配置域名解析6. 部署 registry7. Registry API 管理8. 批量清理镜像9. 其他10. 参考registry-clean 1. 简介 registry-clean 是一个强大而高效的解决方案,旨在简化您的 Docker 镜像仓库管理。通过 reg…...

JavaScript重难点突破:期约与异步函数

同步和异步 ​同步(Synchronous)​ ​定义:任务按顺序依次执行,前一个任务完成前,后续任务必须等待。 ​特点:阻塞性执行,程序逻辑直观,但效率较低 ​异步(Asynchron…...

蓝桥杯高频考点——高精度(含C++源码)

高精度 前言高精度加法例题思路及代码solution 1(初阶版 40分)solution 2(完全体 AC) 高精度乘法例题思路及代码solution 1(TLE 但是代码很清晰)solution 1的问题solution 2(优化 AC&#xff09…...

(Kotlin) Android使用DialogX实现iOS风格底部弹窗(带Toggle开关)

本文将详细介绍如何使用DialogX库实现一个iOS风格的底部弹窗,包含图标、文本和Toggle开关的列表项。 实现步骤 1. 添加依赖 在build.gradle文件中添加: implementation com.github.kongzue.DialogX:DialogX:0.0.49.beta14 implementation com.github.ko…...

【机器人】复现 GraspNet 端到端抓取点估计 | PyTorch2.3 | CUDA12.1

GraspNet是通用物体抓取的大规模基准的基线模型,值得学习和复现。 本文分享使用较新版本的PyTorch和CUDA,来搭建开发环境。 论文地址:GraspNet-1Billion: A Large-Scale Benchmark for General Object Grasping 开源地址:https:…...

视频联网平台智慧运维系统:智能时代的城市视觉中枢

引言:破解视频运维的"帕累托困境" 在智慧城市与数字化转型浪潮中,全球视频监控设备保有量已突破10亿台,日均产生的视频数据量超过10万PB。然而,传统运维模式正面临三重困境: 海量设备管理失序:…...

《网络管理》实践环节03:snmp服务器上对网络设备和服务器进行初步监控

兰生幽谷,不为莫服而不芳; 君子行义,不为莫知而止休。 应用拓扑图 3.0准备工作 所有Linux服务器上(服务器和Agent端)安装下列工具 yum -y install net-snmp net-snmp-utils 保证所有的HCL网络设备和服务器相互间能…...

ubuntu中使用安卓模拟器

本文这里介绍 使用 android studio Emulator , 当然也有 Anbox (Lightweight), Waydroid (Best for Full Android Experience), 首先确保自己安装了 android studio ; sudo apt update sudo apt install openjdk-11-jdk sudo snap install…...

【Qt】QList<T> list(n)构造函数创建列表时元素 T的默认值

Qt 6支持。 在 Qt 中&#xff0c;当使用 QList<T> list(n); 构造函数创建列表时&#xff0c;元素 T 的默认值取决于其类型的默认构造函数或值初始化规则。以下是常见数据类型的默认值分析&#xff1a; 1. 基本数据类型&#xff08;POD 类型&#xff0c;Plain Old Data&a…...

py数据结构day3

思维导图&#xff1a; 代码1&#xff08;完成双向循环链表的判空、尾插、遍历、尾删&#xff09;&#xff1a; class Node:def __init__(self, data):self.data dataself.next Noneself.prev Noneclass DoubleCycleLink:def __init__(self):self.head Noneself.tail None…...

STM32单片机入门学习——第8节: [3-4] 按键控制LED光敏传感器控制蜂鸣器

写这个文章是用来学习的,记录一下我的学习过程。希望我能一直坚持下去,我只是一个小白,只是想好好学习,我知道这会很难&#xff0c;但我还是想去做&#xff01; 本文写于&#xff1a;2025.04.02 STM32开发板学习——第8节: [3-4] 按键控制LED&光敏传感器控制蜂鸣器 前言开…...

【JavaScript】十三、事件监听与事件类型

文章目录 1、事件监听1.1 案例&#xff1a;击关闭顶部广告1.2 案例&#xff1a;随机点名1.3 事件监听的版本 2、事件类型2.1 鼠标事件2.1.1 语法2.1.2 案例&#xff1a;轮播图主动切换 2.2 焦点事件2.2.1 语法2.2.2 案例&#xff1a;模拟小米搜索框 2.3 键盘事件2.3.1 语法2.3.…...

通过ansible+docker-compose快速安装一主两从redis+三sentinel

目录 示例主机列表 架构参考 文件内容 安装脚本 ansible变量&#xff0c;需修改 ansible配置文件和主机清单&#xff0c;需修改 运行方式 验证故障转移master 涉及redis镜像和完整的脚本文件 示例主机列表 架构参考 文件内容 安装脚本 #!/bin/bashset -e export pa…...

前端和AI怎么高度融合

前端工程师和人工智能&#xff08;AI&#xff09;结合可以创造出更加智能和交互式的用户体验。以下是一些前端工程师可以与AI结合的方式&#xff1a; AI聊天机器人&#xff1a;前端工程师可以开发基于AI的聊天机器人&#xff0c;用于与用户交互并提供实时帮助和支持。 个性化推…...

mysql docker容器启动遇到的问题整理

好几个月没折腾mysql的部署&#xff0c;弄了下&#xff0c;又遇到不少问题 问题一&#xff1a;Access denied for user ‘root‘‘172.18.0.1‘ docker容器启动后&#xff0c;本地navicat 连接报这个错误 查到两个方案&#xff0c;一个貌似是要让root用户能在任意ip地址&…...

HTTP keepalive 详解

一、简介 HTTP协议早期版本&#xff0c;比如1.0&#xff0c;默认是不使用持久连接的&#xff0c;也就是每个请求/响应之后都会关闭TCP连接。这样的话&#xff0c;每次请求都需要重新建立连接&#xff0c;增加了延迟和资源消耗。Keep-Alive的作用是保持连接&#xff0c;让多个请…...

长短期记忆神经网络(LSTM)基础学习与实例:预测序列的未来

目录 1. 前言 2. LSTM的基本原理 2.1 LSTM基本结构 2.2 LSTM的计算过程 3. LSTM实例&#xff1a;预测序列的未来 3.1 数据准备 3.2 模型构建 3.3 模型训练 3.4 模型预测 3.5 完整程序预测序列的未来 4. 总结 1. 前言 在深度学习领域&#xff0c;循环神经网络&…...

青少年编程与数学 02-015 大学数学知识点 01课题、概要

青少年编程与数学 02-015 大学数学知识点 01课题、概要 一、线性代数二、概率论与数理统计三、微积分四、优化理论五、离散数学六、数值分析七、信息论 《青少年编程与数学》课程要求&#xff0c;在高中毕业前&#xff0c;尽量完成大部分大学数学知识的学习。一般可以通过线上课…...

C++多继承

可以用多个基类来派生一个类。 格式为&#xff1a; class 类名:类名1,…, 类名n { private: … &#xff1b; //私有成员说明; public: … &#xff1b; //公有成员说明; protected: … &#xff1b; //保护的成员说明; }; class D: public A, protected B, private C { …//派…...

【深度学习新浪潮】DeepSeek近期的技术进展及未来动向

一、近期技术进展 模型迭代与性能提升 DeepSeek-V3-0324版本更新:2025年3月24日发布,作为V3的小版本升级,参数规模达6850亿,采用混合专家(MoE)架构,激活参数370亿。其代码能力接近Claude 3.7,数学推理能力显著提升,且在开源社区(如Hugging Face)上线。DeepSeek-R1模…...

工业4.0时代下的人工智能新发展

摘要&#xff1a;随着德国工业4.0时代以及中国制造2025的提出&#xff0c;工业智能化的改革的时代正逐渐到来&#xff0c;然而我国整体工业水平仍然处于工业2.0水平。围绕工业4.0中智能工厂、智能生产、智能物流这三大主题&#xff0c;结合国内外研究现状&#xff0c;对人工智能…...

监控易一体化运维:高性能与易扩展,赋能运维新高度

在当今数字化时代&#xff0c;云技术、大数据、智慧城市等前沿科技蓬勃发展&#xff0c;企业和城市对 IT 基础设施的依赖程度与日俱增。在这样的大环境下&#xff0c;运维系统的高性能与易扩展性对于保障业务稳定运行和推动发展的关键意义。今天&#xff0c;为大家深入剖析监控…...

机器学习stats_linregress

import numpy as np from scipy import stats# r stats.linregress(xs, ys) 是一个用于执行简单线性回归的函数&#xff0c;通常来自 scipy.stats 库。# 具体含义如下&#xff1a;# stats.linregress&#xff1a;执行线性回归分析&#xff0c;拟合一条最佳直线来描述两个变量 …...

Linux系统01---指令

目录 学习的方法 Linux 系统介绍 2.1 Unix 操作系统&#xff08;了解&#xff09; 2.2 Linux 操作系统&#xff08;了解&#xff09; 2.3 Linux 操作系统的主要特性&#xff08;重点&#xff09; 2.4 Linux 与 Unix 的区别与联系 2.5 GUN 与 GPL&#xff08;了解&#…...

【蓝桥杯14天冲刺课题单】Day 8

1.题目链接&#xff1a;19714 数字诗意 这道题是一道数学题。 先考虑奇数&#xff0c;已知奇数都可以表示为两个相邻的数字之和&#xff0c;2k1k(k1) &#xff0c;那么所有的奇数都不会被计入。 那么就需要考虑偶数什么情况需要被统计。根据打表&#xff0c;其实可以发现除了…...

23.6 CharGLM多模态API实战:24k上下文角色一致性优化全解析

CharGLM多模态API实战:24k上下文角色一致性优化全解析 关键词:多模态大模型, CharGLM API 调用, 角色一致性控制, 上下文感知, 对话系统优化 演示 CharGLM 的对话效果 CharGLM 作为支持 24k 上下文窗口的多模态对话模型,在角色扮演场景中展现出强大的交互能力。本节通过实…...

DeepSeek 开源的 3FS 如何?

DeepSeek 3FS&#xff08;Fire-Flyer File System&#xff09;是一款由深度求索&#xff08;DeepSeek&#xff09;于2025年2月28日开源的高性能并行文件系统&#xff0c;专为人工智能训练和推理任务设计。以下从多个维度详细解析其核心特性、技术架构、应用场景及行业影响&…...

基于 Three.js 实现 3D 数学欧拉角

大家好&#xff01;我是 [数擎AI]&#xff0c;一位热爱探索新技术的前端开发者&#xff0c;在这里分享前端和Web3D、AI技术的干货与实战经验。如果你对技术有热情&#xff0c;欢迎关注我的文章&#xff0c;我们一起成长、进步&#xff01; 开发领域&#xff1a;前端开发 | AI 应…...