Hadoop-HA集群部署
集群的服务器规划：
配置免密登陆：（这里示范的是第一台服务器，其余的操作一样），免密登陆是为了执行脚本统一操作，启动，如（hdfs集群：1上启动2.5.6.7）（yarn，3上启动4567）
免密登陆测试：从01服务器登陆05服务器：
ZOOKEEPER的配置自己去看前面的文章，装到（5.6.7）三台服务器上去
在6.7两台服务器上修改myid为2和3.这样你的 3台zk就都配置好了
启动zk，并且查看状态是否正常：
安装配置hadoop集群
1.如上图：两台hdfs的nameservice我将他们和在一起命名——ns1
2.指定hadoop的目录
3.指定zookeeper的集群地址
以上就已经将namenode的配置配好了
以下是日志的配置JournalNode，和zkfc的自动切换
配置mapreduce的框架为yarn
配置yarn的高可用
将1上的hadoop包拷贝到2.3.4.5.6.7
启动
测试yarn地址是 
相关文章：
Hadoop-HA集群部署
集群的服务器规划： 配置免密登陆：（这里示范的是第一台服务器，其余的操作一样），免密登陆是为了执行脚本统一操作，启动，如（hdfs集群：1上启动2.5.6.7）…...
三、linux字符驱动详解
在上一节完成NFS开发环境的搭建后，本节将探讨Linux字符设备驱动的开发。字符设备驱动作为Linux内核的重要组成部分，主要负责管理与字符设备（如串口、键盘等）的交互，并为用户空间程序提供统一的读写操作接口。 驱动代码…...
【Research Proposal】基于提示词方法的智能体工具调用研究——研究问题
博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: AIGC | ChatGPT 文章目录 💯前言💯研究问题1. 如何优化提示词方法以提高智能体的工具调用能力？2. 如何解决提示词方法在多模态任务中的挑战？3. 如何通过提示词优化智能体…...
【从0做项目】Java文档搜索引擎（9）烧脑终章!
阿华代码，不是逆风，就是我疯 你们的点赞收藏是我前进最大的动力！！ 希望本文内容能够帮助到你！！ 目录 文章导读 零：项目结果展示 一：导入 二：问题引入 1：情…...
python: SQLAlchemy (ORM) Simple example using mysql in Ubuntu 24.04
mysql sql script: create table School 表 (SchoolId char(5) NOT NULL comment主鍵primary key，學校編號,SchoolName nvarchar(500) NOT NULL DEFAULT comment 學校名稱,SchoolTelNo varchar(8) NULL DEFAULT comment電話號碼,PRIMARY KEY (SchoolId) #主…...
如何为自己的 PDF 文件添加密码？在线加密 PDF 文件其实更简单
随着信息泄露和数据安全问题的日益突出，保护敏感信息变得尤为重要。加密 PDF 文件是一种有效的手段，可以确保只有授权用户才能访问或修改文档内容。本文将详细介绍如何使用 CleverPDF 在线工具为你的 PDF 文件添加密码保护，确保其安全性。 为…...
echarts 折线图动态基准线设置超出基准线标红
基准线属性：markLine 线条标红关键属性：visualMap 小于： lt (less than) 大于：gt (greater than) 小于等于：lte (Less than or equal to) 大于等于：gte (Greater than or equal to) 1、基础应用——2条基准…...
Part 3 第十二章 单元测试 Unit Testing
概述 第十二章围绕单元测试展开，阐述了单元测试的实践与重要性，通过对比其他测试类型，突出其特点，还介绍了单元测试的最佳实践、避免的反模式以及与测试替身相关的内容，为编写高质量单元测试提供指导。 章节概要 1…...
C++与Python：两种编程语言的区别
C和Python都是当今编程领域广泛使用的语言，它们各有特色，适用于不同的开发场景。本文将从语言特性、性能、学习难度、应用领域等多个方面探讨C与Python之间的区别。 一、语言特性 类型系统： C：是一种静态类型语言…...
Springboot 高频面试题
以下是Spring Boot的高频面试题及答案和底层原理解释： 基础概念 什么是Spring Boot，其主要特点是什么？ 答案： Spring Boot本质上是一个建立在Spring框架之上的快速应用开发框架。其主要特点包括： 启动器：一…...
常用电脑，护眼软件推荐 f.lux 3400K | 撰写论文 paper
常用电脑？平均每天用 5 个小时？你就要考虑用一个护眼软件了，对皮肤也好。因为电脑屏幕有辐射，比如蓝光。 f.lux 作为一款专业护眼软件，值得使用。之前用了三年的 Iris Pro，现在 f.lux 做的更好了。 使用…...
MacOS下使用Ollama本地构建DeepSeek并使用本地Dify构建AI应用
目录 1 大白话说一下文章内容2 作者的电脑配置3 DeepSeek的本地部署3.1 Ollamal的下载和安装3.2 选择合适的deepseek模型3.3 安转deepseek 4 DifyDeepSeek构建Al应用4.1 Dify的安装4.1.1 前置条件4.1.2 拉取代码4.1.3 启动Dify 4.2 Dify控制页面4.3 使用Dify实现个“文章标题生…...
如何有效利用MYSQL的连接数
连接数配置2500~3000 依然发现连接不够用？ -- 查看当前最大连接数 SHOW VARIABLES LIKE MAX_CONNECTIONS; -- 查看当前总链接数 SHOW STATUS LIKE Threads_connected; -- 查看当前进程明细 SHOW PROCESSLIST; 合理设置以下参数： 1. MySQL 的参数设置 …...
调用click.getchar()时Windows PyCharm无法模拟键盘输入
文章目录 问题描述解决方案参考文献 问题描述 调用 click.getchar() 时，Windows PyCharm 无法模拟键盘输入 解决方案 Run → Edit Configurations… → Modify options → Emulate terminal in output console 参考文献 Terminal emulator | PyCharm Documentati…...
使用Hardhat实现ERC20 代币合约详解
ERC20 代币合约详解 💰 1. 合约概览 // SPDX-License-Identifier: MIT pragma solidity ^0.8.20;import "openzeppelin/contracts/token/ERC20/ERC20.sol";contract MyToken is ERC20 {constructor() ERC20("MyToken", "MTK") {_min…...
清华大学《DeepSeek与AI幻觉》（无套路免费分享）
随着人工智能技术的飞速发展，以DeepSeek为代表的国产大模型正逐渐成为各行各业的重要工具。然而，AI在生成内容时常常会出现“幻觉”——即生成与事实不符、逻辑断裂或脱离上下文的内容。 清华大学新闻与传播学院与人工智能学院联合推出的这篇教程《Deep…...
代码随想录算法【Day52】
Day51 101. 孤岛的总面积 思路 从周边找到陆地然后 通过 dfs或者bfs 将周边靠陆地且相邻的陆地都变成海洋，然后再去重新遍历地图 统计此时还剩下的陆地 代码 #include <iostream> #include <vector> using namespace std; int dir[4][2] {-1, 0, …...
Spark 和 Flink
Spark 和 Flink 都是目前流行的大数据处理引擎，但它们在架构设计、应用场景、性能和生态方面有较大区别。以下是详细对比： 1. 架构与核心概念 方面Apache SparkApache Flink计算模型微批（Micro-Batch）为主，但支持结构…...
Unity结合Vuforia虚拟按键实现AR机械仿真动画效果
零、最终效果 待上传 一、资源准备 1、Vuforia Vuforia版本不能高于10.17.4（往上的版本虚拟按键功能被删除） 2、Unity Unity版本必须要高于2022.3.x，不然使用Vuforia插件时会出现bug 二、主要内容 1、添加虚拟按钮 2、为虚拟按钮设置…...
PL/SQL 异常处理
目录 一、命名的系统异常 1.常见命名的系统异常 2.预定义的系统异常数量以及描述 3.处理命名的系统异常的一般步骤 二、程序员定义的异常 1.概念 2.自定义异常的定义与抛出 3.自定义异常的处理 三、未命名的系统异常 1.概述 2.处理未命名的系统异常的方法 3.使用场景 …...
Linux 文件类型，目录与路径，文件与目录管理
文件类型 后面的字符表示文件类型标志 普通文件：-（纯文本文件，二进制文件，数据格式文件） 如文本文件、图片、程序文件等。 目录文件：d（directory） 用来存放其他文件或子目录。 设备…...
【Linux】shell脚本忽略错误继续执行
在 shell 脚本中，可以使用 set -e 命令来设置脚本在遇到错误时退出执行。如果你希望脚本忽略错误并继续执行，可以在脚本开头添加 set e 命令来取消该设置。 举例1 #!/bin/bash# 取消 set -e 的设置 set e# 执行命令，并忽略错误 rm somefile…...
shell脚本--常见案例
1、自动备份文件或目录 2、批量重命名文件 3、查找并删除指定名称的文件： 4、批量删除文件 5、查找并替换文件内容 6、批量创建文件 7、创建文件夹并移动文件 8、在文件夹中查找文件...
【入坑系列】TiDB 强制索引在不同库下不生效问题
文章目录 背景SQL 优化情况线上SQL运行情况分析怀疑1：执行计划绑定问题？尝试：SHOW WARNINGS 查看警告探索 TiDB 的 USE_INDEX 写法Hint 不生效问题排查解决参考背景 项目中使用 TiDB 数据库，并对 SQL 进行优化了，添加了强制索引。 UAT 环境已经生效，但 PROD 环境强制索…...
《Playwright：微软的自动化测试工具详解》
Playwright 简介:声明内容来自网络，将内容拼接整理出来的文档 Playwright 是微软开发的自动化测试工具，支持 Chrome、Firefox、Safari 等主流浏览器，提供多语言 API（Python、JavaScript、Java、.NET）。它的特点包括&a…...
visual studio 2022更改主题为深色
visual studio 2022更改主题为深色 点击visual studio 上方的 工具-> 选项 在选项窗口中，选择 环境 -> 常规 ，将其中的颜色主题改成深色 点击确定，更改完成...
CentOS下的分布式内存计算Spark环境部署
一、Spark 核心架构与应用场景 1.1 分布式计算引擎的核心优势 Spark 是基于内存的分布式计算框架，相比 MapReduce 具有以下核心优势： 内存计算：数据可常驻内存，迭代计算性能提升 10-100 倍（文档段落：3-79…...
ffmpeg（四）：滤镜命令
FFmpeg 的滤镜命令是用于音视频处理中的强大工具，可以完成剪裁、缩放、加水印、调色、合成、旋转、模糊、叠加字幕等复杂的操作。其核心语法格式一般如下： ffmpeg -i input.mp4 -vf "滤镜参数" output.mp4或者带音频滤镜： ffmpeg…...
涂鸦T5AI手搓语音、emoji、otto机器人从入门到实战
“🤖手搓TuyaAI语音指令 😍秒变表情包大师，让萌系Otto机器人🔥玩出智能新花样！开整！” 🤖 Otto机器人 → 直接点明主体 手搓TuyaAI语音 → 强调 自主编程/自定义 语音控制（TuyaAI…...
06 Deep learning神经网络编程基础 激活函数 --吴恩达
深度学习激活函数详解 一、核心作用 引入非线性：使神经网络可学习复杂模式控制输出范围：如Sigmoid将输出限制在(0,1)梯度传递：影响反向传播的稳定性二、常见类型及数学表达 Sigmoid σ ( x ) = 1 1 +...