k8s部署hadoop
（作者：陈玓玏）
配置和模板参考helm仓库：https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop
先通过以下命令生成yaml文件：
helm template hadoop pfisterer-hadoop/hadoop > hadoop.yaml
用kubectl命令，通过这个yaml文件直接部署hadoop，配置想改的可以自己改，默认的配置仓库中有写：
比如我想要3个datanode而不是1个，就把dn-statefulset的replicas改为3，保存后直接部署，部署命令：kubectl apply -f hadoop.yaml
k8sdashboard中可以看到3个dn节点：
部署之后，进入namenode的pod，就可以执行hdfs命令了，如hdfs dfs -ls，hdfs dfs -touch等等。
相关文章：
k8s部署hadoop
（作者：陈玓玏） 配置和模板参考helm仓库：https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop 先通过以下命令生成yaml文件： helm template hadoop pfisterer-hadoop/hadoop > hadoop.yaml用kube…...
卡住)
deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住
错误展示： Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root... Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root... 错误表现： 出现在多卡训练过程的pytorch 扩展，deepspee…...
Rust 的 HashMap
在 Rust 中，HashMap 是一个从键（key）映射到值（value）的数据结构。它允许你以 O(1) 的平均时间复杂度存储、检索和删除键值对。HashMap 实现了 std::collections::HashMap 结构体，通常通过 use std::collect…...
exporter方式监控达梦数据库
蓝鲸监控 随着国产化和信创的深入，开始普遍使用国产化数据库–如达梦数据库，蓝鲸平台默认没有对其进行监控，但是平台了提供监控告警的能力。比如脚本采集，脚本的是一种灵活和快速的监控采集方式，不同层的监控对象都可…...
供应链安全之被忽略的软件质量管理平台安全
背景 随着我国信息化进程加速，网络安全问题更加凸显。关键信息基础设施和企业单位在满足等保合规的基础上，如何提升网络安全防御能力，降低安全事件发生概率？默安玄甲实验室针对SonarQube供应链安全事件进行分析，强调供…...
python入门（二）
python的安装很方便，我们这里就不再进行讲解，大家可以自己去搜索视频。下面分享一下Python的入门知识点。 执行命令的方式 在安装好python后，有两种方式可以执行命令： 命令行程序文件，后缀名为.py 对于命令行&…...
Mysql，MongoDB,Redis的横纵向对比
一，什么是Mysql Mysql是一款安全，可以跨平台，高效率的数据库系统，运行速度高，安全性能高，支持面向对象，安全性高，并且成本比较低，支持各种开发语言，数据库的存储容量大，有许多的内置函数。 二，什么是MongoDB MongoDB是基于分布式文件存储的数据库，是一个介于关…...
css3 实现html样式蛇形布局
文章目录 1. 实现效果2. 实现代码 1. 实现效果 2. 实现代码 <template><div class"body"><div class"title">CSS3实现蛇形布局</div><div class"list"><div class"item" v-for"(item, index) …...
基于消失点的相机自标定
基于消失点的相机自标定 附赠最强自动驾驶学习资料：直达链接 相机是通过透视投影变换来将3D场景转换为2D图像。在射影变换中，平行线相交于一点称之为消失点。本文详细介绍了两种利用消失点特性的标定方法。目的是为根据实际应用和初始条件选择合适的标…...
Python：filter过滤器
filter() 是 Python 中的一个内置函数，用于过滤序列，过滤掉不符合条件的元素，返回由符合条件元素组成的新列表。该函数接收两个参数，一个是函数，一个是序列，序列的每个元素作为参数传递给函数进行判定&…...
Python函数学习
Python函数学习 1.函数定义 在函数定义阶段只检查函数的语法问题 2.实参形参 总结： （1）位置参数就是经常用的按照位置顺序给出实参的值； （2）关键字实参形式：key123；放在…...
IDEA中的Project工程、Module模块的概念及创建导入
1、IDEA中的层级关系： project(工程) - module(模块) - package(包) - class(类)/接口具体的： 一个project中可以创建多个module一个module中可以创建多个package一个package中可以创建多个class/接口2、Project和Module的概念： 在 IntelliJ …...
如何快速下载并剪辑B站视频
1、B站手机端右上角缓存视频； 2、在手机文件管理助手中找到android/data/80找到两个文件，video.m4s和audio.m4s，将它们发送到电脑，系统会默认保存在你的个人文件夹里，C:\users\用户名 3、下载ffmepg https://blog.cs…...
智慧矿山新趋势：大数据解决方案一览
1. 背景 随着信息技术的快速发展和矿山管理需求的日益迫切，智慧矿山作为一种创新的矿山管理方式应运而生。智慧矿山借助先进的信息技术，实现对矿山生产、管理、安全等各方面的智能化、高效化、协同化，是矿山行业转型升级的必然趋势。 欢迎关…...
Ubuntu使用Docker部署Nginx容器并结合内网穿透实现公网访问本地服务
目录 ⛳️推荐 1. 安装Docker 2. 使用Docker拉取Nginx镜像 3. 创建并启动Nginx容器 4. 本地连接测试 5. 公网远程访问本地Nginx 5.1 内网穿透工具安装 5.2 创建远程连接公网地址 5.3 使用固定公网地址远程访问 ⛳️推荐 前些天发现了一个巨牛的人工智能学习网站&#…...
面试笔记——Redis（使用场景、面临问题、缓存穿透）
Redis的使用场景 Redis（Remote Dictionary Server）是一个内存数据结构存储系统，它以快速、高效的特性闻名，并且它支持多种数据结构，包括字符串、哈希表、列表、集合、有序集合等。它主要用于以下场景： 缓…...
电机学（笔记一）
磁极对数p： 直流电机的磁极对数是指电机定子的磁极对数，也等于电机电刷的对数。它与电机的转速和扭矩有直接关系。一般来说，极对数越多，电机转速越低，扭矩越大，适用于低速、高扭矩的场合；相反&…...
数值分析复习：Newton插值
文章目录 牛顿（Newton）插值引入背景插值条件基函数插值多项式差商差商的基本性质差商估计差商的Leibniz公式 余项估计 本篇文章适合个人复习翻阅，不建议新手入门使用 牛顿（Newton）插值 引入背景 Lagrange插值每引入一…...
金融知识分享系列之：出场信号RSI指标
金融知识分享系列之：出场信号RSI指标 一、出场信号RSI指标二、RSI指标原理三、 指标用法四、RSI指标总结 一、出场信号RSI指标 名称：相对强弱指标参数：(默认14)组成：RSI线以及30轴、50轴、70轴构成 0-30是极弱：0-30的…...
基于Spring Boot的宿舍管理系统
摘 要 随着信息时代的来临，过去的传统管理方式缺点逐渐暴露，对过去的传统管理方式的缺点进行分析，采取计算机方式构建宿舍管理系统。本文通过课题背景、课题目的及意义相关技术，提出了一种楼宇信息、宿舍信息、宿舍安排、缺勤信息…...
Xshell远程连接Kali（默认 | 私钥）Note版
前言:xshell远程连接，私钥连接和常规默认连接 任务一 开启ssh服务 service ssh status //查看ssh服务状态 service ssh start //开启ssh服务 update-rc.d ssh enable //开启自启动ssh服务 任务二 修改配置文件 vi /etc/ssh/ssh_config //第一…...
visual studio 2022更改主题为深色
visual studio 2022更改主题为深色 点击visual studio 上方的 工具-> 选项 在选项窗口中，选择 环境 -> 常规 ，将其中的颜色主题改成深色 点击确定，更改完成...
基于服务器使用 apt 安装、配置 Nginx
🧾 一、查看可安装的 Nginx 版本 首先，你可以运行以下命令查看可用版本： apt-cache madison nginx-core输出示例： nginx-core | 1.18.0-6ubuntu14.6 | http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages ng…...
linux 错误码总结
1，错误码的概念与作用 在Linux系统中，错误码是系统调用或库函数在执行失败时返回的特定数值，用于指示具体的错误类型。这些错误码通过全局变量errno来存储和传递，errno由操作系统维护，保存最近一次发生的错误信息。值得注意的是，errno的值在每次系统调用或函数调用失败时…...
Linux云原生安全：零信任架构与机密计算
Linux云原生安全：零信任架构与机密计算 构建坚不可摧的云原生防御体系 引言：云原生安全的范式革命 随着云原生技术的普及，安全边界正在从传统的网络边界向工作负载内部转移。Gartner预测，到2025年，零信任架构将成为超…...
linux 下常用变更-8
1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行，YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID： YW3…...
uniapp微信小程序视频实时流+pc端预览方案
方案类型技术实现是否免费优点缺点适用场景延迟范围开发复杂度WebSocket图片帧定时拍照Base64传输✅ 完全免费无需服务器 纯前端实现高延迟高流量 帧率极低个人demo测试 超低频监控500ms-2s⭐⭐RTMP推流TRTC/即构SDK推流❌ 付费方案 （部分有免费额度&#x…...
浅谈不同二分算法的查找情况
二分算法原理比较简单，但是实际的算法模板却有很多，这一切都源于二分查找问题中的复杂情况和二分算法的边界处理，以下是博主对一些二分算法查找的情况分析。 需要说明的是，以下二分算法都是基于有序序列为升序有序的情况…...
2025季度云服务器排行榜
在全球云服务器市场，各厂商的排名和地位并非一成不变，而是由其独特的优势、战略布局和市场适应性共同决定的。以下是根据2025年市场趋势，对主要云服务器厂商在排行榜中占据重要位置的原因和优势进行深度分析： 一、全球“三巨头”…...
Xen Server服务器释放磁盘空间
disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...