解决Hadoop审计日志hdfs-audit.log过大的问题
【背景】
新搭建的Hadoop环境没怎么用，就一个环境天天空跑，结果今天运维告诉我说有一台服务器磁盘超过80%了，真是太奇怪了，平台上就跑了几个spark测试程序，哪来的数据呢？
【问题调查】
既然是磁盘写满了，那首先就要找到具体是什么数据写满的磁盘。
用df查看，是根目录，还不是数据盘；
df -h于是用du命令再挨个检查目录，看看具体是什么文件这么大
du -h --maxx-depth=1 . 终于发现在Hadoop的日志目录下，有一堆hdfs-audit.log日志，并且每个都有好几百M，删除之后，跟目录瞬间从81%减低到了42%；
问题是暂时解决了，可这样不是长久之计，审计日志还在写，过几天还得来删除。
【解决办法】
从Ambari页面上查看hdfs的配置，搜索关键字“audit”
接着往下拉，发现审计日志配置的是INFO级别：
于是改为WARN级别，保存后重启hdfs相关组件。
过了几天后，再检查服务器，发现磁盘根目录使用率没有明显增大，问题完美解决了~
相关文章：
解决Hadoop审计日志hdfs-audit.log过大的问题
【背景】 新搭建的Hadoop环境没怎么用，就一个环境天天空跑，结果今天运维告诉我说有一台服务器磁盘超过80%了，真是太奇怪了，平台上就跑了几个spark测试程序，哪来的数据呢？ 【问题调查】 既然是磁盘写满了&…...
【Java】java和kotlin关于Json写文件
Java写json文件 public class WriterJson {public static void main(String[] args) {// 创建一个 JSON 对象JSONObject jsonObject new JSONObject();jsonObject.put("case", "testtest");JSONObject jsonObjects new JSONObject();jsonObjects.put(&q…...
【深度学习】采用自动编码器生成新图像
一、说明 你知道什么会很酷吗？如果我们不需要所有这些标记的数据来训练 我们的模型。我的意思是标记和分类数据需要太多的工作。 不幸的是，大多数现有模型从支持向量机到卷积神经网，没有它们，卷积神经网络就无法训练。无监督学习不…...
华为云交付
文章目录 一、华为云-公有云架构华为公有云的主要服务1.华为云服务—计算类2.华为云服务——存储类3.华为云服务—网络类4.华为云服务—管理和监督类5.华为云数据库 二、待续 一、华为云-公有云架构 华为公有云的主要服务 ECS：弹性云服务器（ Elastic Cl…...
dns瞅一瞅
正向解析—域名到ip 反向解析–ip到域名 域名本身是从又往左来解释的 根域—最顶层的域，用null字符标识，通常会省略最后的点和null字符，但是应用程序会在解析dns之前添加这些字符 顶级域— 两种类型，一种国家、地区代码的顶级域…...
springAOP的实例
文章目录 前言一.用户登录权限校验1.1 spring 拦截器1.2 传统的用户登录权限验证1.3 使用拦截器的方式1.4 案例1.5 拦截器实现原理 三.统一异常处理3.1 什么是统一异常处理3.2 具体步骤 四.统⼀数据返回格式4.1 为什么需要统一的数据返回4.2 统一返回数据的格式4.3 统一移除处理…...
【JavaEE】深入了解Spring中Bean的可见范围（作用域）以及前世今生（生命周期）
【JavaEE】Spring的开发要点总结（4） 文章目录 【JavaEE】Spring的开发要点总结（4）1. Bean的作用域1.1 一个例子感受作用域的存在1.2 通过例子说明作用域的定义1.3 六种不同的作用域1.3.1 singleton单例模式（默认作用域…...
P1320 压缩技术（续集版）
题目描述 设某汉字由 N N N \times N NN 的 0 \texttt 0 0 和 1 \texttt 1 1 的点阵图案组成。 我们依照以下规则生成压缩码。连续一组数值：从汉字点阵图案的第一行第一个符号开始计算，按书写顺序从左到右，由上至下。第一个数表示连续有…...
k8s(七) 叩丁狼 service Ingress
负责东西流量（同层级/内部服务网络通信）的通信 service的定义 apiVersion: v1 kind: Service metadata:name: nginx-svclabels:app: nginx-svc spec:ports:- name: http # service 端口配置的名称protocol: TCP # 端口绑定的协议，支持 TCP、…...
Android Studio 关于BottomNavigationView 无法预览视图我的解决办法
一、前言：最近在尝试一步一步开发一个自己的软件，刚开始遇到的问题就是当我们引用 com.google.android.material.bottomnavigation.BottomNavigationView出现了无法预览视图的现象，我也在网上查了很多中解决方法，最后在执行了如下…...
【STM32】小电流FOC驱控一体板（开源）
FOC驱控一体板 主控芯片stm32f103c8t6 驱动芯片drv8313 三相电流采样 根据B站一个UP主的改的（【【自制】年轻人的第一块FOC驱动器】），大多数元器件是0805，实验室具备且便于自己动手焊接 。 晶振用的是无源晶振，体…...
代码分析：循环创建N个子进程——为什么最后一个属于父进程？
黑马C/C 2018年32期代码分析 //循环创建n个子进程 #include <stdio.h> #include <stdlib.h> #include <string.h> #include <sys/types.h> #include <unistd.h>int main() {int i 0;for(i0; i<3; i){//创建子进程pid_t pid fork();if(pid&…...
【SpringBoot面试题整理-超级有效】
文章目录 1.SpringBoot如何解决跨域问题？2.为什么要用Spring Boot？3. Spring Boot的约定优于配置，你的理解是什么？4. SpringBoot有哪些优点？5. Spring Boot中自动装配机制的原理？6.SpringBoot支持哪些日志框…...
岩土工程仪器多通道振弦传感器信号转换器应用于隧道安全监测
岩土工程仪器多通道振弦传感器信号转换器应用于隧道安全监测 多通道振弦传感器信号转换器VTI104_DIN 是轨道安装式振弦传感器信号转换器，可将振弦、温度传感器信号转换为 RS485 数字信号和模拟信号输出，方便的接入已有监测系统。 传感器状态 专用指示灯方…...
西瓜书读书笔记整理（五）—— 第四章 决策树
第四章 决策树 4.1 基本流程4.1.1 什么是决策树算法4.1.2 决策树学习的目的4.1.3 决策树学习基本过程4.1.4 决策树学习基本算法4.1.5 递归结束的三种情况 4.2 划分选择4.2.1 信息增益（information gain）—— ID3 决策树学习算法属性划分准则4.2.2 信息增…...
STM32 4G学习
硬件连接 ATK-IDM750C模块可直接与正点原子 MiniSTM32F103开发板板载的ATK模块接口（ATK-MODULE）进行连接。 功能说明 ATK-IDM750C是正点原子（ALIENTEK）团队开发的一款高性能4G Cat1 DTU产品，支持移动4G、联通4G和…...
Golang 中实现实时聊天通讯
客户端代码 package mainimport ("fmt""log""net/url""os""os/signal""time""github.com/gorilla/websocket" )func main() {interrupt : make(chan os.Signal, 1)signal.Notify(interrupt, os.Interr…...
前端面试的性能优化部分（5）每天10个小知识点
目录 系列文章目录前端面试的性能优化部分（1）每天10个小知识点前端面试的性能优化部分（2）每天10个小知识点前端面试的性能优化部分（3）每天10个小知识点前端面试的性能优化部分（4）每天…...
【链表OJ 1】移除链表元素val
大家好，欢迎来到我的博客，此题是关于链表oj的第一题，此后还会陆续更新博客，如有错误，欢迎大家指正。 来源:https://leetcode.cn/problems/remove-linked-list-elements/description/ 题目: 方法一:定义prev和cur指针…...
复原 IP 地址——力扣93
文章目录 题目描述回溯题目描述 回溯 class Solution{public:static constexpr int seg_count=4<...
【米家IoT开发】巧用Charles抓包，高效定位与调试网络接口
1. 为什么Charles是米家IoT开发的调试神器 当你开发米家扩展程序时，最头疼的莫过于接口返回异常数据，或者请求莫名其妙失败。这时候如果只能靠猜问题出在哪里，那简直就是在黑暗中摸索。我刚开始做米家IoT开发时，就经常被这种问题困…...
Qwen3.5-9B-AWQ-4bit部署指南：双卡RTX 4090-D镜像免配置快速上手
Qwen3.5-9B-AWQ-4bit部署指南：双卡RTX 4090-D镜像免配置快速上手 1. 模型概述 千问3.5-9B-AWQ-4bit是一个支持图像理解的多模态模型，能够结合上传图片与文字提示词，输出中文分析结果。这个量化版本特别适合处理以下任务： 图片主…...
Pixel Aurora Engine真实案例：用‘蒸汽朋克猫武士’生成整套游戏美术资源
Pixel Aurora Engine真实案例：用蒸汽朋克猫武士生成整套游戏美术资源 1. 项目背景与工具介绍 Pixel Aurora Engine（像素极光引擎）是一款基于AI扩散模型的高端像素艺术生成工具。它采用复古的8-bit游戏机风格界面，却能产出专业级…...
ARL灯塔扫不出指纹？手把手教你用Python脚本批量导入指纹库，提升资产识别准确率
ARL灯塔指纹识别优化实战：Python脚本批量导入与精准率提升指南 资产侦察灯塔（ARL）作为渗透测试领域的重要工具，其核心价值在于准确识别目标资产的技术特征。然而许多中级用户发现，默认指纹库在面对特定行业或新型资产…...
别再为联合仿真头疼了！手把手教你用Amesim 2019和Matlab 2022b配置S-Function（Win10环境）
从零搭建Amesim与Matlab联合仿真环境：避坑指南与实战技巧 联合仿真技术已成为多物理场系统设计的黄金标准，但配置过程却让无数工程师在深夜的办公室里抓狂——编译器版本冲突、环境变量设置错误、接口编译失败，每一个环节都可能成为项目进度的…...
2026最权威的AI写作神器解析与推荐
Ai论文网站排名（开题报告、文献综述、降aigc率、降重综合对比） TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 在学术研究范畴之内，人工智能技术的深度交融催生出了多种具备专业性的学术辅助平…...
AI 视频生成美女跳舞测评 | 顶级 Prompt实测版（Grok Imagine、Kling AI 3.0、Veo 3.1）
兄弟们，AI 视频生成已经卷到飞起了！之前写小黄文靠grok，现在生成“美女舞蹈”视频也得靠它。 今天上手实测截至今天热门的3款视频生成工具，专攻“美女跳舞”这个高难度场景：动作流畅度、人物一致性、性感画面感、提示…...
Adams导入SOLIDWORKS模型“隐身”难题：从Parasolid格式到视图显示的完整排查指南
1. 当你的模型在Adams中"隐身"了怎么办？ 最近有个做机械仿真的朋友跟我吐槽，说他在SOLIDWORKS里精心设计的模型，导出为Parasolid格式后导入Adams，结果模型树里明明有显示，3D视图区却空空如也。这种"看…...
高效低成本馈电保护电路设计与应用
1. 为什么需要馈电保护电路？ 有源天线在通信系统中扮演着重要角色，但实际使用中经常会遇到一些棘手的问题。比如在野外作业时，技术人员可能会频繁插拔天线；或者在长期运行过程中，天线内部电路可能出现故障。这些情况都…...
Pixel Dream Workshop 快速上手：Python 零基础入门到生成第一幅AI画作
Pixel Dream Workshop 快速上手：Python 零基础入门到生成第一幅AI画作 1. 前言：为什么选择Pixel Dream Workshop 如果你对AI绘画感兴趣但苦于没有编程基础，这篇教程就是为你量身定制的。Pixel Dream Workshop是一个对新手极其友好的AI绘画工…...