当前位置： 首页 > news >正文

IT运维：使用数据分析平台监控DELL服务器

news 2025/9/14 22:36:34

概述

在企业日常运维中，我们有着大量的服务器设备，设备故障一般可以通过常用的监控软件实现自动告警，但如果在管理运维中我们要做的不仅仅是发现故障，处理硬件故障，我们还需要进一步的了解，今年一共出现了多少次硬件故障，其中内存故障多少次，硬盘故障多少次，主板、CPU故障多少次，到底哪台服务器故障最多？这些事件可以给我们是否更换设备，减少故障提供依据。

我们选用鸿鹄对服务器的日志进行收集，它可以快速搜索，也能够定制图表，完美的解决掉这些痛点。

监控目标

收集基础架构中服务器设备的日志

监控服务器设备的登录安全

监控服务器设备的配置安全

统计服务器设备的故障情况

安装vector

Vector作为数据采集器，可以接收设备的syslog日志，并转发鸿鹄平台。Vector配置方法参考下文：

安装Vector

图片

查看安装后vector版本，确认安装成功

vector安装好后，直接执行vector 时，系统首先会去/usr/bin下寻找命令，如果不在这个目录中，就会找不到了。这个时候我们就需要为这些找不到的命令建立一个链接文件，链接到/usr/bin下  

图片

（具体代码请加入鸿鹄技术交流群，详见鸿鹄知识库）

登录鸿鹄平台，数据管理>新建数据集

图片

图片

编辑数据源名称，选择数据集范围为上面创建的“switch”，此时会启用

图片

创建syslog.toml脚本，需要调整字段

address = "0.0.0.0:514"：0.0.0.0表示接收所有主机发送过来的syslog，514表示接收的端口（syslog默认为514）

._target_table = "switch" : 表示上文你创建的数据集名称

mode = "udp"：表示接收syslog的协议syslog默认为udp）

address = "172.20.6.111:9092"：鸿鹄的IP和相应的端口

图片

运行修改的syslog脚本，注意保持运行状态。

图片

（具体代码请加入鸿鹄技术交流群，详见鸿鹄知识库）

登录交换机触发syslog（注：登录交换机输入命令都会自动触发syslog）。登录鸿鹄平台查看数据是否导入到switch数据集。如下图事件计数已经显示数据导入成功

图片

查询下通过vector导入到switch数据集的数据

图片

图片

配置服务器syslog

配置系统日志服务器，填写日志系统的IP，端口号默认

图片

开启警报

图片

设置发送到日志平台的警报类型

图片

鸿鹄查看是否收到日志

图片

字段抽取

抽取字段的目的：比如在生成图表时，我要调用severity，发现鸿鹄并没有提取这个字段，那么我就没法调用这个字段生成图表。

IDRAC由于有自己特定的日志格式，鸿鹄并不会抽取所有字段，因此要针对IDRAC日志格式进行数据抽取。字段抽取的逻辑是，先通过sql语句创建视图，视图生成后我们就可以直接调用视图里的字段，它实际日志仍旧存放在原数据集。

我们先分析下IDRAC的日志格式。我们实际的日志格式分析，需要抽取的字段

图片

idrac_syslog，这里是需要新建的视图名称

switch._time 脚本中由第六行开始switch均指的需要抽取数据的原数据集，这里需要根据你的数据集名称替换

where contains( switch._message, 'iDRAC') 'iDRAC'指的是你要搜索到这个写日志特定的字段，通过IDRAC可以限定日志里所有包含IDRAC的日志

图片

正则表达式如何写以及测试

访问https://regex101.com/，在REGULAR EXPRESSION里填写正则表达式，或直接在这里写

在TESTING STRING里输入日志，可以直接从鸿鹄上拷贝相关的日志

正则表达式如果是正确的，会生成对应的颜色，以及右下角会Match  information里会显示抽取的字段名和字段内容

图片

在高阶查询中运行，成功

图片

我们运行下搜索语句测试下，同时在红色部分可以看到我们抽取出来的字段

图片

图表展示

在图表创建部分，我这边每个类型的图表只会举一个例子，但会把所有的搜索语言列出来，供大家参考。

仪表板>新建仪表板

图片

创建完成

图片

日志告警等级统计

新建图表>日志告警等级统计

选择图表类型：饼图

查询语句：这个语句可以先在查询里验证，确认查找的结果是想要的

时间范围：选择30天，可以根据自己的情况调整

图片

图片

生成图表后，可以查看到近30天内，各种类型的告警情况。

目的：比如没有error，没有告警，我们就可以很轻易的判断设备运行良好。也可以很容易的判断目前各个类型告警占比。

图片

服务器数量

新建图表>服务器数量

选择图表类型：单值趋势图

查询语句：这个语句可以先在查询里验证，确认查找的结果是想要的

时间范围：选择30天，可以根据自己的情况调整

图片

图片

生成图表后，可以统计所有有日志的发送到鸿鹄的服务器数量。

目的：用于确认当前监控的服务器总计数量，便于检查错漏，主要为了图表布局的好看。

图片

配置变更明细

新建图标>配置更变明细

选择图表类型：表格（由于我这里需要展示明细，所以选择表格的方式）

查询语句：这个语句可以先在查询里验证，确认查找的结果是想要的

时间范围：选择30天，可以根据自己的情况调整

图片

图片

生成图表后，可以查看到具体哪个时间，哪个用户，哪个设备，做了哪些操作

目的：比如在非维护时间段或者非工作时间段，变更设备配置，通过查询看看哪些人在这个时间段登录设备，进行了哪些配置，从而判断这些行为是否正常，是否合规。

图片

配置变更图表

新建图标>配置更变图表

选择图表类型：柱状图

查询语句：这个语句可以先在查询里验证，确认查找的结果是想要的

时间范围：选择30天，可以根据自己的情况调整

图片

图片

生成图表后，可以查看到最近一个月哪些服务器变更了多少次配置

目的：比如最近并没有故障或维护，服务器配置出现变更就是异常事件，通过配置更变明细可以判断这些行为是否正常，是否合规。

图片

配置变更趋势图表

新建图标>配置变更趋势图表

选择图表类型：线状图

查询语句：这个语句可以先在查询里验证，确认查找的结果是想要的

时间范围：选择30天，可以根据自己的情况调整

图片

图片

生成图表后，可以查看到最近一个月服务器变更了的趋势是怎么样的

目的：比如最近并没有故障或维护，服务器配置出现变更就是异常事件，通过配置更变明细可以判断这些行为是否正常，是否合规。

图片

搜索语句

以下列出所有本文中的搜索语句，供参考

小提示：搜索语句命令部分会调用抽取的字符段，如果未抽取字符段，会出现报错

图片

效果图

图表创建完成后，我们选择“网格布局”对图表布局进行优化调整，最终效果图如下

图片

相关文章：

IT运维：使用数据分析平台监控DELL服务器

概述 在企业日常运维中，我们有着大量的服务器设备，设备故障一般可以通过常用的监控软件实现自动告警，但如果在管理运维中我们要做的不仅仅是发现故障，处理硬件故障，我们还需要进一步的了解，今年一共出现了多…...

编程日记 2023/8/29 19:48:14

Spring Cloud Alibaba-Sentinel规则

1 流控规则 流量控制，其原理是监控应用流量的QPS(每秒查询率) 或并发线程数等指标，当达到指定的阈值时 对流量进行控制，以避免被瞬时的流量高峰冲垮，从而保障应用的高可用性。 第1步: 点击簇点链路，我们就可以看到访…...

编程日记 2023/8/29 19:47:13

go http-proxy

我们这里主要讲使用HTTP／1.1协议中的CONNECT方法建立起来的隧道连接，实现的HTTP Proxy。这种代理的好处就是不用知道客户端请求的数据，只需要原封不动的转发就可以了，对于处理HTTPS的请求就非常方便了，不用解析他的内容…...

编程日记 2023/8/29 19:46:11

用变压器实现德-英语言翻译【01/8】:嵌入层

一、说明 本文是“用变压器实现德-英语言翻译”系列的第一篇文章。它引入了小规模的嵌入来建立感知系统。接下来是嵌入层的变压器使用。下面简要概述了每种方法，然后是德语到英语的翻译。 二、技术背景 嵌入层的目标是使模型能够详细了解单词、标记或其他输入之间的…...

编程日记 2023/8/29 19:45:09

【vue3.0中ref与reactive的区别及使用】

什么是ref与reactive ref与reactive都是Vue3.0中新增的API，用于响应式数据的处理。 1. ref ref是一个函数，可以用于将一个普通的数据类型转换成响应式数据。ref返回一个包含value属性的对象，通过修改value属性的值，可以触发组件…...

编程日记 2023/8/29 19:44:08

计算机竞赛 基于情感分析的网络舆情热点分析系统

文章目录 0 前言1 课题背景2 数据处理3 文本情感分析3.1 情感分析-词库搭建3.2 文本情感分析实现3.3 建立情感倾向性分析模型 4 数据可视化工具4.1 django框架介绍4.2 ECharts 5 Django使用echarts进行可视化展示5.1 修改setting.py连接mysql数据库5.2 导入数据5.3 使用echarts…...

编程日记 2023/8/29 19:43:06

C++ 动态分配内存|动态数组

int** arr new int* [n]; for (int i 0; i < n; i) {arr[i] new int[2]; } 以上代码是用C动态分配了一个二维数组arr&#xff0c;其中arr是一个指向int指针的指针&#xff0c;n是一个整数。代码的目的是创建一个包含n个大小为2的整数数组的二维数组。 首先&#xff0c;…...

编程日记 2023/8/29 19:42:05

React Diff算法原理

文章目录 前言Diff算法原理 前言 &#x1f449;点此&#xff08;想要了解Diff算法&#xff09; Diff算法原理 React Diff算法是React用于更新虚拟DOM树的一种算法。它通过比较新旧虚拟DOM树的差异&#xff0c;然后只对有差异的部分进行更新&#xff0c;从而提高性能。 Reac…...

编程日记 2023/8/29 19:41:03

查局域网所有占用IP

查局域网所有占用IP 按&#xff1a;winr 出现下面界面&#xff0c;在文本框中输入 cmd 按确定即可出现cmd命令界面 在cmd命令窗口输入你想要ping的网段&#xff0c;下面192.168.20.%i即为你想要ping的网段&#xff0c;%i代表0-255 for /L %i IN (1,1,254) DO ping -w 1 -n 1…...

编程日记 2023/8/29 19:40:02

【MySQL】引擎类型

与其他DBMS一样&#xff0c;MySQL有一个 具体管理和处理数据的内部引擎 。在使用create table语句时&#xff0c;该引擎具体创建表&#xff0c;而在使用select或进行其他数据库处理时&#xff0c;该引擎在内部处理你的请求。多数时候&#xff0c;引擎都隐藏在DBMS内&#xff0…...

编程日记 2023/8/29 19:38:59

springMVC之HttpMessageConverter

文章目录 前言一、RequestBody二、RequestEntity三、ResponseBody四、SpringMVC处理json五、SpringMVC处理ajax六、RestController注解七、ResponseEntity总结 前言 HttpMessageConverter&#xff0c;报文信息转换器&#xff0c;将请求报文转换为Java对象&#xff0c;或将Java…...

编程日记 2023/8/29 19:37:58

计算机网络aaaaaaa

差错检测 在一段时间内&#xff0c;传输错误的比特占所传输比特总数的比率称为误码率BER(Bit Error Rate) 11111111111111111111111111111111111111111111111111111111111111111111111111111111 11111111111111111111111111111111111111111111111111111111111111111111111111…...

编程日记 2023/8/29 19:36:54

pdf.js构建时，报Cannot read property ‘createChildCompiler‘ of undefined #177的解决方法

在本地和CI工具进行构建时&#xff0c;报如下错误。 Cannot read property createChildCompiler of undefined #177解决方法&#xff1a; 找到vue.config.js&#xff0c;在 module.exports {parallel: false, //新增的一行chainWebpack(config) {....config.module.rule(&…...

编程日记 2023/8/29 19:35:52

Spring Boot(Vue3+ElementPlus+Axios+MyBatisPlus+Spring Boot 前后端分离)【六】

&#x1f600;前言 本篇博文是关于Spring Boot(Vue3ElementPlusAxiosMyBatisPlusSpring Boot 前后端分离)【六】&#xff0c;希望你能够喜欢 &#x1f3e0;个人主页&#xff1a;晨犀主页 &#x1f9d1;个人简介&#xff1a;大家好&#xff0c;我是晨犀&#xff0c;希望我的文章…...

编程日记 2023/8/29 19:34:44

idea配置注释模板

一、类的模板 设置里面依次找到图中标注的地方 填入 /** ${describe} author 填入你的名字 date ${YEAR}-${MONTH}-${DAY} ${TIME} version 1.0.0 */配置完成后&#xff0c;新创建的类就会自动生成类开头的注释 二、方法的注释模板 如图创建模板 步骤6中填入 *** $descrip…...

编程日记 2023/8/29 19:33:43

Unity编辑器扩展：提高效率与创造力的关键

Unity编辑器扩展&#xff1a;提高效率与创造力的关键 前言 一、理解Unity编辑器二、扩展Unity编辑器的意义三、扩展Unity编辑器的必要性四、Unity编辑器的扩展方式五、扩展Unity编辑器的步骤六、Unity编辑器扩展的应用案例七、总结 前言 Unity是一款广泛使用的游戏开发引擎&am…...

编程日记 2023/8/29 19:32:41

Java之对象引用实践

功能概述 从JDK1.2版本开始&#xff0c;程序可以通过4种类型的对象的引用来管控对象的生命周期。这4种引用分别为&#xff0c;强引用、软引用、弱引用和虚引用。本文中针对各种引用做了相关测试&#xff0c;并做对应分析。 功能实践 场景1&#xff1a;弱引用、虚引用、软引用…...

编程日记 2023/8/29 19:31:39

IntelliJ IDEA快捷键大全 + 动图演示！

来自&#xff1a;https://mp.weixin.qq.com/s/434xV02QkDiAFC1yFCAtZw 一、构建/编译 二、文本编辑 三、光标操作 四、文本选择 五、代码折叠 六、多个插入符号和范围选择 七、辅助编码 八、上下文导航 九、查找操作 十、符号导航 十一、代码分析 十二、运行和调试 …...

编程日记 2023/8/29 19:30:38

React 生命周期

React的生命周期 一、什么是React的生命周期二、传统生命周期2.1、挂载&#xff08;Mounting&#xff09;2.2、更新&#xff08;Updating&#xff09;2.3、卸载&#xff08;Unmounting&#xff09;2.4、API2.4.1、render2.4.1.1、Updating 阶段&#xff0c;render调用完还有可能…...

编程日记 2023/8/29 19:29:35

5G智能网关如何解决城市停车痛点难点

2023年上半年&#xff0c;我国汽车新注册登记1175万辆&#xff0c;同比增长5.8%&#xff0c;88个城市汽车保有量超过100万辆&#xff0c;北京、成都等24个城市超过300万辆。随着车辆保有量持续增加&#xff0c;停车难问题长期困扰城市居民&#xff0c;也导致城市路段违停普遍、…...

编程日记 2023/8/29 19:28:33

大数据学习栈记——Neo4j的安装与使用

本文介绍图数据库Neofj的安装与使用&#xff0c;操作系统&#xff1a;Ubuntu24.04&#xff0c;Neofj版本&#xff1a;2025.04.0。 Apt安装 Neofj可以进行官网安装&#xff1a;Neo4j Deployment Center - Graph Database & Analytics 我这里安装是添加软件源的方法 最新版…...

编程新知 2025/9/14 10:47:03

基于服务器使用 apt 安装、配置 Nginx

&#x1f9fe; 一、查看可安装的 Nginx 版本 首先&#xff0c;你可以运行以下命令查看可用版本&#xff1a; apt-cache madison nginx-core输出示例&#xff1a; nginx-core | 1.18.0-6ubuntu14.6 | http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages ng…...

编程新知 2025/8/26 18:00:13

ios苹果系统，js 滑动屏幕、锚定无效

现象&#xff1a;window.addEventListener监听touch无效&#xff0c;划不动屏幕&#xff0c;但是代码逻辑都有执行到。 scrollIntoView也无效。 原因&#xff1a;这是因为 iOS 的触摸事件处理机制和 touch-action: none 的设置有关。ios有太多得交互动作&#xff0c;从而会影响…...

编程新知 2025/9/12 23:22:17

深度学习水论文：mamba＋图像增强

&#x1f9c0;当前视觉领域对高效长序列建模需求激增&#xff0c;对Mamba图像增强这方向的研究自然也逐渐火热。原因在于其高效长程建模&#xff0c;以及动态计算优势&#xff0c;在图像质量提升和细节恢复方面有难以替代的作用。 &#x1f9c0;因此短时间内&#xff0c;就有不…...

编程新知 2025/9/6 12:25:16

华为OD机考-机房布局

import java.util.*;public class DemoTest5 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseSystem.out.println(solve(in.nextLine()));}}priv…...

编程新知 2025/9/3 19:19:44

STM32---外部32.768K晶振（LSE）无法起振问题

晶振是否起振主要就检查两个1、晶振与MCU是否兼容&#xff1b;2、晶振的负载电容是否匹配 目录 一、判断晶振与MCU是否兼容 二、判断负载电容是否匹配 1. 晶振负载电容&#xff08;CL&#xff09;与匹配电容&#xff08;CL1、CL2&#xff09;的关系 2. 如何选择 CL1 和 CL…...

编程新知 2025/9/10 7:39:21

「全栈技术解析」推客小程序系统开发：从架构设计到裂变增长的完整解决方案

在移动互联网营销竞争白热化的当下&#xff0c;推客小程序系统凭借其裂变传播、精准营销等特性&#xff0c;成为企业抢占市场的利器。本文将深度解析推客小程序系统开发的核心技术与实现路径&#xff0c;助力开发者打造具有市场竞争力的营销工具。​ 一、系统核心功能架构&…...

编程新知 2025/8/21 16:28:18

MySQL 主从同步异常处理

阅读原文&#xff1a;https://www.xiaozaoshu.top/articles/mysql-m-s-update-pk MySQL 做双主&#xff0c;遇到的这个错误&#xff1a; Could not execute Update_rows event on table ... Error_code: 1032是 MySQL 主从复制时的经典错误之一&#xff0c;通常表示&#xff…...

编程新知 2025/8/4 1:00:56

【安全篇】金刚不坏之身：整合 Spring Security + JWT 实现无状态认证与授权

摘要 本文是《Spring Boot 实战派》系列的第四篇。我们将直面所有 Web 应用都无法回避的核心问题&#xff1a;安全。文章将详细阐述认证&#xff08;Authentication) 与授权&#xff08;Authorization的核心概念&#xff0c;对比传统 Session-Cookie 与现代 JWT&#xff08;JS…...

编程新知 2025/8/3 23:00:48

数据结构：泰勒展开式：霍纳法则（Horner‘s Rule）

目录 &#x1f50d; 若用递归计算每一项&#xff0c;会发生什么&#xff1f; Horners Rule&#xff08;霍纳法则&#xff09; 第一步&#xff1a;我们从最原始的泰勒公式出发 第二步&#xff1a;从形式上重新观察展开式 &#x1f31f; 第三步&#xff1a;引出霍纳法则&…...

编程新知 2025/9/13 17:29:56