ELK(八)—Metricbeat部署
目录
- 介绍
- 修改配置文件
- 启动
- Module
- nginx开启状态查询
- 配置Nginx module
- 查看是否配置成功
介绍

Metricbeat 是一个轻量级的开源度量数据收集器,用于监控系统和服务。它由 Elastic 公司开发,并作为 Elastic Stack(Elasticsearch、Logstash、Kibana 以及 Beats)的一部分,用于收集、分析和可视化不同类型的度量数据。Metricbeat 主要专注于收集主机级别的度量数据,例如系统 CPU 使用率、内存使用率、磁盘使用率等。
以下是 Metricbeat 的一些关键特性和详解:
-
轻量级: Metricbeat 被设计成轻量级和高效的度量数据收集器。它使用 Go 语言编写,占用资源较少,适用于部署在各种环境中。
-
模块化: Metricbeat 使用模块来支持各种不同的数据源。每个模块都包含了针对特定应用或服务的配置和度量指标收集逻辑。这种模块化的设计使得 Metricbeat 很容易扩展和配置。
-
预定义的模块: Metricbeat 提供了一系列预定义的模块,用于收集常见的度量数据,包括系统级别、数据库、Web 服务器、云服务等。例如,有 Elasticsearch、MySQL、Nginx 等模块,可以方便地配置并收集相关的性能指标。
-
实时度量: Metricbeat 支持实时度量数据的收集和传输。它可以将采集到的度量数据发送到 Elasticsearch、Logstash 或者其他输出目的地,以便进行实时监控和分析。
-
可视化: Metricbeat 与 Kibana 集成,允许用户使用 Kibana 创建仪表板并可视化收集到的度量数据。这使得用户能够更直观地了解系统和服务的性能。
-
安全性: Metricbeat 提供了安全性配置选项,支持加密和身份验证,以确保数据传输的安全性。
-
跨平台: Metricbeat 可以运行在多种操作系统上,包括 Linux、Windows、Mac 等,适用于不同的部署场景。
Metricbeat 的工作流程通常包括以下步骤:
-
配置: 配置 Metricbeat,指定要收集的模块和相关的设置,例如目标 Elasticsearch 集群地址、输出目的地等。
-
启动: 启动 Metricbeat,它开始按照配置文件中定义的频率收集和发送度量数据。
-
传输: Metricbeat 将收集到的度量数据传输到指定的目的地,通常是 Elasticsearch。
-
可视化: 使用 Kibana 创建仪表板,通过图表和可视化工具查看和分析度量数据。
通过 Metricbeat,用户可以实时监控系统的性能、资源利用率、服务运行状况等,从而及时发现问题并进行调整和优化。
修改配置文件
# 移动到该目录下
cd /opt/elk
# 下载文件
wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-8.11.3-linux-x86_64.tar.gz
# 解压文件
tar -zxvf metricbeat-8.8.1-linux-x86_64.tar.gz
# 修改文件名
mv metricbeat-8.11.3-linux-x86_64.tar.gz metricbeat
修改配置文件
vim metricbeat.yml
添加如下内容:
metricbeat.config.modules:path: ${path.config}/modules.d/*.ymlreload.enabled: false
setup.template.settings:index.number_of_shards: 3index.codec: best_compression
setup.kibana:
output.elasticsearch:hosts: ["192.168.150.190:9200","192.168.150.189:9200","192.168.150.190:9200"] # 只需要改这里就可以了,把集群的ip以及对应的端口添加上就可以了。
processors:- add_host_metadata: ~- add_cloud_metadata: ~- add_docker_metadata: ~- add_kubernetes_metadata: ~

启动
在配置完成后,我们通过如下命令启动即可。
./metricbeat -e

在ELasticsearch中可以看到,系统的一些指标数据已经写入进去了:
下面看到的是系统的架构。

Module
Metricbeat Module的用法和我们之前的filebeat的用法差不多
#查看列表
./metricbeat modules list

同样的,Metricbeat有两个与模块相关的目录,从目录就可以知道了,hh

这里我们进入modules.d目录,可以看到模块的配置文件。
这里查看system的配资文件,如下;

nginx开启状态查询
在nginx中,需要开启状态查询,才能查询到指标数据。
./configure --prefix=/usr/local/nginx --with-http_stub_status_module 编译安装的是需要有这样一项才可以。
nginx已经在上一节中安装部署好了,这里我们看nginx的信息,可以看到已经开启了状态查询。
[root@elk_master sbin]# ./nginx -V
nginx version: nginx/1.25.0
built by gcc 8.5.0 20210514 (Red Hat 8.5.0-21) (GCC)
built with OpenSSL 1.1.1k FIPS 25 Mar 2021
TLS SNI support enabled
configure arguments: --prefix=/usr/local/ydhnginx --user=yandonghao --with-http_ssl_module --with-http_v2_module --with-threads --with-http_stub_status_module --with-stream
接下来,我们需要修改nginx的配置文件。

配置文件修改完成后,我们需要重新启动nginx。
然后导浏览器中进行访问。

配置Nginx module
Metricbeat启动nginx模块
./metricbeat modules enable nginx
修改配置文件
vim modules.d/nginx.yml
具体配置如下:

启动
./metricbeat -e
查看是否配置成功
我们能看到,我们的nginx数据已经成功的采集到我们的系统中了

可以看到,nginx的指标数据已经写入到了Elasticsearch。
相关文章:
ELK(八)—Metricbeat部署
目录 介绍修改配置文件启动 Modulenginx开启状态查询配置Nginx module查看是否配置成功 介绍 Metricbeat 是一个轻量级的开源度量数据收集器,用于监控系统和服务。它由 Elastic 公司开发,并作为 Elastic Stack(Elasticsearch、Logstash、Kiba…...
Ansible自动化运维以及模块使用
ansible的作用: 远程操作主机功能 自动化运维(playbook剧本基于yaml格式书写) ansible是基于python开发的配置管理和应用部署工具。在自动化运维中,现在是异军突起 ansible能够批量配置、部署、管理上千台主机。类似于Xshell的一键输入工具。不需要每…...
数据分析场景下,企业大模型选型的思路与建议
来源/作者:爱分析 随着大模型带来能力突破,让AI与数据分析相互结合,使分析结果更好支撑业务,促进企业内部数据价值释放,成为了当下企业用户尤为关注的话题。本次分享主要围绕数据分析场景下大模型底座的选型思路&#…...
Mongodb复制集架构
目录 复制集架构 复制集优点 复制集模式 复制集搭建 复制集常用命令 复制集增删节点 复制集选举 复制集同步 oplog分析 什么是oplog 查看oplog oplog大小 复制集架构 复制集优点 数据复制: 数据在Primary节点上进行写入,然后异步地复制到Secondary节点&a…...
云原生之深入解析Kubernetes集群发生网络异常时如何排查
一、Pod 网络异常 网络不可达,主要现象为 ping 不通,其可能原因为: 源端和目的端防火墙(iptables, selinux)限制; 网络路由配置不正确; 源端和目的端的系统负载过高,网络连接数满…...
error: C2039: “qt_metacast“: 不是 “***“ 的成员
报错信息: error C2039: "qt_metacast": 不是 "radartrack::Base_track_data" 的成员 最近在使用Qt开发,自定义的数据类在继承数据抽象类和QObject类时总是报“qt_metacast 不是不是 "radartrack::Base_track_data" 的成员…...
量子计算:开启IT领域的新时代
量子计算:开启IT领域的新时代 一、量子计算的基本原理与背景 量子计算作为一项前沿高级技术,正逐渐引起IT领域的广泛关注。传统计算机是通过二进制位(0和1)来储存和处理信息,而量子计算机则利用量子位或称为“量子比特…...
数据可视化---柱状图
类别内容导航机器学习机器学习算法应用场景与评价指标机器学习算法—分类机器学习算法—回归机器学习算法—聚类机器学习算法—异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱…...
第十七章 爬虫scrapy登录与中间件2
文章目录 数据盘区太快会报错,setting中配置延迟 连接提取器...
运维知识点-Kubernetes_K8s
Kubernetes RBAC配置不当攻击场景攻击过程 RBAC配置不当 Service Account本质是服务账号,是Pod连接K8s集群的凭证。 在默认情况下,系统会为创建的Pod提供一个默认的Service Account, 用户也可以自定义Service Account,与Service…...
某电子文档安全管理系统存在任意用户登录漏洞
漏洞简介 某电子文档安全管理系统存在任意用户登录漏洞,攻击者可以通过用户名获取对应的cookie,登录后台。 资产测绘 Hunter语法:web.icon“9fd216c3e694850445607451fe3b3568” 漏洞复现 获取Cookie POST /CDGServer3/LinkFilterServi…...
音视频参数介绍
一、视频参数概念 单个视频帧:可以简单地理解成为一张图片 单个视频帧主要的参数概念: 分辨率: 分辨率是指图像或显示器上像素的数量,通常用横向像素数乘以纵向像素数表示。例如,1920x1080 表示宽度为1920像素&…...
vue中使用minio上传文件
创建一个 文件getOssClient import { getOssSetting } from "/api/common"; import Vue from "vue"; import { getCookies, getLocal } from "/utils/auth"; // get token from cookie export async function getStsToken() {//从后台获取stsTo…...
MySQL表的增删改查(初阶)
CRUD 即增加(Create)、查询(Retrieve)、更新(Update)、删除(Delete)四个单词的首字母缩写。且增删改查(CRUD,create,retrieve,update,delete)数据库的核心模块。 1. 新增(Create) 实…...
搜维尔科技:关于“第九届元宇宙数字人设计大赛”线上+线下巡回宣讲本周高校行程通告!
为了让大家更全面地了解此次大赛,顺利地进行大赛的报名和参赛,组委会遴选了一批优秀讲师代表,组建了宣讲团,以线上线下的方式陆续开展巡回宣讲。宣讲兼顾不同学生群体的需求,结合在数字人设计制作的过程中常见的疑难点…...
Gemini 1.0:Google推出的全新AI模型,改变生成式人工智能领域的游戏规则!
Gemini 1.0:Google推出的全新AI模型,将改变生成式人工智能领域的游戏规则! 🎥 屿小夏 : 个人主页 🔥个人专栏 : IT杂谈 🌄 莫道桑榆晚,为霞尚满天! 文章目录 …...
excel打开并操作CAD(excel-vba实现)_另附:CAD打开excel
excelvba可实现调用cad应用程序,并通过excel内置api弹窗实现打开、另存CAD 文件(cad-vba弹窗功能较为麻烦),代码如下(在excel_vba环境下操作): Sub excel_vba打开另存并操作CAD文件() Dim cad …...
Prolist组件实现动态竖排展示
实现原理:主要是利用外层div属性display:"flex",overflowX: auto,配合内层prolist样式属性flex:"0 0 auto",overflowX:"auto",width:"350px",height:900,实现动态竖排展示 <div style{{display:…...
基于JAVA的海南旅游景点推荐系统 开源项目
目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 用户端2.2 管理员端 三、系统展示四、核心代码4.1 随机景点推荐4.2 景点评价4.3 协同推荐算法4.4 网站登录4.5 查询景点美食 五、免责说明 一、摘要 1.1 项目介绍 基于VueSpringBootMySQL的海南旅游推荐系统ÿ…...
【Apache-StreamPark】Flink 开发利器 StreamPark 的介绍、安装、使用
【Apache-StreamPark】Flink 开发利器 StreamPark 的介绍、安装、使用 1)框架介绍与引入1.1.🚀 什么是 StreamPark1.2.🎉 Features1.3.🏳🌈 组成部分1.4.引入 StreamPark 2)安装部署2.1.环境要求2.2.Hado…...
云原生核心技术 (7/12): K8s 核心概念白话解读(上):Pod 和 Deployment 究竟是什么?
大家好,欢迎来到《云原生核心技术》系列的第七篇! 在上一篇,我们成功地使用 Minikube 或 kind 在自己的电脑上搭建起了一个迷你但功能完备的 Kubernetes 集群。现在,我们就像一个拥有了一块崭新数字土地的农场主,是时…...
线程同步:确保多线程程序的安全与高效!
全文目录: 开篇语前序前言第一部分:线程同步的概念与问题1.1 线程同步的概念1.2 线程同步的问题1.3 线程同步的解决方案 第二部分:synchronized关键字的使用2.1 使用 synchronized修饰方法2.2 使用 synchronized修饰代码块 第三部分ÿ…...
【SpringBoot】100、SpringBoot中使用自定义注解+AOP实现参数自动解密
在实际项目中,用户注册、登录、修改密码等操作,都涉及到参数传输安全问题。所以我们需要在前端对账户、密码等敏感信息加密传输,在后端接收到数据后能自动解密。 1、引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId...
P3 QT项目----记事本(3.8)
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...
【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张(Windows/Linux)
要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况,可以通过以下几种方式模拟或触发: 1. 增加CPU负载 运行大量计算密集型任务,例如: 使用多线程循环执行复杂计算(如数学运算、加密解密等)。运行图…...
UR 协作机器人「三剑客」:精密轻量担当(UR7e)、全能协作主力(UR12e)、重型任务专家(UR15)
UR协作机器人正以其卓越性能在现代制造业自动化中扮演重要角色。UR7e、UR12e和UR15通过创新技术和精准设计满足了不同行业的多样化需求。其中,UR15以其速度、精度及人工智能准备能力成为自动化领域的重要突破。UR7e和UR12e则在负载规格和市场定位上不断优化…...
10-Oracle 23 ai Vector Search 概述和参数
一、Oracle AI Vector Search 概述 企业和个人都在尝试各种AI,使用客户端或是内部自己搭建集成大模型的终端,加速与大型语言模型(LLM)的结合,同时使用检索增强生成(Retrieval Augmented Generation &#…...
python报错No module named ‘tensorflow.keras‘
是由于不同版本的tensorflow下的keras所在的路径不同,结合所安装的tensorflow的目录结构修改from语句即可。 原语句: from tensorflow.keras.layers import Conv1D, MaxPooling1D, LSTM, Dense 修改后: from tensorflow.python.keras.lay…...
LINUX 69 FTP 客服管理系统 man 5 /etc/vsftpd/vsftpd.conf
FTP 客服管理系统 实现kefu123登录,不允许匿名访问,kefu只能访问/data/kefu目录,不能查看其他目录 创建账号密码 useradd kefu echo 123|passwd -stdin kefu [rootcode caozx26420]# echo 123|passwd --stdin kefu 更改用户 kefu 的密码…...
MySQL 主从同步异常处理
阅读原文:https://www.xiaozaoshu.top/articles/mysql-m-s-update-pk MySQL 做双主,遇到的这个错误: Could not execute Update_rows event on table ... Error_code: 1032是 MySQL 主从复制时的经典错误之一,通常表示ÿ…...
