elk部署安装
elk部署
- 前提准备
- 1、elasticsearch
- 2、kibana
- 3、logstash
前提准备
1、提前装好docker docker-compose相关命令
2、替换docker仓库地址国内镜像源
cd /etc/docker
vi daemon.json
# 替换内容
{"registry-mirrors": [
"https://docker.1panel.dev",
"https://docker.fxxk.dedyn.io",
"https://docker.xn--6oq72ry9d5zx.cn",
"https://docker.m.daocloud.io",
"https://a.ussh.net",
"https://docker.zhai.cm"]}
参考地址:https://blog.csdn.net/llc580231/article/details/139979603
3、写一个docker-compose.yml(
新建一个网络、可通过容器名访问网络)
version: '2.1'
services:# 网络配置
networks:elastic_net:driver: bridge
4、提前下载好相关镜像
docker pull elasticsearch:7.10.1
docker pull kibana:7.10.1
docker pull logstash:7.10.1
docker images

1、elasticsearch
#(需要是root账户)
vim /etc/sysctl.conf
#(文件最后添加一行)
vm.max_map_count=262144
# 生效
sysctl -p
docker-compose.yml新增es相关配置
es:image: elasticsearch:7.10.1container_name: esenvironment:- "discovery.type=single-node"- "TZ=Asia/Shanghai"- "ES_JAVA_OPTS=-Xms512m -Xmx512m"ulimits:memlock:soft: -1hard: -1volumes:- /home/es:/usr/share/elasticsearch/dataports:- 9200:9200networks:- elastic_net
执行新建容器命令./docker-compose -f conf/docker-compose.yml up --build -d es
访问9200端口成功

2、kibana
docker-compose.yml新增kibana相关配置
kibana:container_name: kibanaimage: kibana:7.10.1restart: unless-stoppedenvironment:- "TZ=Asia/Shanghai"- "I18N_LOCALE=zh-CN"- "ELASTICSEARCH_HOSTS=http://es:9200"ports:- 5601:5601volumes:- /home/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.ymlnetworks:- elastic_net
新建文件/home/kibana/config/kibana.yml
server.name: kibana
# kibana的主机地址 0.0.0.0可表示监听所有IP
server.host: "0.0.0.0"
# # kibana访问es的URL、es容器名称
elasticsearch.hosts: [ "http://es:9200" ]
# #这里是在elasticsearch设置密码时的值,没有密码可不配置
elasticsearch.username: "elastic"
elasticsearch.password: "\"123456\""
# # # 显示登陆页面
xpack.monitoring.ui.container.elasticsearch.enabled: true
# # 语言配置中文
i18n.locale: "zh-CN"
执行新建容器命令./docker-compose -f conf/docker-compose.yml up --build -d kibana
访问5601成功

3、logstash
docker-compose.yml新增logstash相关配置
logstash:container_name: logstashimage: logstash:7.10.1ports:- 5044:5044volumes:- /home/logstash/pipeline:/usr/share/logstash/pipeline- /home/logstash/config:/usr/share/logstash/config- /home/nginx/log:/home/nginx/lognetworks:- elastic_net
新建/home/logstash/config和/home/logstash/pipeline文件夹
/home/logstash/config文件新建配置文件pipelines.yml、logstash.yml
#pipelines.yml
- pipeline.id: nginxpath.config: "/usr/share/logstash/pipeline/nginx_log.conf"#logstash.yml内容 es为容器名
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://es:9200" ]
/home/logstash/pipeline文件新建 nginx_log.conf 文件
#配置
input {file {type => "messages_log"path => "/home/nginx/log/error.log"}file {type => "secure_log"path => "/home/nginx/log/access.log"}
}
output {if [type] == "messages_log" {elasticsearch {hosts => ["http://es:9200"]index => "messages_log_%{+YYYY-MM-dd}"user => "elastic" # 如果需要认证,确保用户名正确 password => "123456" # 如果需要认证,确保密码正确 }}if [type] == "secure_log" {elasticsearch {hosts => ["http://es:9200"]index => "secure_log_%{+YYYY-MM-dd}"user => "elastic" # 如果需要认证,确保用户名正确 password => "123456" # 如果需要认证,确保密码正确 }}
}
执行新建容器命令./docker-compose -f conf/docker-compose.yml up --build -d logstash
可在kibana上查看es有相关索引

部署起来不是很难、但是没有实际应用logstash的功能、重点在/logstash/pipeline下的管道配置文件*.conf 输入输出过滤等操作、要写好相关的处理逻辑才能将错乱的日志处理成标准日志、至于conf文件的编写感觉很难需要学习相关的语法。
参考官网https://www.elastic.co/guide/en/logstash/current/config-examples.html
相关文章:
elk部署安装
elk部署 前提准备1、elasticsearch2、kibana3、logstash 前提准备 1、提前装好docker docker-compose相关命令 2、替换docker仓库地址国内镜像源 cd /etc/docker vi daemon.json # 替换内容 {"registry-mirrors": [ "https://docker.1panel.dev", "ht…...
使用 JAX 进行 LLM 分布式监督微调
LLM distributed supervised fine-tuning with JAX — ROCm Blogs (amd.com) 24年1月25日,Douglas Jia 发布在AMD ROCm 博客上的文章。 在这篇文章中,我们回顾了使用 JAX 对基于双向编码器表示(BERT)的大型语言模型(LL…...
【简单版】通过 Window.performance 实现前端页面(性能)监控
1 背景 前端监控系统告警xx接口fetchError 问题:前端监控系统没有更多的错误信息,查询该fetch请求对应的接口日志返回200状态码、无请求异常记录,且后台能查到通过该fetch请求成功发送的数据。那是前端页面的错误还是前端监控系统的问题&…...
微信小程序考试系统(lw+演示+源码+运行)
摘要 随着信息技术在管理上越来越深入而广泛的应用,管理信息系统的实施在技术上已逐步成熟。本文介绍了微信小程序考试系统的开发全过程。通过分析微信小程序考试系统管理的不足,创建了一个计算机管理微信小程序考试系统的方案。文章介绍了微信小程序考…...
手机摄影入门
感觉会摄影的人是能够从生活中发现美的人。 我不太会拍照,觉得拍好的照片比较浪费时间,而且缺乏审美也缺乏技巧,所以拍照的时候总是拍不好。但有时候还是需要拍一些好看的照片的。 心态和审美可能需要比较长时间提升,但一些基础…...
微信小程序手机号授权获取(aes加密手机号)
<view class="container"> <view class=topTabSwiper> <view class=tab {{currentData == 0 ? "tabBorer" : ""}} data-current = "0" bindtap=checkCurrent>一键授权<span class="tab_bor"><…...
asyn queueRequest使用实例
使用queueRequest读写端口驱动的示例,驱动驱动程序使用一个基于asyn实现了asynCommon和asynOctet的驱动程序-CSDN博客中编写的驱动程序,本程序的C代码如下: #include <stdlib.h> #include <stdio.h> #include <string.h>#…...
关于jmeter设置为中文问题之后无法保存设置的若干问题
1、jemeter如何设置中文模式 Options--->Choose Language--->Chinese(Simplifies), 如此设置后就可显示中文模式(缺点:下次打开还是英文);如下图所示: 操作完成之后: 但是下次重启之后依旧是英文; 2、在jmeter.…...
基于FPGA的信号发生器verilog实现,可以输出方波,脉冲波,m序列以及正弦波,可调整输出信号频率
目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 (完整程序运行后无水印) 输出方波 输出脉冲波 输出m随机序列 输出正弦波 2.算法运行软件版本 vivado2019.2 3.部分核心程序 (完整…...
背景全文及翻译
背景 Oracle数据向MySQL同步,没有最新数据,于是在plsql手敲SQL筛选最新数据时,执行报错。 问题描述 通过日期字段筛选最近的数据,我用了类似这样的语句: SELECT * FROM orders WHERE order_date > 2022/01/01;我…...
JAVA地狱级笑话
为什么Java开发者总是不怕黑暗? 因为他们总是有null指针来照亮路。 Java程序员最讨厌的音乐是什么? Garbage Collection旋律,节奏总是让他们烦躁。 为什么Java中的HashMap很擅长社交? 因为它总是能快速找到key对应的朋友。 Java开…...
宝塔PHP8.1安装fileinfo拓展失败解决办法
在宝塔面板中安装PHP8.1后,安装fileinfo扩展一直安装不上,查看日志有报错,于是手动来安装也报错。 宝塔报错: 手动命令行编译安装同,也有报错 cd /www/server/php/81/src/ext/fileinfo/ make distclean ./configure …...
Python 魔术方法
在Python中,魔术方法(Magic Methods)或称为双下划线方法(Dunder Methods),是一类具有特殊用途的方法,其名称前后都带有两个下划线(如 __init__、__str__ 等)。这些方法定…...
03 go语言(golang) - fmt包基本类型
fmt包 在Go语言中,fmt 包是一个非常重要且广泛使用的标准库包,它提供了格式化I/O(输入/输出)功能,类似于C语言中的 printf 和 scanf。通过这个包,你可以读取输入并将数据格式化输出到标准输出或其他写入器…...
Docker本地镜像发布到阿里云镜像服务的简易指南
1 阿里云容器镜像服务 阿里云容器镜像服务(Alibaba Cloud Container Registry,简称ACR)是一个为容器镜像、Helm Chart等云原生资产提供安全托管及高效分发的平台。它支持多架构容器镜像,包括Linux、Windows、ARM等,以…...
大数据学习---快速了解clickhouse数据库
ClickHouse数据库介绍 ClickHouse是一款由Yandex开发的列式数据库管理系统(DBMS),适用于在线分析处理(OLAP)场景。它具有高性能、可扩展性、实时更新等特点,适用于处理大规模数据。 特点 列式存储&#x…...
哪些方法可以缓解面试紧张?
面试紧张是许多人在面对重要职业机会时的一种常见情绪。虽然一定程度的紧张可能激发人的潜能,但过度的紧张则可能影响到面试表现。为了缓解面试紧张,以下是一些有效的方法: 1.充分准备: 深入了解公司背景、职位要求以及公司文化…...
即时通讯未读消息计数
单聊未读消息计数 未读消息的计数,分为两个部分:增加和减少 其中,未读消息计数的增加,是由数据库(redis)在写入消息的同时,增加对应接收方的未读消息计数 在线 用户在线时,客户端…...
在Openshift(K8S)上通过EMQX Operator部署Emqx集群
EMQX Operator 简介 EMQX Broker/Enterprise 是一个云原生的 MQTT 消息中间件。 我们提供了 EMQX Kubernetes Operator 来帮助您在 Kubernetes 的环境上快速创建和管理 EMQX Broker/Enterprise 集群。 它可以大大简化部署和管理 EMQX 集群的流程,对于管理和配置的知…...
Python酷玩之旅_数据分析入门(matplotlib)
导览 前言matplotlib入门1. 简介1.1 Pairwise data1.2 Statistical distributions1.3 Gridded data1.4 Irregularly gridded data1.5 3D and volumetric data 2. 实践2.1 安装2.2 示例 结语系列回顾 前言 翻看日历,今年的日子已划到了2024年10月19日,今天…...
沃虎电子|千兆网络变压器选型实战:从PoE等级到PHY匹配,一站式解决工程师的三大难题
在工业以太网、安防监控、光伏储能、无线AP等场景全面爆发的今天,千兆网络变压器已成为硬件设计中不可或缺的关键一环。然而,选型过程中的“隐形陷阱”——PoE供电不稳、封装温度错配、PHY芯片接法错误——却频频导致设备掉电、通信故障甚至批量召回。 …...
2026年SCI论文AI率要求5%以下?这3款降AI工具期刊场景亲测
投了一篇SCI二区,被审稿人指出AI率超标,编辑直接打回来要求修改。那是去年的事,折腾了我快两个月。 事情的起因很简单:我用DeepSeek辅助写了大量段落,初稿AI率检测下来68%,远超期刊要求的10%以下。降下去的…...
利用modbus_tcp实现多设备数据聚合:构建高效modbusSlave网关的实践指南
1. 为什么需要Modbus TCP数据聚合网关 在工业自动化现场,我们经常会遇到这样的场景:车间里分散着十几台PLC设备,每台设备都通过Modbus TCP协议暴露数据接口。这时候如果上位机系统要同时监控所有设备,传统做法是逐个建立连接轮询数…...
Dify 1.0.1升级后Ollama模型添加失败?手把手教你解决Internal Server Error
Dify 1.0.1升级后Ollama模型集成故障排查指南 最近在升级Dify到1.0.1版本后,不少开发者反馈通过Ollama添加模型时遇到无响应或Internal Server Error的问题。作为一名经历过同样困扰的技术实践者,我将在本文分享完整的排查思路和解决方案。 1. 问题现象与…...
d2s-editor:重新定义暗黑破坏神2存档管理的开源工具
d2s-editor:重新定义暗黑破坏神2存档管理的开源工具 【免费下载链接】d2s-editor 项目地址: https://gitcode.com/gh_mirrors/d2/d2s-editor 在暗黑破坏神2的冒险旅程中,存档文件如同玩家的生命线,记录着无数个小时的奋斗成果。然而传…...
基于MATLAB与Simulink的OFDM通信系统性能仿真:包括保护间隔、信道均衡与误比特率...
matlab调制解调 OFDM OTFS 16qam qpsk ldpc turbo在高斯白噪声,频率选择性衰落信道下的误比特率性能仿真,matlab代码 OFDM simulink 包括添加保护间隔(cp),信道均衡(ZF MMSE MRC MA LMSEE) 代码每行都有注释࿰…...
Unity游戏翻译革命:XUnity.AutoTranslator完全指南
Unity游戏翻译革命:XUnity.AutoTranslator完全指南 【免费下载链接】XUnity.AutoTranslator 项目地址: https://gitcode.com/gh_mirrors/xu/XUnity.AutoTranslator 你是否曾因为语言障碍而错过优秀的日本Unity游戏?是否厌倦了等待官方汉化却遥遥…...
使用 winget 卸载 SQLiteStudio:从命令到细节的完整指南
一条命令安装,一条命令卸载——winget 让 Windows 软件管理变得前所未有的简单 前言 SQLiteStudio 是一款轻量、跨平台的 SQLite 数据库管理工具,因其简洁的界面和强大的功能,深受开发者喜爱。在 Windows 上,越来越多的人选择通过微软官方包管理器 winget 来安装它: win…...
泛微OA字段联动与JS代码顺序控制的实战技巧:如何避免数据遍历中的坑
泛微OA字段联动与JS代码顺序控制的实战技巧:如何避免数据遍历中的坑 在泛微OA系统的二次开发中,字段联动和JS代码控制是提升表单交互性的两大核心功能。但当这两个功能需要在同一业务流程中协同工作时,开发者常常会遇到一个棘手的问题&#x…...
自动化测试:等待方式详解
🍅 点击文末小卡片,免费获取软件测试全套资料,资料在手,涨薪更快 在自动化测试中,等待是一个重要的技术,用于处理页面加载、元素定位、元素状态改变等延迟问题。等待能够确保在条件满足后再进行后续操作&a…...
