在CSDN学Golang场景化解决方案(EFK分布式日志系统方案)
一,ElasticSearch 分布式集群部署
在 Golang EFK 分布式日志系统方案中,ElasticSearch 是一个分布式搜索引擎和数据存储库,它可以用于存储和搜索大量的日志数据。以下是 ElasticSearch 分布式集群部署的步骤:
- 下载 ElasticSearch:从 ElasticSearch 官网上下载最新版本的 ElasticSearch。
- 解压缩并安装 ElasticSearch:将下载下来的文件解压缩到指定目录中,并按照官方文档进行安装。
- 配置 ElasticSearch:通过修改 config 目录下的 elasticsearch.yml 文件来配置 ElasticSearch 的相关参数,如集群名称、节点名称、网络接口等。具体可参考官方文档。
- 启动 ElasticSearch:使用命令行工具进入到 ElasticSearch 的 bin 目录,并执行以下命令启动 ElasticSearch:
./elasticsearch
- 添加节点:为了实现高可用性和负载均衡,在同一局域网内可以添加多个节点。要添加节点,请重复以上步骤,在每个节点上安装并启动 ElasticSearch,并确保各个节点的配置文件中设置了相同的集群名称。
- 验证集群状态:打开浏览器,输入 http://localhost:9200/_cat/nodes?v 命令来查看集群状态信息,如果所有节点都正确加入集群,则说明分布式部署成功。
在 Golang EFK 分布式日志系统方案中,ElasticSearch 的分布式集群部署需要先下载和安装 ElasticSearch,并按照官方文档进行配置和启动。最后添加多个节点并验证集群状态即可。
二,analysis-ik分析器与分词器
对于Golang和EFK分布式日志系统方案中的Analysis-IK分析器和分词器,可以按照以下步骤进行配置:
- 下载和安装Elasticsearch:从官网下载适合你操作系统的版本,解压文件并进行相应配置。
- 安装IK插件:下载适合您所使用的Elasticsearch版本的IK插件,并将其解压缩到elasticsearch/plugins目录下。然后在config/elasticsearch.yml文件中添加如下内容:
index.analysis.analyzer.default.type : "ik_smart"
- 配置Fluentd与Elasticsearch连接:使用Fluentd插件fluent-plugin-elasticsearch连接到Elasticsearch集群。在Fluentd配置文件中添加相应内容。
- 编写Golang程序记录日志:使用第三方库logrus或zap等编写代码记录日志,并将其发送给Fluentd处理。
- 在Kibana中查看分词结果:通过浏览器访问Kibana控制台,在控制台中对日志进行查询、过滤等操作,并查看分词结果。
Analysis-IK分析器和分词器可以帮助我们实现更精确的文本搜索和聚类,提高搜索引擎的准确性和效率。同时,我们需要了解相关工具的用法和配置方法,以便正确地使用它们。
三,logstash 管道安装
在 Golang EFK 分布式日志系统方案中,Logstash 是用于收集、处理和转发日志数据的工具。以下是安装 Logstash 管道的步骤:
- 下载和安装 Java 运行环境:Logstash 是基于 Java 开发的,所以需要先下载和安装 Java 运行环境。
- 下载和解压缩 Logstash:从官网下载适合你操作系统的版本,解压文件到你喜欢的目录下。
- 配置 Logstash 管道:在解压后的目录下找到 conf 目录,编辑 logstash.conf 文件,并根据实际情况进行配置。例如:
input {file {path => "/var/log/nginx/access.log"start_position => "beginning"}
}filter {grok {match => { "message" => "%{COMBINEDAPACHELOG}" }}
}output {elasticsearch {hosts => ["localhost:9200"]index => "nginx-access-%{+YYYY.MM.dd}"}
}
上述配置示例使用 input 插件从本地 Nginx 访问日志中读取数据,使用 filter 插件对数据进行 grok 处理(即从原始文本中提取有用信息),然后使用 output 插件将处理后的数据发送给 Elasticsearch。
- 启动 Logstash 管道:通过命令行进入到 Logstash 的 bin 目录下,执行以下命令启动管道:
./logstash -f /path/to/logstash.conf
- 检查日志:在 Logstash 启动后,可以通过控制台输出查看日志处理情况。若无异常,则数据已成功传输到 Elasticsearch 中。
安装 Logstash 管道需要先下载和安装 Java 运行环境,然后下载和解压缩 Logstash 并进行相应配置,最后启动管道并检查日志。
四,filebeat 从日志文件采集日志
在 Golang EFK 分布式日志系统方案中,Filebeat 是用于采集和传输日志数据的工具。以下是使用 Filebeat 从日志文件采集日志的步骤:
- 下载和解压缩 Filebeat:从官网下载适合你操作系统的版本,解压文件到你喜欢的目录下。
- 配置 Filebeat:在解压后的目录下找到配置文件 filebeat.yml,并根据实际情况进行配置。例如:
filebeat.inputs:
- type: logenabled: truepaths:- /var/log/nginx/access.logfields:service: nginxoutput.elasticsearch:hosts: ["localhost:9200"]
上述配置示例使用 filebeat.inputs 插件指定要采集的日志文件路径和名称,使用 output.elasticsearch 插件将处理后的数据发送给 Elasticsearch。
- 启动 Filebeat:通过命令行进入到 Filebeat 的安装目录下,执行以下命令启动服务:
./filebeat -e -c /path/to/filebeat.yml
其中参数 -e 表示以调试模式运行,-c 指定配置文件路径。
- 检查数据:在 Filebeat 启动后,可以通过控制台输出查看日志采集情况。若无异常,则数据已成功传输到 Elasticsearch 中。
使用 Filebeat 从日志文件采集日志需要先下载和解压缩 Filebeat 并进行相应配置,最后启动服务并检查数据。
五,golang通过SDK主动上传日志
在 Golang EFK 分布式日志系统方案中,SDK 是用于编写程序主动上传日志的工具。以下是使用 SDK 主动上传日志的步骤:
- 下载和安装 Elasticsearch 客户端库:通过以下命令下载 Elasticsearch 客户端库:
go get github.com/olivere/elastic
- 编写程序代码:在 Golang 中,可以使用上一步下载的 Elasticsearch 客户端库来操作 Elasticsearch。例如:
package mainimport ("context""fmt""github.com/olivere/elastic/v7"
)func main() {ctx := context.Background()client, err := elastic.NewClient(elastic.SetURL("http://localhost:9200"))if err != nil {fmt.Println("Failed to create client:", err)return}indexName := "mylogindex"data := map[string]interface{}{"message": "Hello world!",}put1, err := client.Index().Index(indexName).BodyJson(data).Do(ctx)if err != nil {fmt.Println("Failed to put data into index:", err)return}fmt.Printf("Indexed data with ID %s to index %s\n", put1.Id, put1.Index)
}
上述代码示例创建了一个名为 mylogindex 的索引,并向其中插入一条数据。
- 运行程序:运行以上代码即可将数据主动上传到 Elasticsearch 中。
使用 Golang SDK 主动上传日志需要先下载和安装 Elasticsearch 客户端库,并编写相应的程序代码。最后运行程序即可将数据上传到 Elasticsearch 中。
相关文章:
在CSDN学Golang场景化解决方案(EFK分布式日志系统方案)
一,ElasticSearch 分布式集群部署 在 Golang EFK 分布式日志系统方案中,ElasticSearch 是一个分布式搜索引擎和数据存储库,它可以用于存储和搜索大量的日志数据。以下是 ElasticSearch 分布式集群部署的步骤: 下载 ElasticSearc…...

MySQL篇
文章目录 一、MySQL-优化1、在MySQL中,如何定位慢查询?2、SQL语句执行很慢, 如何分析呢?3、了解过索引吗?(什么是索引)4、索引的底层数据结构了解过嘛 ?5、什么是聚簇索引什么是非聚簇索引 ?6、知道什么是回表查询嘛…...

图数据库Neo4j学习四——Spring Data NEO
1配置 1.1Maven依赖 <!--neo4j --> <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-neo4j</artifactId> </dependency>1.2yml配置 spring:data:neo4j:uri: bolt://localhost:76…...

UE虚幻引擎 UTextBlock UMG文本控件超过边界区域以后显示省略号
版本 5.2.1 裁剪 - 剪切 - 剪切到边界 裁剪 - 高级 - 溢出策略 - 省略...
Spring Boot实践五 --异步任务线程池
一、使用Async实现异步调用 在Spring Boot中,我们只需要通过使用Async注解就能简单的将原来的同步函数变为异步函数,Task类实现如下: package com.example.demospringboot;import lombok.extern.slf4j.Slf4j; import org.springframework.s…...

<C语言> 动态内存管理
1.动态内存函数 为什么存在动态内存分配? int main(){int num 10; //向栈空间申请4个字节int arr[10]; //向栈空间申请了40个字节return 0; }上述的开辟空间的方式有两个特点: 空间开辟大小是固定的。数组在声明的时候,必须指定数组的…...

【ASPICE】:学习记录
学习记录 ASPICE中文资料什么是ASPICE过程参考模型 ASPICE全称“Automotive Software Process Improvement and Capability dEtermination”,即“汽车软件过程改进及能力评定”模型框架 ASPICE中文资料 主要资料来源 什么是ASPICE 过程参考模型...
图论--最短路问题
图论–最短路问题 邻接表 /* e[idx]:存储点的编号 w[idx]:存储边的距离(权重) */ void add(int a, int b, int c) {e[idx] b;ne[idx] h[a];w[idx] ch[a] idx ; }1.拓扑排序 给定一个 n 个点 m 条边的有向图,点的编号是 11 到 n…...

go 结构体 - 值类型、引用类型 - 结构体转json类型 - 指针类型的种类 - 结构体方法 - 继承 - 多态(interface接口) - 练习
目录 一、结构体 1、python 与 go面向对象的实现: 2、初用GO中的结构体:(实例化一个值类型的数据(结构体)) 输出结果不同的三种方式 3、实例化一个引用类型的数据(结构体) 4、…...

盘点16个.Net开源项目
今天一起盘点下,16个.Net开源项目,有博客、商城、WPF和WinForm控件、企业框架等。(点击标题,查看详情) 一、一套包含16个开源WPF组件的套件 项目简介 这是基于WPF开发的,为开发人员提供了一组方便使用自…...

记录对 require.js 的理解
目录 一、使用 require.js 主要是为了解决这两个问题二、require.js 的加载三、main.js 一、使用 require.js 主要是为了解决这两个问题 实现 js 文件的异步加载,避免网页失去响应;管理模块之间的依赖性,便于代码的编写和维护。 二、require.…...

minio-分布式文件存储系统
minio-分布式文件存储系统 minio的简介 MinIO基于Apache License v2.0开源协议的对象存储服务,可以做为云存储的解决方案用来保存海量的图片,视频,文档。由于采用Golang实现,服务端可以工作在Windows,Linux, OS X和FreeBSD上。配置…...

Kindling the Darkness: A Practical Low-light Image Enhancer论文阅读笔记
这是ACMMM2019的一篇有监督暗图增强的论文,KinD其网络结构如下图所示: 首先是一个分解网络分解出R和L分量,然后有Restoration-Net和Adjustment-Net分别去对R分量和L分量进一步处理,最终将处理好的R分量和L分量融合回去。这倒是很常…...
AcWing 4575. Bi数和Phi数
文章目录 题意:思路:代码 题意: 就是给你n个数,对于每一个数y你都需要找到一个最小x使得 ϕ ( x ) ≥ y \phi(x) \ge y ϕ(x)≥y,然后再求一个最小平和。 思路: 其实最开始以来的思路就是二分,我先进行线性筛求出每个数的欧拉函数…...

《Federated Unlearning via Active Forgetting》论文精读
文章目录 1、概述2、方法实验主要贡献框架概述 3、实验结果比较方法实验结果忘却完整性忘却效率模型实用性 4、总结 原文链接: Federated Unlearning via Active Forgetting 1、概述 对机器学习模型隐私的⽇益关注催化了对机器学习的探索,即消除训练数…...

Java课题笔记~Maven基础知识
一、什么是Maven? Maven是专门用于管理和构建Java项目的工具。 它的主要功能有: 提供了一套标准化的项目结构提供了一套标准化的构建流程(编译,测试,打包,发布……)提供了一套依赖管理机制 …...

xcode中如何显示文件后缀
xcode14.3 用不惯mac电脑真恶心,改个显示文件后缀找半天 1、首先双击打开xcode软件 2、此时,电脑左上角出现xcode字样(左上角如果看不到xcode字样,再次点击xcode软件弹出来就有了),鼠标右键它,点击setting或者Prefere…...

SpringBoot使用JKS或PKCS12证书实现https
SpringBoot使用JKS或PKCS12证书实现https 生成JKS类型的证书 可以利用jdk自带的keytool工具来生成证书文件, 默认生成的是JKS证书 cmd命令如下: 执行如下命令,并按提示填写证书内容,最后会生成server.keystore文件 keytool -genkey tomcat…...

云原生势不可挡,如何跳离云原生深水区?
云原生是云计算领域一大热词,伴随云原生概念而来的是数字产业迎来井喷、数字变革来临、数字化得以破局以及新一波的技术红利等等。云原生即“云”原生,顾名思义是让“应用”最大程度地利用云的能力,发挥云价值的最佳路径。具体来说࿰…...

python的decimal或者叫Decimal,BigDecimal
前言 在python中进行小数计算时,很容易发生精度错误问题!!!!一定要注意!!!或者说,只要进行小数的运算都要用decimal。如:银企对账;工程计算等等在…...
Leetcode 3577. Count the Number of Computer Unlocking Permutations
Leetcode 3577. Count the Number of Computer Unlocking Permutations 1. 解题思路2. 代码实现 题目链接:3577. Count the Number of Computer Unlocking Permutations 1. 解题思路 这一题其实就是一个脑筋急转弯,要想要能够将所有的电脑解锁&#x…...

SpringBoot+uniapp 的 Champion 俱乐部微信小程序设计与实现,论文初版实现
摘要 本论文旨在设计并实现基于 SpringBoot 和 uniapp 的 Champion 俱乐部微信小程序,以满足俱乐部线上活动推广、会员管理、社交互动等需求。通过 SpringBoot 搭建后端服务,提供稳定高效的数据处理与业务逻辑支持;利用 uniapp 实现跨平台前…...
反射获取方法和属性
Java反射获取方法 在Java中,反射(Reflection)是一种强大的机制,允许程序在运行时访问和操作类的内部属性和方法。通过反射,可以动态地创建对象、调用方法、改变属性值,这在很多Java框架中如Spring和Hiberna…...

WordPress插件:AI多语言写作与智能配图、免费AI模型、SEO文章生成
厌倦手动写WordPress文章?AI自动生成,效率提升10倍! 支持多语言、自动配图、定时发布,让内容创作更轻松! AI内容生成 → 不想每天写文章?AI一键生成高质量内容!多语言支持 → 跨境电商必备&am…...

自然语言处理——循环神经网络
自然语言处理——循环神经网络 循环神经网络应用到基于机器学习的自然语言处理任务序列到类别同步的序列到序列模式异步的序列到序列模式 参数学习和长程依赖问题基于门控的循环神经网络门控循环单元(GRU)长短期记忆神经网络(LSTM)…...

Unsafe Fileupload篇补充-木马的详细教程与木马分享(中国蚁剑方式)
在之前的皮卡丘靶场第九期Unsafe Fileupload篇中我们学习了木马的原理并且学了一个简单的木马文件 本期内容是为了更好的为大家解释木马(服务器方面的)的原理,连接,以及各种木马及连接工具的分享 文件木马:https://w…...
Xen Server服务器释放磁盘空间
disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...

【7色560页】职场可视化逻辑图高级数据分析PPT模版
7种色调职场工作汇报PPT,橙蓝、黑红、红蓝、蓝橙灰、浅蓝、浅绿、深蓝七种色调模版 【7色560页】职场可视化逻辑图高级数据分析PPT模版:职场可视化逻辑图分析PPT模版https://pan.quark.cn/s/78aeabbd92d1...
PAN/FPN
import torch import torch.nn as nn import torch.nn.functional as F import mathclass LowResQueryHighResKVAttention(nn.Module):"""方案 1: 低分辨率特征 (Query) 查询高分辨率特征 (Key, Value).输出分辨率与低分辨率输入相同。"""def __…...

基于IDIG-GAN的小样本电机轴承故障诊断
目录 🔍 核心问题 一、IDIG-GAN模型原理 1. 整体架构 2. 核心创新点 (1) 梯度归一化(Gradient Normalization) (2) 判别器梯度间隙正则化(Discriminator Gradient Gap Regularization) (3) 自注意力机制(Self-Attention) 3. 完整损失函数 二…...