当前位置: 首页 > news >正文

在CSDN学Golang场景化解决方案(EFK分布式日志系统方案)

一,ElasticSearch 分布式集群部署

在 Golang EFK 分布式日志系统方案中,ElasticSearch 是一个分布式搜索引擎和数据存储库,它可以用于存储和搜索大量的日志数据。以下是 ElasticSearch 分布式集群部署的步骤:

  1. 下载 ElasticSearch:从 ElasticSearch 官网上下载最新版本的 ElasticSearch。
  2. 解压缩并安装 ElasticSearch:将下载下来的文件解压缩到指定目录中,并按照官方文档进行安装。
  3. 配置 ElasticSearch:通过修改 config 目录下的 elasticsearch.yml 文件来配置 ElasticSearch 的相关参数,如集群名称、节点名称、网络接口等。具体可参考官方文档。
  4. 启动 ElasticSearch:使用命令行工具进入到 ElasticSearch 的 bin 目录,并执行以下命令启动 ElasticSearch:
./elasticsearch
  1. 添加节点:为了实现高可用性和负载均衡,在同一局域网内可以添加多个节点。要添加节点,请重复以上步骤,在每个节点上安装并启动 ElasticSearch,并确保各个节点的配置文件中设置了相同的集群名称。
  2. 验证集群状态:打开浏览器,输入 http://localhost:9200/_cat/nodes?v 命令来查看集群状态信息,如果所有节点都正确加入集群,则说明分布式部署成功。

在 Golang EFK 分布式日志系统方案中,ElasticSearch 的分布式集群部署需要先下载和安装 ElasticSearch,并按照官方文档进行配置和启动。最后添加多个节点并验证集群状态即可。

二,analysis-ik分析器与分词器

对于Golang和EFK分布式日志系统方案中的Analysis-IK分析器和分词器,可以按照以下步骤进行配置:

  1. 下载和安装Elasticsearch:从官网下载适合你操作系统的版本,解压文件并进行相应配置。
  2. 安装IK插件:下载适合您所使用的Elasticsearch版本的IK插件,并将其解压缩到elasticsearch/plugins目录下。然后在config/elasticsearch.yml文件中添加如下内容:
index.analysis.analyzer.default.type : "ik_smart"
  1. 配置Fluentd与Elasticsearch连接:使用Fluentd插件fluent-plugin-elasticsearch连接到Elasticsearch集群。在Fluentd配置文件中添加相应内容。
  2. 编写Golang程序记录日志:使用第三方库logrus或zap等编写代码记录日志,并将其发送给Fluentd处理。
  3. 在Kibana中查看分词结果:通过浏览器访问Kibana控制台,在控制台中对日志进行查询、过滤等操作,并查看分词结果。

Analysis-IK分析器和分词器可以帮助我们实现更精确的文本搜索和聚类,提高搜索引擎的准确性和效率。同时,我们需要了解相关工具的用法和配置方法,以便正确地使用它们。

三,logstash 管道安装

在 Golang EFK 分布式日志系统方案中,Logstash 是用于收集、处理和转发日志数据的工具。以下是安装 Logstash 管道的步骤:

  1. 下载和安装 Java 运行环境:Logstash 是基于 Java 开发的,所以需要先下载和安装 Java 运行环境。
  2. 下载和解压缩 Logstash:从官网下载适合你操作系统的版本,解压文件到你喜欢的目录下。
  3. 配置 Logstash 管道:在解压后的目录下找到 conf 目录,编辑 logstash.conf 文件,并根据实际情况进行配置。例如:
input {file {path => "/var/log/nginx/access.log"start_position => "beginning"}
}filter {grok {match => { "message" => "%{COMBINEDAPACHELOG}" }}
}output {elasticsearch {hosts => ["localhost:9200"]index => "nginx-access-%{+YYYY.MM.dd}"}
}

上述配置示例使用 input 插件从本地 Nginx 访问日志中读取数据,使用 filter 插件对数据进行 grok 处理(即从原始文本中提取有用信息),然后使用 output 插件将处理后的数据发送给 Elasticsearch。

  1. 启动 Logstash 管道:通过命令行进入到 Logstash 的 bin 目录下,执行以下命令启动管道:
./logstash -f /path/to/logstash.conf
  1. 检查日志:在 Logstash 启动后,可以通过控制台输出查看日志处理情况。若无异常,则数据已成功传输到 Elasticsearch 中。

安装 Logstash 管道需要先下载和安装 Java 运行环境,然后下载和解压缩 Logstash 并进行相应配置,最后启动管道并检查日志。

四,filebeat 从日志文件采集日志

在 Golang EFK 分布式日志系统方案中,Filebeat 是用于采集和传输日志数据的工具。以下是使用 Filebeat 从日志文件采集日志的步骤:

  1. 下载和解压缩 Filebeat:从官网下载适合你操作系统的版本,解压文件到你喜欢的目录下。
  2. 配置 Filebeat:在解压后的目录下找到配置文件 filebeat.yml,并根据实际情况进行配置。例如:
filebeat.inputs:
- type: logenabled: truepaths:- /var/log/nginx/access.logfields:service: nginxoutput.elasticsearch:hosts: ["localhost:9200"]

上述配置示例使用 filebeat.inputs 插件指定要采集的日志文件路径和名称,使用 output.elasticsearch 插件将处理后的数据发送给 Elasticsearch。

  1. 启动 Filebeat:通过命令行进入到 Filebeat 的安装目录下,执行以下命令启动服务:
./filebeat -e -c /path/to/filebeat.yml

其中参数 -e 表示以调试模式运行,-c 指定配置文件路径。

  1. 检查数据:在 Filebeat 启动后,可以通过控制台输出查看日志采集情况。若无异常,则数据已成功传输到 Elasticsearch 中。

使用 Filebeat 从日志文件采集日志需要先下载和解压缩 Filebeat 并进行相应配置,最后启动服务并检查数据。

五,golang通过SDK主动上传日志

在 Golang EFK 分布式日志系统方案中,SDK 是用于编写程序主动上传日志的工具。以下是使用 SDK 主动上传日志的步骤:

  1. 下载和安装 Elasticsearch 客户端库:通过以下命令下载 Elasticsearch 客户端库:
go get github.com/olivere/elastic
  1. 编写程序代码:在 Golang 中,可以使用上一步下载的 Elasticsearch 客户端库来操作 Elasticsearch。例如:
package mainimport ("context""fmt""github.com/olivere/elastic/v7"
)func main() {ctx := context.Background()client, err := elastic.NewClient(elastic.SetURL("http://localhost:9200"))if err != nil {fmt.Println("Failed to create client:", err)return}indexName := "mylogindex"data := map[string]interface{}{"message": "Hello world!",}put1, err := client.Index().Index(indexName).BodyJson(data).Do(ctx)if err != nil {fmt.Println("Failed to put data into index:", err)return}fmt.Printf("Indexed data with ID %s to index %s\n", put1.Id, put1.Index)
}

上述代码示例创建了一个名为 mylogindex 的索引,并向其中插入一条数据。

  1. 运行程序:运行以上代码即可将数据主动上传到 Elasticsearch 中。

使用 Golang SDK 主动上传日志需要先下载和安装 Elasticsearch 客户端库,并编写相应的程序代码。最后运行程序即可将数据上传到 Elasticsearch 中。

相关文章:

在CSDN学Golang场景化解决方案(EFK分布式日志系统方案)

一,ElasticSearch 分布式集群部署 在 Golang EFK 分布式日志系统方案中,ElasticSearch 是一个分布式搜索引擎和数据存储库,它可以用于存储和搜索大量的日志数据。以下是 ElasticSearch 分布式集群部署的步骤: 下载 ElasticSearc…...

MySQL篇

文章目录 一、MySQL-优化1、在MySQL中,如何定位慢查询?2、SQL语句执行很慢, 如何分析呢?3、了解过索引吗?(什么是索引)4、索引的底层数据结构了解过嘛 ?5、什么是聚簇索引什么是非聚簇索引 ?6、知道什么是回表查询嘛…...

图数据库Neo4j学习四——Spring Data NEO

1配置 1.1Maven依赖 <!--neo4j --> <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-neo4j</artifactId> </dependency>1.2yml配置 spring:data:neo4j:uri: bolt://localhost:76…...

UE虚幻引擎 UTextBlock UMG文本控件超过边界区域以后显示省略号

版本 5.2.1 裁剪 - 剪切 - 剪切到边界 裁剪 - 高级 - 溢出策略 - 省略...

Spring Boot实践五 --异步任务线程池

一、使用Async实现异步调用 在Spring Boot中&#xff0c;我们只需要通过使用Async注解就能简单的将原来的同步函数变为异步函数&#xff0c;Task类实现如下&#xff1a; package com.example.demospringboot;import lombok.extern.slf4j.Slf4j; import org.springframework.s…...

<C语言> 动态内存管理

1.动态内存函数 为什么存在动态内存分配&#xff1f; int main(){int num 10; //向栈空间申请4个字节int arr[10]; //向栈空间申请了40个字节return 0; }上述的开辟空间的方式有两个特点&#xff1a; 空间开辟大小是固定的。数组在声明的时候&#xff0c;必须指定数组的…...

【ASPICE】:学习记录

学习记录 ASPICE中文资料什么是ASPICE过程参考模型 ASPICE全称“Automotive Software Process Improvement and Capability dEtermination”&#xff0c;即“汽车软件过程改进及能力评定”模型框架 ASPICE中文资料 主要资料来源 什么是ASPICE 过程参考模型...

图论--最短路问题

图论–最短路问题 邻接表 /* e[idx]:存储点的编号 w[idx]:存储边的距离&#xff08;权重&#xff09; */ void add(int a, int b, int c) {e[idx] b;ne[idx] h[a];w[idx] ch[a] idx ; }1.拓扑排序 给定一个 n 个点 m 条边的有向图&#xff0c;点的编号是 11 到 n&#xf…...

go 结构体 - 值类型、引用类型 - 结构体转json类型 - 指针类型的种类 - 结构体方法 - 继承 - 多态(interface接口) - 练习

目录 一、结构体 1、python 与 go面向对象的实现&#xff1a; 2、初用GO中的结构体&#xff1a;&#xff08;实例化一个值类型的数据&#xff08;结构体&#xff09;&#xff09; 输出结果不同的三种方式 3、实例化一个引用类型的数据&#xff08;结构体&#xff09; 4、…...

盘点16个.Net开源项目

今天一起盘点下&#xff0c;16个.Net开源项目&#xff0c;有博客、商城、WPF和WinForm控件、企业框架等。&#xff08;点击标题&#xff0c;查看详情&#xff09; 一、一套包含16个开源WPF组件的套件 项目简介 这是基于WPF开发的&#xff0c;为开发人员提供了一组方便使用自…...

记录对 require.js 的理解

目录 一、使用 require.js 主要是为了解决这两个问题二、require.js 的加载三、main.js 一、使用 require.js 主要是为了解决这两个问题 实现 js 文件的异步加载&#xff0c;避免网页失去响应&#xff1b;管理模块之间的依赖性&#xff0c;便于代码的编写和维护。 二、require.…...

minio-分布式文件存储系统

minio-分布式文件存储系统 minio的简介 MinIO基于Apache License v2.0开源协议的对象存储服务&#xff0c;可以做为云存储的解决方案用来保存海量的图片&#xff0c;视频&#xff0c;文档。由于采用Golang实现&#xff0c;服务端可以工作在Windows,Linux, OS X和FreeBSD上。配置…...

Kindling the Darkness: A Practical Low-light Image Enhancer论文阅读笔记

这是ACMMM2019的一篇有监督暗图增强的论文&#xff0c;KinD其网络结构如下图所示&#xff1a; 首先是一个分解网络分解出R和L分量&#xff0c;然后有Restoration-Net和Adjustment-Net分别去对R分量和L分量进一步处理&#xff0c;最终将处理好的R分量和L分量融合回去。这倒是很常…...

AcWing 4575. Bi数和Phi数

文章目录 题意:思路:代码 题意: 就是给你n个数&#xff0c;对于每一个数y你都需要找到一个最小x使得 ϕ ( x ) ≥ y \phi(x) \ge y ϕ(x)≥y&#xff0c;然后再求一个最小平和。 思路: 其实最开始以来的思路就是二分&#xff0c;我先进行线性筛求出每个数的欧拉函数&#xf…...

《Federated Unlearning via Active Forgetting》论文精读

文章目录 1、概述2、方法实验主要贡献框架概述 3、实验结果比较方法实验结果忘却完整性忘却效率模型实用性 4、总结 原文链接&#xff1a; Federated Unlearning via Active Forgetting 1、概述 对机器学习模型隐私的⽇益关注催化了对机器学习的探索&#xff0c;即消除训练数…...

Java课题笔记~Maven基础知识

一、什么是Maven&#xff1f; Maven是专门用于管理和构建Java项目的工具。 它的主要功能有&#xff1a; 提供了一套标准化的项目结构提供了一套标准化的构建流程&#xff08;编译&#xff0c;测试&#xff0c;打包&#xff0c;发布……&#xff09;提供了一套依赖管理机制 …...

xcode中如何显示文件后缀

xcode14.3 用不惯mac电脑真恶心&#xff0c;改个显示文件后缀找半天 1、首先双击打开xcode软件 2、此时&#xff0c;电脑左上角出现xcode字样(左上角如果看不到xcode字样&#xff0c;再次点击xcode软件弹出来就有了)&#xff0c;鼠标右键它&#xff0c;点击setting或者Prefere…...

SpringBoot使用JKS或PKCS12证书实现https

SpringBoot使用JKS或PKCS12证书实现https 生成JKS类型的证书 可以利用jdk自带的keytool工具来生成证书文件&#xff0c; 默认生成的是JKS证书 cmd命令如下: 执行如下命令&#xff0c;并按提示填写证书内容&#xff0c;最后会生成server.keystore文件 keytool -genkey tomcat…...

云原生势不可挡,如何跳离云原生深水区?

云原生是云计算领域一大热词&#xff0c;伴随云原生概念而来的是数字产业迎来井喷、数字变革来临、数字化得以破局以及新一波的技术红利等等。云原生即“云”原生&#xff0c;顾名思义是让“应用”最大程度地利用云的能力&#xff0c;发挥云价值的最佳路径。具体来说&#xff0…...

python的decimal或者叫Decimal,BigDecimal

前言 在python中进行小数计算时&#xff0c;很容易发生精度错误问题&#xff01;&#xff01;&#xff01;&#xff01;一定要注意&#xff01;&#xff01;&#xff01;或者说&#xff0c;只要进行小数的运算都要用decimal。如&#xff1a;银企对账&#xff1b;工程计算等等在…...

椭圆曲线密码学(ECC)

一、ECC算法概述 椭圆曲线密码学&#xff08;Elliptic Curve Cryptography&#xff09;是基于椭圆曲线数学理论的公钥密码系统&#xff0c;由Neal Koblitz和Victor Miller在1985年独立提出。相比RSA&#xff0c;ECC在相同安全强度下密钥更短&#xff08;256位ECC ≈ 3072位RSA…...

【Oracle】分区表

个人主页&#xff1a;Guiat 归属专栏&#xff1a;Oracle 文章目录 1. 分区表基础概述1.1 分区表的概念与优势1.2 分区类型概览1.3 分区表的工作原理 2. 范围分区 (RANGE Partitioning)2.1 基础范围分区2.1.1 按日期范围分区2.1.2 按数值范围分区 2.2 间隔分区 (INTERVAL Partit…...

Java多线程实现之Thread类深度解析

Java多线程实现之Thread类深度解析 一、多线程基础概念1.1 什么是线程1.2 多线程的优势1.3 Java多线程模型 二、Thread类的基本结构与构造函数2.1 Thread类的继承关系2.2 构造函数 三、创建和启动线程3.1 继承Thread类创建线程3.2 实现Runnable接口创建线程 四、Thread类的核心…...

Redis的发布订阅模式与专业的 MQ(如 Kafka, RabbitMQ)相比,优缺点是什么?适用于哪些场景?

Redis 的发布订阅&#xff08;Pub/Sub&#xff09;模式与专业的 MQ&#xff08;Message Queue&#xff09;如 Kafka、RabbitMQ 进行比较&#xff0c;核心的权衡点在于&#xff1a;简单与速度 vs. 可靠与功能。 下面我们详细展开对比。 Redis Pub/Sub 的核心特点 它是一个发后…...

JavaScript 数据类型详解

JavaScript 数据类型详解 JavaScript 数据类型分为 原始类型&#xff08;Primitive&#xff09; 和 对象类型&#xff08;Object&#xff09; 两大类&#xff0c;共 8 种&#xff08;ES11&#xff09;&#xff1a; 一、原始类型&#xff08;7种&#xff09; 1. undefined 定…...

(一)单例模式

一、前言 单例模式属于六大创建型模式,即在软件设计过程中,主要关注创建对象的结果,并不关心创建对象的过程及细节。创建型设计模式将类对象的实例化过程进行抽象化接口设计,从而隐藏了类对象的实例是如何被创建的,封装了软件系统使用的具体对象类型。 六大创建型模式包括…...

Leetcode33( 搜索旋转排序数组)

题目表述 整数数组 nums 按升序排列&#xff0c;数组中的值 互不相同 。 在传递给函数之前&#xff0c;nums 在预先未知的某个下标 k&#xff08;0 < k < nums.length&#xff09;上进行了 旋转&#xff0c;使数组变为 [nums[k], nums[k1], …, nums[n-1], nums[0], nu…...

9-Oracle 23 ai Vector Search 特性 知识准备

很多小伙伴是不是参加了 免费认证课程&#xff08;限时至2025/5/15&#xff09; Oracle AI Vector Search 1Z0-184-25考试&#xff0c;都顺利拿到certified了没。 各行各业的AI 大模型的到来&#xff0c;传统的数据库中的SQL还能不能打&#xff0c;结构化和非结构的话数据如何和…...

区块链技术概述

区块链技术是一种去中心化、分布式账本技术&#xff0c;通过密码学、共识机制和智能合约等核心组件&#xff0c;实现数据不可篡改、透明可追溯的系统。 一、核心技术 1. 去中心化 特点&#xff1a;数据存储在网络中的多个节点&#xff08;计算机&#xff09;&#xff0c;而非…...

跨平台商品数据接口的标准化与规范化发展路径:淘宝京东拼多多的最新实践

在电商行业蓬勃发展的当下&#xff0c;多平台运营已成为众多商家的必然选择。然而&#xff0c;不同电商平台在商品数据接口方面存在差异&#xff0c;导致商家在跨平台运营时面临诸多挑战&#xff0c;如数据对接困难、运营效率低下、用户体验不一致等。跨平台商品数据接口的标准…...