日志平台架构设计

系列导读本篇将深入讲解日志平台的架构设计与核心实现。文章目录目录一、日志平台概述1.1 日志类型1.2 日志平台功能二、架构设计2.1 整体架构2.2 技术选型三、ELK 实战3.1 Filebeat 配置3.2 Logstash 配置3.3 Docker Compose 部署四、最佳实践4.1 日志规范4.2 日志格式4.3 告警配置总结目录一、日志平台概述二、架构设计三、ELK 实战四、最佳实践总结一、日志平台概述1.1 日志类型┌─────────────────────────────────────────────────────────────┐ │ 日志类型 │ ├─────────────────────────────────────────────────────────────┤ │ 应用日志业务逻辑日志 │ │ 系统日志操作系统日志 │ │ 访问日志HTTP 请求日志 │ │ 错误日志异常堆栈日志 │ │ 审计日志操作审计日志 │ └─────────────────────────────────────────────────────────────┘1.2 日志平台功能功能说明日志采集收集各来源日志日志存储持久化存储日志检索快速查询日志分析统计分析告警通知异常告警二、架构设计2.1 整体架构┌─────────────────────────────────────────────────────────────┐ │ 日志平台架构 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 应用服务 ──► Filebeat ──► Kafka ──► Logstash ──► ES │ │ │ │ │ │ Kibana ◄───────────────────────────────────────────────── │ │ │ └─────────────────────────────────────────────────────────────┘2.2 技术选型组件说明Filebeat轻量级日志采集Kafka消息队列缓冲Logstash日志处理转换Elasticsearch日志存储检索Kibana可视化分析三、ELK 实战3.1 Filebeat 配置# filebeat.ymlfilebeat.inputs:-type:logenabled:truepaths:-/var/log/app/*.logfields:app:order-serviceenv:prodfields_under_root:trueoutput.kafka:hosts:[kafka1:9092,kafka2:9092]topic:logspartition.round_robin:reachable_only:truerequired_acks:13.2 Logstash 配置# logstash.confinput{kafka{bootstrap_serverskafka1:9092topics[logs]group_idlogstash}}filter{grok{match{message%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{GREEDYDATA:msg}}}date{match[timestamp,ISO8601]}if[level]ERROR{mutate{add_tag[error]}}}output{elasticsearch{hosts[es1:9200,es2:9200]indexlogs-%{[app]}-%{YYYY.MM.dd}}}3.3 Docker Compose 部署version:3services:elasticsearch:image:elasticsearch:8.10.0environment:-discovery.typesingle-node-xpack.security.enabledfalseports:-9200:9200volumes:-es-data:/usr/share/elasticsearch/datakibana:image:kibana:8.10.0ports:-5601:5601environment:-ELASTICSEARCH_HOSTShttp://elasticsearch:9200depends_on:-elasticsearchlogstash:image:logstash:8.10.0volumes:-./logstash.conf:/usr/share/logstash/pipeline/logstash.confdepends_on:-elasticsearchvolumes:es-data:四、最佳实践4.1 日志规范// 日志规范示例Slf4jServicepublicclassOrderService{publicOrdercreateOrder(OrderDTOdto){// 入口日志log.info(创建订单开始, userId{}, items{},dto.getUserId(),dto.getItems());try{OrderorderdoCreate(dto);// 成功日志log.info(创建订单成功, orderId{},order.getId());returnorder;}catch(Exceptione){// 错误日志包含关键参数log.error(创建订单失败, userId{}, error{},dto.getUserId(),e.getMessage(),e);throwe;}}}4.2 日志格式{timestamp:2024-01-01T10:00:00.00008:00,level:INFO,traceId:abc123,spanId:def456,app:order-service,host:192.168.1.100,thread:http-nio-8080-exec-1,class:com.example.OrderService,message:创建订单成功,context:{userId:1001,orderId:2001}}4.3 告警配置# Kibana 告警规则rules:-name:错误日志告警type:frequencyindex:logs-*filter:-term:level:ERRORtimeframe:minutes:5num_events:10alert:-emailemail:-opsexample.com总结✅日志平台概述日志类型、核心功能✅架构设计整体架构、技术选型✅ELK 实战Filebeat、Logstash、Docker 部署✅最佳实践日志规范、格式、告警本系列完结作者刘~浪地球系列技术选型与实战五更新时间2026-04-25