ELK + Fliebeat + Kafka日志系统
参考：
ELK+Filebeat+Kafka分布式日志管理平台搭建_51CTO博客_elk 搭建
ELK 日志分析系统概述及部署（上）-阿里云开发者社区
ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。
随着 Beats 收集的每秒数据量越来越大，Logstash 可能无法承载这么大量日志的处理。虽然说，可以增加 Logstash 节点数量，提高每秒数据的处理速度，但是仍需考虑可能 Elasticsearch 无法承载这么大量的日志的写入。此时，我们可以考虑引入消息队列 ，进行缓存：
1、Beats 收集数据，写入数据到消息队列中。
2、Logstash 从消息队列中，读取数据，写入 Elasticsearch 中
- 在所有需要收集日志的服务器上部署Logstash；或者先将日志进行集中化管理在日志服务器上，在日志服务器上部署 Logstash
- Logstash 收集日志，将日志格式化并输出到 Elasticsearch 群集中
- Elasticsearch 对格式化后的数据进行索引和存储
- Kibana 从 ES 群集中查询数据生成图表，并进行前端数据的展示
相关文章：
ELK + Fliebeat + Kafka日志系统
参考： ELKFilebeatKafka分布式日志管理平台搭建_51CTO博客_elk 搭建 ELK 日志分析系统概述及部署（上）-阿里云开发者社区 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。…...
Scaling Instruction-Finetuned Language Models
Paper name Scaling Instruction-Finetuned Language Models Paper Reading Note Paper URL: https://arxiv.org/pdf/2210.11416.pdf TL;DR 2022 年谷歌出的文章，对指令微调的影响因素进行分析，提出了一些提升指令微调效果的方案。与该文章一起出品…...
rust 闭包函数
函数有自己的类型，可以像使用基础类型一样使用函数，包括将函数保存在变量中、保存在 vec 中、声明在结构体成员字段中。闭包函数也是函数，也有自己的类型定义。不过，函数实际上是指针类型，在 rust 所有权中属于借用的关…...
MySQL 实现分库和分表的备份 2023.7.29
1、分库备份 [rootlocalhost mysql-backup]# cat db_bak.sh #!/bin/bash k_userroot bak_password123456 bak_path/root/mysql-backup/ bak_cmd"-u$bak_user -p$bak_password" exc_db"Database|information_schema|mysql|performance_schema|sys" dbname…...
20230728----重返学习-跨域-模块化-webpack初步
day-122-one-hundred-and-twenty-two-20230728-跨域-模块化-webpack初步 跨域 跨域 为什么要跨域？ 浏览器为了安全，不能让我们的html文件可以随意引用别的服务器中的文件，只允许我们的html或js文件中，请求我们自己服务器。这个…...
[SQL挖掘机] - 多表连接: union all
介绍: sql中的union all是用于合并两个或多个select语句的结果集的操作符。与union不同的是，union all不会自动去除重复的行，它会简单地将多个查询的结果集合并在一起，包括重复的行。 用法: union all的基本语法如下： select_…...
TypeError: run() got an unexpected keyword argument ‘hide_label‘ yolov5最新版本报错
报错展示 解决方法 把detect.py中的如上部分的 --hide-label改为 --hide-labels，成功解决....
什么是Java中的集成测试？
Java中的集成测试（Integration Test）是一种测试方法，用于测试多个模块或组件之间的交互和集成。在Java中，集成测试通常使用单元测试框架（如JUnit）编写和运行。 对于初学者来说，集成测试可能有些…...
打卡力扣题目二
#左耳听风 ARST 打卡活动重启# 目录 一、问题 二、 解题方法一 三、enumerate函数介绍 关于 ARTS 的释义 —— 每周完成一个 ARTS： ● Algorithm: 每周至少做一个 LeetCode 的算法题 ● Review: 阅读并点评至少一篇英文技术文章 ● Tips: 学习至少一个技术技巧 …...
【Qt】QML-02：QQuickView用法
1、先看demo QtCreator自动生成的工程是使用QQmlApplicationEngine来加载qml文件，下面的demo将使用QQuickView来加载qml文件 #include <QGuiApplication> #include <QtQuick/QQuickView>int main(int argc, char *argv[]) {QGuiApplication app(argc,…...
【IDEA】idea不自动生成target
文章目录 1. 不生成target2. 仅部分文件不生成target2.1. 一般原因就是资源没有设置2.2. 配置编译src/main/java文件夹下的资源文件2.3. 清理缓存（王炸） 3. 参考资料 本文描述idea不生成target的几种情况以及处理方法 1. 不生成target 像下图这样根本就…...
从官网认识 JDK，JRE，JVM 三者的关系
点击下方关注我，然后右上角点击...“设为星标”，就能第一时间收到更新推送啦~~~ JVM 是一些大厂面试必问点，要想解决 OOM、性能调优方面的问题，掌握 JVM 知识必不可少，从今天开始，将为大家介绍 JVM 的常用知…...
python 将pdf文件转图片
有小伙伴问了怎么将 pdf文件转图片的问题，我百度了一波儿，搞了以下python代码给他封装成exe工具了。 中途打包踩了个坑，python进程池的问题，本地运行没啥问题，打包好的exe文件双击就会使电脑内存爆破卡死，…...
js原型以及原型链
目录 原型隐式原型显式原型constructornew操作符 重写原型对象原型链继承原型链继承借用构造函数继承组合构造继承 原型继承寄生继承组合寄生继承 原型继承关系 原型 在JavaScript中，每个对象都有一个内置属性[[prototype]]，这个属性指向一个另一个对象…...
Java面向对象编程实战详解（图书管理系统示例）
文章目录 面向编程概念图书管理系统示例需求分析设计阶段编码实现创建目录结构Book类的编码BookList类的编码User类的编码AdminUser类的编码NormalUser类的编码启动类的编写具体的操作实现IOperation接口新增图书的实现借阅图书的实现删除图书的实现显示图书的实现查找图书的实…...
ubuntu设置主机ip
ubuntu 设置ip sudo dhclient -r enp67s0 # 是你的网卡，可以通过ifconfig 查，比如enp0 sudo ifconfig enp67s0 192.168.1.114 netmask 255.255.255.0 Ubuntu显示有线网已连接但无法上网，已经确认网口、交换机（路由器ÿ…...
CleanMyMac X4.14.1中文版如何清理 Mac系统？CleanMyMac 真的能断网激活吗？
CleanMyMac X4.14.1中文版如何清理 Mac系统？Mac系统在使用过程中都会产生大量系统垃圾，如不需要的系统语言安装包，视频网站缓存文件，mac软件卸载残留的注册表等。 随着时间推移，mac系统垃圾就会越来越多，电…...
详细介绍 React 中如何使用 redux
在使用之前要先了解它的配套插件： 在React中使用redux，官方要求安装其他插件 Redux Toolkit 和 react-redux Redux Toolkit：它是一个官方推荐的工具集，旨在简化 Redux 的使用和管理。Redux Toolkit 提供了一些提高开发效率的工具…...
VLOOKUP多条件查询
LOOKUP(1,0/((A3:A15A18)*(C3:C15C18)),F3:F15)...
分页插件Mybatis
<plugins><!-- com.github.pagehelper为PageHelper类所在包名 --><plugin interceptor"com.github.pagehelper.PageInterceptor"><!-- 配置方言:告诉分页插件使用底层数据库是什么--><property name"helperDialect" value"…...
从事件关系网络看现有AI技术：一个统一的底层解释框架
在前几篇文章中，我提出了一个核心命题：智能的本质不是“知道什么”，而是“知道在发生什么”。 要实现这种智能，我们的AI系统必须从处理“实体”转向处理“事件”。事件不是孤立的存在者，而是在关系网络中确定自身意义的…...
5分钟搞定视频号批量下载：开源工具让效率提升20倍
5分钟搞定视频号批量下载：开源工具让效率提升20倍 【免费下载链接】res-downloader 视频号、小程序、抖音、快手、小红书、直播流、m3u8、酷狗、QQ音乐等常见网络资源下载! 项目地址: https://gitcode.com/GitHub_Trending/re/res-downloader 你是否还在为下…...
2026技术复盘：告别“易碎”代码，实在Agent重塑企业自动化底座
在2026年的数字化转型浪潮中，企业对于“提效”的追求已从单纯的工具引入转向深度的架构治理。 曾被寄予厚望的固定规则自动化脚本，在经历了数年的规模化应用后，其弊端正集中爆发。 许多企业发现，那些耗费巨资编写的脚本࿰…...
2026论文写作工具红黑榜：AI论文网站怎么选？清单来了
2026年论文写作工具竞争白热化，红榜优先选千笔AI、ThouPen、豆包，适配国内学术规范，内容严谨且格式合规；黑榜需避开低质免费工具、无真实引用平台、过度依赖全文生成的工具。选择时可按需求匹配度 - 数据可信度 - 成本承受力三维模…...
SQL 数据库从免费到付费选型实战：支撑真实规模产品的能力分析与选择指南
引言：为什么 SQL 数据库选型如此重要？ 在当今数据驱动的时代，数据库是任何数字产品的核心基础设施。无论是初创公司的 MVP（最小可行产品），还是日活百万的成熟应用，数据库的选择直接影响着产品的性能、成本、可扩展性和开发效率。 对于技术决策者而言，面对琳琅满目的 …...
Unity发行版DLL调试：破解IL2CPP元数据加密与mono.dll符号映射
1. 为什么发行版Unity游戏的DLL调试总卡在“找不到符号”这一步？你打包完一个Unity项目，导出为Windows独立发布版本，双击运行一切正常——但当你兴冲冲地用DnSpy打开GameAssembly.dll或Assembly-CSharp.dll，想设个断点看看登录逻辑…...
Qt 5.9.1 MinGW 32位下，手把手搞定周立功CAN二次开发库的加载与配置
Qt 5.9.1 MinGW 32位环境下周立功CAN二次开发库的实战配置指南 在嵌入式开发领域，CAN总线通信一直是工业控制和汽车电子系统中的核心技术。对于使用Qt框架进行CAN通信开发的工程师来说，如何正确配置硬件厂商提供的二次开发库往往是项目起步阶段的第一道门…...
centos7启动yum 安装失败原因（个人观点如有错误请指正）
第一步：修复 DNS（最关键） bash 运行 echo "nameserver 8.8.8.8" >> /etc/resolv.conf echo "nameserver 114.114.114.114" >> /etc/resolv.conf第二步：下载阿里云 CentOS7 国内源 bash 运行 curl…...
不止于看见，更在于改变——双碳传媒的全球工业服务生态
在数字化与智能化重塑世界的今天，传统的工业传播边界正在被打破。双碳传媒（秦皇岛）有限公司，正以AI技术为核心驱动，重新定义全球工业服务的生态格局。我们深知，服务国家战略与顶级企业，需要的是…...
如何快速清理Windows右键菜单：终极管理工具完整指南
如何快速清理Windows右键菜单：终极管理工具完整指南 【免费下载链接】ContextMenuManager 🖱️ 纯粹的Windows右键菜单管理程序 项目地址: https://gitcode.com/gh_mirrors/co/ContextMenuManager 你是不是也遇到过这样的烦恼？安装的软…...