filebeat收集不规则多行日志
现环境有多行日志输出内容和格式不确定,合并后使用grok默认正则无法收集,需要自己编写正则
日志内容如下:
ERROR|2023-04-06 14:27:52|helper|test|http|/api/ad/listBanner|1d60fff861bqwe4b0397be554141eb 127.0.0.1|1b4429-5adb-44d4-acfe-0tee65eec19d|gw|Error: Class "HttpEncodingException" not found in /var/www/html/helper/59_20230406135132/app/Api/Controller/AdController.php:22
Stack trace:
#0 /var/www/html/helper/59_20230406135132/vendor/workerman/webman-framework/src/App.php(387): App\Api\Controller\AdController->listBanner()
#1 /var/www/html/helper/59_20230406135132/vendor/workerman/webman-framework/src/App.php(348): Webman\App::Webman\{closure}()
#2 /var/www/html/helper/59_20230406135132/common/Library/LogAccess/LogAccessMiddleware.php(40): Webman\App::Webman\{closure}()
#3 /var/www/html/helper/59_20230406135132/vendor/workerman/webman-framework/src/App.php(340): Common\Library\LogAccess\LogAccessMiddleware->process()
#4 /var/www/html/helper/59_20230406135132/vendor/workerman/webman-framework/src/App.php(167): Webman\App::Webman\{closure}()
#5 /var/www/html/helper/59_20230406135132/vendor/workerman/workerman/Connection/TcpConnection.php(646): Webman\App->onMessage()
#6 [internal function]: Workerman\Connection\TcpConnection->baseRead()
#7 /var/www/html/helper/59_20230406135132/vendor/workerman/workerman/Events/Event.php(193): EventBase->loop()
#8 /var/www/html/helper/59_20230406135132/vendor/workerman/workerman/Worker.php(1629): Workerman\Events\Event->loop()
#9 /var/www/html/helper/59_20230406135132/vendor/workerman/workerman/Worker.php(1423): Workerman\Worker::forkOneWorkerForLinux()
#10 /var/www/html/helper/59_20230406135132/vendor/workerman/workerman/Worker.php(1397): Workerman\Worker::forkWorkersForLinux()
#11 /var/www/html/helper/59_20230406135132/vendor/workerman/workerman/Worker.php(560): Workerman\Worker::forkWorkers()
#12 /var/www/html/helper/59_20230406135132/vendor/workerman/webman-framework/src/support/App.php(131): Workerman\Worker::runAll()
#13 /var/www/html/helper/59_20230406135132/start.php(4): support\App::run()
#14 {main}|[]
原先pipeline中grok的写法如下,并且已经在filebeat.yml将日志合并为单个事件,也无法在message中使用官方提供的GREEDYDATA匹配到多行日志,个人认为是日志中有大量的反斜杠'\'造成,反斜杠可能会被转义导致报错丢掉该条日志
"grok" : {"field" : "message","patterns" : ["""%{DATA:level}\|%{DATA:logdate}\|%{DATA:app}\|%{DATA:env}\|%{DATA:type}\|%{DATA:site}\|%{DATA:device_id}\|%{DATA:request_id}\|%{DATA:from}\|%{GREEDYDATA:message}\|%{GREEDYDATA:context}"""]}
最后将message字段修改成如下内容可以进行正确匹配
%{DATA:level}\|%{DATA:logdate}\|%{DATA:app}\|%{DATA:env}\|%{DATA:type}\|%{DATA:site}\|%{DATA:device_id}\|%{DATA:request_id}\|%{DATA:from}\|(?<message>[^\|]+)\|%{GREEDYDATA:context}
相关文章:
filebeat收集不规则多行日志
现环境有多行日志输出内容和格式不确定,合并后使用grok默认正则无法收集,需要自己编写正则 日志内容如下: ERROR|2023-04-06 14:27:52|helper|test|http|/api/ad/listBanner|1d60fff861bqwe4b0397be554141eb 127.0.0.1|1b4429-5adb-44d4-acf…...
Token Contrast for Weakly-Supervised Semantic Segmentation
文章来源:[CVPR2023] Keywords:Weakly-Supervised Semantic Segmentation(WSSS);over-smoothing; ViT 一、本文提出的问题以及解决方案: 本文解决了over-smoothing问题,该问题其实是在之前的GCN网络中提出…...
Jenkins运行在docker中使用Maven构建Java应用程序
这篇笔记是Jenkins入门教程使用Maven构建Java应用程序的一个补充说明,因为我照着文档操作的过程中遇到不少问题,遂一一做个笔记。 我的主机是Windows 11,安装的docker是Docker Desktop 4.18.0。 第一点,在Windows里执行docker命…...
将excel导入到sqlite的方法代码
Python实现excel转sqlite的方法,具体如下: Python环境的安装配置就不说了,个人喜欢pydev的开发环境。 python解析excel需要使用第三方的库,这里选择使用xlrd 下面是源代码: #!/usr/bin/python # encodingutf-8 Creat…...
Redis主从复制、哨兵和集群部署
文章目录一、主从复制1、主从复制-哨兵-集群2、主从复制的概念3、主从复制的作用4、主从复制流程5、部署Redis 主从复制步骤6、实例操作:部署Redis 主从复制二、哨兵模式1、哨兵模式的原理2、哨兵模式的作用3、哨兵结构由两部分组成,哨兵节点和数据节点4…...
protobuf序列化
文章目录protubufprotobuf序列化protobuf的原理定义message编译message文件应用protobufMessage 基本用法Message 嵌套使用protubuf protobuf序列化 protobuf是一种比json和xml等序列化工具更加轻量和高效的结构化数据存储格式,性能比json和xml真的强很多ÿ…...
更新时无冲突的情况(阁瑞钛伦特软件-九耶实训)
大多数使用“与资源库同步”菜单的目的是想查看本地和远程资源的差异,并不想将本地的内容进行更新。 而“更新”菜单则不然,它的主要作用是将远程仓库中的内容下载到本地,以使本地的版本内容和仓库中的内容一致。 Step01:复用前…...
3.4 函数的单调性和曲线的凹凸性
学习目标: 如果我要学习函数的单调性和曲线的凹凸性,我会采取以下几个步骤: 理解概念和定义:首先,我会学习单调性和凹凸性的定义和概念。单调性是指函数的增减性质,可以分为单调递增和单调递减;…...
LeetCode 404. 左叶子之和 | C++语言版
LeetCode 404. 左叶子之和 | C语言版LeetCode 404. 左叶子之和题目描述解题思路思路一:使用递归代码实现运行结果参考文章:思路二:减少遍历节点数代码实现运行结果参考文章:LeetCode 404. 左叶子之和 题目描述 题目地址…...
arm架构安装Rancher并导入k8s集群解决Error: no objects passed to apply
Rancher介绍 Rancher 2.0-2.4版本 是一个开源的企业级容器管理平台。通过Rancher,企业再也不必自己使用一系列的开源软件去从头搭建容器服务平台。Rancher提供了在生产环境中使用的管理Docker和Kubernetes的全栈化容器部署与管理平台。 Rancher 2.5版本 是为使用容…...
安装PaddleSpeech
github地址https://github.com/PaddlePaddle/PaddleSpeech 创建虚拟环境 conda create -p E:\Python\envs\nlppaddle python3.7 # conda create -p E:\Python\envs\speechstu python3.8激活虚拟环境 conda activate E:\Python\envs\nlppaddle # conda activate E:\Python\…...
UE “体积”的简单介绍
目录 一、阻挡体积 二、摄像机阻挡体积 三、销毁Z体积 四、后期处理体积 一、阻挡体积 你可以在静态网格体上使用阻挡体积替代碰撞表面,比如建筑物墙壁。这可以增强场景的可预测性,因为物理对象不会与地面和墙壁上的凸起细节相互作用。它还能降低物理模…...
微信 JAVA SDK 封装
weixin-popular 微信 JAVA SDK,是微信平台(公众平台、开放平台、商户平台、服务商平台)接口服务的JAVA 实现,开发 严格按照官方技术文档,合理划分包名、定义字段及方法,能胜任任何微信相关的业务。 使用建…...
上海智慧校园视频智能分析算法 yolov7
上海智慧校园视频智能分析算法通过yolov7python网络模型分析技术,上海智慧校园视频智能分析算法对校园内学生打架、翻墙、倒地、异常聚集、攀高等行为实时监测预警。YOLOv7 的发展方向与当前主流的实时目标检测器不同,研究团队希望它能够同时支持移动 GP…...
【树】你真的会二叉树了嘛? --二叉树LeetCode专题
Halo,这里是Ppeua。平时主要更新C语言,C,数据结构算法......感兴趣就关注我吧!你定不会失望。 🌈个人主页:主页链接 🌈算法专栏:专栏链接 我会一直往里填充内容哒! &…...
《LeetCode 热题 HOT 100》——寻找两个正序数组的中位数
本期给大家带来的是是《LeetCode 热题 HOT 100》第四题——寻找两个正序数组的中位数的题目讲解!!!() 本文目录 💥题意分析 💥解题思路: 1、直接法 (❌) …...
Unity- 游戏结束以及重启游戏
文章目录游戏结束以及重启游戏建个游戏结束页面编写委托类 游戏主角 以及 ui管理类的脚本重启游戏游戏结束以及重启游戏 思路:利用Canvas创建好覆盖全屏的结束页面,默认关闭。游戏结束时,玩家控制的对象发起委托,ui管理收下委托&…...
NGK BeCu8·11铜合金板材
NGK BeCu811铜合金板材 CB498K、CuSn6Zn4Pb2-B、CC498K、CuSn6Zn4Pb2-C CB494K、CuSn5Pb9-B、CC494K、CuSn5Pb9-C CB495K、CuSn10Pb10-B、CC495K、CuSn10Pb10-C CB496K、CuSn7Pb15-B、CC496K、CuSn7Pb15-C CB497K、CuSn5Pb20-B、CC497K、CuSn5Pb20-C 日本古河连接器专用材料如:…...
电脑突然死机怎么办?正确做法在这!
案例:电脑突然死机怎么办? 【家人们,我刚刚正在做工作报告,突然间电脑就死机了,这可怎么办啊?有什么方法可以快速解决这个问题吗?急急急!】 电脑在使用过程中,有时会出…...
基于cell数组的MATLAB仿真(附上完整仿真源码)
MATLAB是一款强大的数学软件,它提供了许多数据结构来存储和处理数据。其中,cell数组是一种非常有用的数据结构,它允许在一个数组中存储不同类型的数据,包括数值、字符串、逻辑值和其他cell数组等。 文章目录简单代码完整仿真源码下…...
SteamStub DRM高效移除解决方案:从技术原理到实战应用全流程指南
SteamStub DRM高效移除解决方案:从技术原理到实战应用全流程指南 【免费下载链接】Steamless Steamless is a DRM remover of the SteamStub variants. The goal of Steamless is to make a single solution for unpacking all Steam DRM-packed files. Steamless a…...
利用akshare构建涨停板股票数据分析系统
1. 为什么需要涨停板数据分析系统 在股票市场中,涨停板是一个非常重要的信号。当某只股票的价格涨幅达到当日上限时,就会触发涨停机制,这意味着市场对该股票的需求非常旺盛。对于投资者来说,及时捕捉涨停板股票的特征和规律&#…...
智能卡开发实战:ISO7816 APDU命令与响应全解析(附常见错误码对照表)
智能卡开发实战:ISO7816 APDU命令与响应全解析(附常见错误码对照表) 第一次接触智能卡开发时,我被APDU通信的严谨性震撼到了——这就像在和一个极度注重礼仪的外交官对话,任何格式错误都会导致沟通中断。作为嵌入式工程…...
原神帧率解锁完整指南:5步实现高刷新率游戏体验
原神帧率解锁完整指南:5步实现高刷新率游戏体验 【免费下载链接】genshin-fps-unlock unlocks the 60 fps cap 项目地址: https://gitcode.com/gh_mirrors/ge/genshin-fps-unlock 对于追求流畅游戏体验的《原神》玩家来说,游戏内置的60帧限制常常…...
云计算案例排错(云上3)
故障1 CPU&内存配额错误 solo-1工作负载启动失败,提示:重启启动容器失败。 解决方案:看下solo-1的更新升级中的容器规划配置,是否是正确的配置(CPU配额:申请0.25Core 限制0.29Core;内存配额…...
5步实现黑苹果零门槛配置:智能工具的降维打击方案
5步实现黑苹果零门槛配置:智能工具的降维打击方案 【免费下载链接】OpCore-Simplify A tool designed to simplify the creation of OpenCore EFI 项目地址: https://gitcode.com/GitHub_Trending/op/OpCore-Simplify 当你第三次因为ACPI补丁错误导致系统崩溃…...
Nacos 2.2.0连接达梦数据库踩坑实录:从驱动版本到SQL脚本的完整避坑指南
Nacos 2.2.0与达梦数据库深度适配实战:从驱动选型到容器化部署的全链路解析 当微服务架构遇上国产数据库,技术适配的每个环节都可能成为关键战场。最近在将Nacos 2.2.0与达梦数据库进行生产级适配时,我经历了从驱动版本冲突到SQL脚本优化的完…...
使用Python运行VirtualLab Fusion光学仿真
摘要 VirtualLab Fusion允许Python外部访问其建模技术、求解器和结果。这个用例介绍了一种使用路径变量和Visual Studio代码将Python连接到VirtualLab Fusion的简单方法。在本示例中,我们将演示如何使用Python脚本运行光学仿真,以向用户简要概述这种跨…...
OpenClaw+GLM-4.7-Flash:个人财务管理自动化实践
OpenClawGLM-4.7-Flash:个人财务管理自动化实践 1. 为什么需要自动化财务管理 每个月末,我都会面对一堆散乱的电子账单和银行流水。手动整理这些数据不仅耗时,还容易出错。直到我发现OpenClaw与GLM-4.7-Flash的组合,才真正实现了…...
10大好用的班组建设系统盘点!助力企业高效开展班组建设
在2026年数字化转型的深水区,班组建设系统已成为企业夯实基层管理、提升执行力的核心引擎。面对市场上琳琅满目的工具,如何筛选出真正好用的班组建设系统,切实助力企业高效开展班组建设,是管理者面临的首要难题。本文深度盘点10大…...
