当前位置: 首页 > news >正文

ELK常用语法和线上问题排查

ELK常用语法及线上问题排查

速查问题

1.全文搜索

在搜索栏输入目标值,查询所有字段中包含该值的文档

案例:用户反馈了一串id或者其他同事给了一个jobid,还没有头绪怎么查的时候,直接全局搜索
jobid

2.字段

限定字段全文搜索: field:value
通配符限定:
?:匹配单个字符

  • :匹配多个字符
    案例:查询uid是 XXX 的请求
    uid:xxx
    案例:查询uid是 XXX 开头的请求
    uid:xxx* 或者 uid:xxx?

3.范围搜索

对数值/时间/ip/字符串类型的字段进行范围搜索
length:[100 TO 200]
sip:[“172.24.20.110” TO “172.24.20.140”]
date:{“now-6h” TO “now”}
tag:{b TO e} 搜索b到e中间的字符
count:[10 TO *] * 表示一端不限制范围
count:[1 TO 5} [ ] 表示端点数值包含在范围内,{ } 表示端点数值不包含在范围内,可以混合使用,此语句为1到5,包括1,不包括5
可以简化成以下写法:
age:>10
age:<=10
age:(>=10 AND <20)

案例:查询今天请求耗时在1秒以上的请求或0秒到2秒之间的请求
rt:[1 TO 2]
rt:>1
案例:请求IP在183.131.12.222 到 183.131.12.233
ip:[183.131.12.222 TO 183.131.12.233 ]

4.逻辑操作

AND:且
OR:或
NOT: 非
案例:查询日志级别是ERROR且不含日期解析错误的请求
level:ERROR AND NOT msg:交易日期解析出错

案例:查询日志界别是WARN,排除指定程序
level:WARN AND (NOT pn:capitalinfo) AND (NOT pn:mq-stock-mqprofitinfo)

案例:非200的请求

图表

我们不会时时刻刻盯着日志看,对于自己负责的程序,绘制一些简单的图表,可以帮助我们了解程序的健康状况

常用的聚合字段

Count count 聚合返回选中索引模式中元素的原始计数。
Average 这个聚合返回一个数值字段的 average 。从下拉菜单选择一个字段。
Sum sum 聚合返回一个数值字段的总和。从下拉菜单选择一个字段。
Min min 聚合返回一个数值字段的最小值。从下拉菜单选择一个字段。
Max max 聚合返回一个数值字段的最大值。从下拉菜单选择一个字段。
Unique Count cardinality 聚合返回一个字段的去重数据值。从下拉菜单选择一个字段。
Standard Deviation extended stats 聚合返回一个数值字段数据的标准差。从下拉菜单选择一个字段。
Percentile percentile 聚合返回一个数值字段中值的百分比分布。从下拉菜单选择一个字段,然后在 Percentiles 框内指定范围。点击 X 移除一个百分比框,点击 +Add 添加一个百分比框。
Date Histogram date histogram 基于数值字段创建,由时间组织起来。你可以指定时间片的间隔,单位包括秒,分,小时,天,星期,月,年。
Histogram 标准 histogram 基于数值字段创建。为这个字段指定一个整数间隔。勾选 Show empty buckets 让直方图中包含空的间隔。
Range 通过 range 聚合。你可以为一个数值字段指定一系列区间。点击 Add Range 添加一对区间端点。点击红色 (x) 符号移除一个区间。
Date Range date range 聚合计算你指定的时间区间内的值。你可以使用 date math 表达式指定区间。点击 Add Range 添加新的区间端点。点击红色 (/) 符号移除区间。
IPv4 Range IPv4 range 聚合用来指定 IPv4 地址的区间。点击 Add Range 添加新的区间端点。点击红色 (/) 符号移除区间。
Terms terms 聚合允许你指定展示一个字段的首尾几个元素,排序方式可以是计数或者其他自定义的metric。
Filters 你可以为数据指定一组 filters。你可以用 querystring(全文搜索简易检所语法),也可以用 JSON 格式来指定过滤器,就像在 Discover 页的搜索栏里一样。点击 Add Filter 添加下一个过滤器
Significant Terms 展示实验性的 significant terms 聚合的结果。
案例:线上程序ERROR,WARN,INFO日志级别的占比
案例:出现ERROR的程序占比
案例:出现ERROR的IP占比
案例:请求量
案例:非200的请求量

操作台

当我们拥有很多监控图表后,把同一类或者我们更关心的图表归类在一起,一眼就可以了解全局

相关文章:

ELK常用语法和线上问题排查

ELK常用语法及线上问题排查 速查问题 1.全文搜索 在搜索栏输入目标值&#xff0c;查询所有字段中包含该值的文档 案例&#xff1a;用户反馈了一串id或者其他同事给了一个jobid&#xff0c;还没有头绪怎么查的时候&#xff0c;直接全局搜索 jobid 2.字段 限定字段全文搜索…...

session-cookies 三个缓存 localStorage、sessionStorage、Cookies。

session-cookies session-cookies This plugin is used to summarize the browser’s three caches localStorage, sessionStorage, Cookies.The plugin is designed to be quick and easy to use. Below is a summary of some apis. session-cookies 这个插件是用来汇总浏览…...

LA@行列式性质

文章目录 行列式性质&#x1f388;转置不变性质交换性质多重交换移动(抽出插入)&#x1f47a; 因子提取性质拆和性质倍加性质 手算行列式的主要方法原理:任何行列式都可以化为三角行列式 行列式性质&#x1f388; 设行列式 ∣ A ∣ d e t ( a i j ) |A|\mathrm{det}(a_{ij}) …...

【java安全】原生反序列化利用链JDK7u21

文章目录 【java安全】原生反序列化利用链JDK7u21前言原理equalsImpl()如何调用equalsImpl()&#xff1f;HashSet通过反序列化间接执行equals()方法如何使hash相等&#xff1f; 思路整理POCGadget为什么在HashSet#add()前要将HashMap的value设为其他值&#xff1f; 【java安全】…...

[SQL智慧航行者] - SQL刷题规划

前言: 不知不觉, 慢慢的把一些基础知识整理到了现在. SQL挖掘机系列可能就要到此结束了. 目前是规划把这部分SQL练习部分放到SQL刷题的专栏, 就不放到SQL专栏了. 因为后续如果接触更多的知识点和题目也好分类. 请大家如果关注的话, 想看SQL知识点 --> SQL专栏; 想看SQL刷…...

概率论与数理统计:第一章:随机事件及其概率

文章目录 概率论Ch1. 随机事件及其概率1.基本概念(1)随机试验、随机事件、样本空间(2)事件的关系和运算①定义&#xff1a;互斥(互不相容)、对立②运算法则&#xff1a;德摩根率 (3)概率的定义(4)概率的性质(5)概率计算排列组合 2.等可能概型1.古典概型 (离散)2.几何概型 (连续…...

elementUi重置Select选择器样式、option、deep、vue3、plus

文章目录 前言select选框样式(element-plus)option选项面板样式(element-plus) 前言 样式标签属性为<style scoped lang"scss"></style> select选框样式(element-plus) // 设置选择框的背景样式 ::v-deep .el-input__wrapper {background: transparent;b…...

jar命令的安装与使用

场景&#xff1a; 项目中经常遇到使用WinR软件替换jar包中的文件&#xff0c;有时候存在WinRAR解压替换时提示没有权限&#xff0c;此时winRAR不能用还有有什么方法替换jar包中的文件。 方法&#xff1a; 使用jar命令进行修改替换 问题&#xff1a; 执行jar命令报错jar 不…...

windows系统多线程多进程下应用函数CloseHandle的一些细节

Windows CloseHandle()函数调用之后&#xff0c;对应的内核对象的句柄计数器减去1。如果此内核对象的句柄的计数器计数变为0&#xff0c;系统会回收此内核对象。所以&#xff0c;如果创建了内核对象(例如可调用了CreateThread创建一个线程内核对象。此对象创建成功后此线程内核…...

微服务——elasticsearch

初识ES——什么是elasticsearch elasticsearch的发展 初识ES——正向索引和倒排索引 初识ES——es与mysql的概念对比 类比到mysql中是表结构约束 概念对比 初始ES——安装es和kibana 1.部署单点es 1.1创建网络 要安装es容器和kibana容器并让他们之间相连&#xff0c;这里…...

paddlenlp:社交网络中多模态虚假媒体内容核查

初赛之环境配置篇 一、背景二、任务三、数据集1、初赛阶段2、评分标准 四、环境操作五、写在最后 一、背景 随着新媒体时代信息媒介的多元化发展&#xff0c;各种内容大量活跃在媒体内中&#xff0c;与此同时各类虚假信息也充斥着社交媒体&#xff0c;影响着公众的判断和决策。…...

Centos系统有哪些特点呢

CentOS 是一个基于 Red Hat Enterprise Linux (RHEL) 的免费的开源操作系统,由 CentOS 项目维护。CentOS 项目是一个社区驱动的项目,旨在为用户提供一个稳定的、可扩展的 Linux 发行版。 CentOS 系统具有以下特点: 稳定性:CentOS 系统非常稳定,即使是在高负载的环境下也是如此…...

一文学会git常用命令和使用指南

文章目录 0. 前言1.分支分类和管理1. 分支分类规范&#xff1a;2. 最佳实践3. 分支命名规范示例&#xff1a;4. 分支管理方法&#xff1a; 2. commit 注释规范1. 提交注释结构&#xff1a;2. 提交注释的准则&#xff1a; 3. git 常用命令1. git pull 核心用法2. git push 命令1…...

[PyTorch][chapter 46][LSTM -1]

前言&#xff1a; 长短期记忆网络&#xff08;LSTM&#xff0c;Long Short-Term Memory&#xff09;是一种时间循环神经网络&#xff0c;是为了解决一般的RNN&#xff08;循环神经网络&#xff09;存在的长期依赖问题而专门设计出来的。 目录&#xff1a; 背景简介 LSTM C…...

寄存器详解(二)

目录 内存中字的存储 示例&#xff1a; 数据段寄存器DS与[address] 字的传送 数据段简介 CPU提供的栈机制 栈段寄存器SS和栈顶指针寄存器SP PUSH AX指令的完整描述 示例图 POP AX指令的完整描述 示例图 栈顶超界问题 示例一&#xff1a; 示例二&#xff1a; 内存中字…...

Java AIO

在Java中&#xff0c;AIO代表异步I/O&#xff08;Asynchronous I/O&#xff09;&#xff0c;它是Java NIO的一个扩展&#xff0c;提供了更高级别的异步I/O操作。AIO允许应用程序执行非阻塞I/O操作&#xff0c;而无需使用Selector和手动轮询事件的方式。 与传统的NIO和Java NIO…...

java集合总结

1.常见集合 Collection List&#xff1a;有序可重复集合&#xff0c;可直接根据元素的索引来访问 Vector-StackArrayListLinkedList Queue&#xff1a;队列集合 Deque-LinkedList、ArrayDequePriorityQueue Set&#xff1a;无序不可重复集合&#xff0c;只能根据元素本身来访问…...

list交并补差集合

list交并补差集合 工具类依赖 <dependency><groupId>org.apache.commons</groupId><artifactId>commons-lang3</artifactId><version>3.8.1</version> </dependency><dependency><groupId>commons-collections&…...

【微信小程序】父组件修改子组件数据或调用子组件方法

一、使用场景 页面中用到了自定义组件形成父子组件关系&#xff0c;在父组件某个特定时期想要操作子组件中的数据或方法&#xff0c;比如离开页面的时候清空子组件的数据。 二、方法 父组件可以通过this.selectComponent方法获取子组件实例对象&#xff0c;这样就可以直接访…...

frp通过nginx映射multipart/x-mixed-replace; boundary=frame流媒体出外网访问

要通过Nginx访问multipart/x-mixed-replace流媒体协议&#xff0c;并通过FRP进行映射访问&#xff0c;你可以按照以下步骤进行操作&#xff1a; 配置Nginx以支持multipart/x-mixed-replace流媒体协议。你需要编辑Nginx的配置文件&#xff08;通常是nginx.conf&#xff09;&…...

MobileNetSSD_deploy.caffemodel下载地址

https://drive.google.com/file/d/0B3gersZ2cHIxRm5PMWRoTkdHdHc/view?uspsharing&resourcekey0-1Lpfs4EvGDeCQz12AF64hQ 就是这个下载按钮的链接了...

测试人员必看:避开这5个职业陷阱,升职加薪不是梦

在快速迭代的互联网行业中&#xff0c;软件测试人员肩负着保障产品质量的核心使命。然而职业道路上暗藏的陷阱&#xff0c;往往让测试从业者陷入发展瓶颈。本文从行业现状出发&#xff0c;深度剖析五大典型职业陷阱&#xff0c;并给出可落地的破局策略&#xff0c;助你实现技术…...

从零构建可验证知识表示层:2024最新AIAgent架构白皮书核心章节精译(含OWL2+SHACL+Prolog混合推理原型代码)

第一章&#xff1a;可验证知识表示层的架构定位与核心价值 2026奇点智能技术大会(https://ml-summit.org) 可验证知识表示层&#xff08;Verifiable Knowledge Representation Layer, VKRL&#xff09;是现代可信AI系统中承上启下的关键抽象层&#xff0c;位于数据采集层与推理…...

微信小程序ECharts图表Canvas层级覆盖问题:从原理到实战解决方案

1. 微信小程序ECharts图表Canvas层级问题解析 第一次在小程序里用ECharts做数据可视化时&#xff0c;我就被这个坑绊倒了——明明设置了z-index&#xff0c;为什么滚动页面时图表还是会盖住弹窗和导航栏&#xff1f;后来才发现&#xff0c;这是微信小程序原生组件的"特权&…...

解决Mac多设备滚动冲突:Scroll Reverser让触控板与鼠标和谐共存

解决Mac多设备滚动冲突&#xff1a;Scroll Reverser让触控板与鼠标和谐共存 【免费下载链接】Scroll-Reverser Per-device scrolling prefs on macOS. 项目地址: https://gitcode.com/gh_mirrors/sc/Scroll-Reverser 你是否在MacBook上使用触控板时习惯"自然滚动&q…...

注意力机制模块:顶会 CVPR 2025 最新注意力:Focused Linear Attention 替换传统 Softmax 注意力

⚠️ 重要声明:本文部分核心理论内容(Focused Linear Attention的聚焦映射函数和秩恢复模块)源自清华大学黄高老师团队于ICCV 2023发表的论文 FLatten Transformer: Vision Transformer using Focused Linear Attention(论文链接:https://arxiv.org/pdf/2308.00442,代码:…...

Java 后端完整成长路线(含项目)

下面这份路线是我按真实公司后端成长路径给你设计的&#xff0c;不是培训班那种“技术名词堆砌版”&#xff0c;而是一步一步把你从“会写 Java”带到“能做后端项目”。我会分 阶段 目标 你该干什么 典型产出 来讲。一、你的专属起点定位&#xff08;先对齐&#xff09;✅ …...

Pixel Couplet Gen 模型压缩与量化实践:在低显存GPU上的部署优化

Pixel Couplet Gen 模型压缩与量化实践&#xff1a;在低显存GPU上的部署优化 1. 轻量化部署的技术挑战与突破 在AI图像生成领域&#xff0c;Pixel Couplet Gen以其出色的生成质量广受好评。但当我们尝试在消费级显卡上部署这个模型时&#xff0c;很快就遇到了显存不足的问题—…...

AI头像生成器应用案例:为MySQL数据库用户自动生成统一风格头像

AI头像生成器应用案例&#xff1a;为MySQL数据库用户自动生成统一风格头像 1. 项目背景与价值 在数字化时代&#xff0c;用户头像已经成为各类应用不可或缺的元素。无论是社交平台、企业管理系统还是在线教育平台&#xff0c;个性化的用户头像都能显著提升用户体验。然而&…...

中国大陆市场已成为达美乐比萨全球第三大国际市场

美通社消息&#xff1a;2026年第一季度&#xff0c;在复杂多变的消费环境下&#xff0c;达势股份-达美乐中国持续深耕中国这一仍具广阔增长空间的比萨市场&#xff0c;依托经市场验证的4D战略&#xff0c;即高质量的门店开发(Development)、高质价比的美味比萨(Delicious Pizza…...