当前位置： 首页 > news >正文

在线分析工具-日志优化

news 2025/12/19 11:21:00

一、概述
    针对于大日志文件，统计分析出日志文件的相关指标，帮助开发测试人员，优化日志打印。减少存储成本
二、日志分析指标

  • 重复打印日志：统一请求reqId的重复打印日志
  • 打印最多的方法：检测出打印日志最多的方法所在的类
  • 检测出打印最多日志的类
  • 大日志占用：检测一条日志内容长度大于1k的日志，所占用磁盘空间
  • 疑似for循环打印日志：检测循环打印的日志，可优化合并打印
  • 么有重写toString的日志：日志内容无意义，可优化toString方法，打印有用的信息

三、分析手段
1、mushroom分析:
服务生成日志->日志分析服务->扫描日志及其路径信息->保存数据库
                                             ->异步扫描分析任务->选择日志->提交分析任务->分析日志->输出分析报告->存储分析报告
                                             ->存储分析结果和更新任务状态

2、离线分析：
1、用java命令打开Log Analysis 分析工具
2、Input File：所需要分析的本地日志问价
3、Output Directory：输出分析报告的路径
5、Pattern：日志grok格式，跟在线分析格式一样
6、Analyse：执行分析，输出分析报告

相关文章：

在线分析工具-日志优化

一、概述 针对于大日志文件，统计分析出日志文件的相关指标，帮助开发测试人员，优化日志打印。减少存储成本 二、日志分析指标 重复打印日志：统一请求reqId的重复打印日志打印最多的方法：检测出打印日志最多的方法…...

编程日记 2023/12/24 16:25:10

硬核实战！mysql 错误操作整个表全部数据后如何恢复？附解决过程、思路（百万行SQL，通过binlog日志恢复）

mysql 错误操作整个表全部数据后如何恢复？（百万行SQL，通过binlog日志恢复） 事件起因 事情起因：以为某个表里的数据都是系统配置的数据，没有用户数据，一个字段需要覆盖替换为新的url链接&#x…...

编程日记 2023/12/24 16:22:06

【什么是反射机制？为什么反射慢？】

✅ 什么是反射机制？为什么反射慢？ ✅典型解析✅拓展知识仓✅反射常见的应用场景✅反射和Class的关系 ✅典型解析 反射机制指的是程序在运行时能够获取自身的信息。在iava中，只要给定类的名字，那么就可以通过反射机制来获得类的所有…...

编程日记 2023/12/24 16:20:05

PostGreSQL：货币类型

货币类型：money money类型存储固定小数精度的货币数字，小数的精度由数据库的lc_monetary设置决定。windows系统下，该配置项位于/data/postgresql.conf文件中，默认配置如下， lc_monetary Chinese (Simplified)_Chi…...

编程日记 2023/12/24 16:17:02

ESP8266网络相框采用TFT_eSPI库TJpg_Decoder库mixly库UDP库实现图片传送

用ESP8266和TFT_ESPI模块来显示图片数据。具体来说，我们将使用ILI9431显示器作为显示设备，并通过UDP协议将图片数据从发送端传输到ESP8266。最后，我们将解析这些数据并在TFT屏幕上显示出来。在这个过程中，我们将面临一些编程挑战&…...

编程日记 2023/12/24 16:13:59

Go 泛型发展史与基本介绍

Go 泛型发展史与基本介绍 Go 1.18版本增加了对泛型的支持，泛型也是自 Go 语言开源以来所做的最大改变。 文章目录 Go 泛型发展史与基本介绍一、为什么要加入泛型？二、什么是泛型三、泛型的来源四、为什么需要泛型五、Go 泛型设计的简史六、泛型语法6.1 …...

编程日记 2023/12/24 16:12:58

python 解决手机拍的书籍图片发灰的问题

老师给发的作业经常是手机拍的，而不是扫描，背景发灰，如果二次打印就没有看了，象这样： 如果使用photoshop 处理，有些地方还是扣不干净，不如python 做的好，处理后如下： 具体…...

编程日记 2023/12/24 16:05:53

【prompt一】Domain Adaptation via Prompt Learning

1.Motivation 当前的UDA方法通过对齐源和目标特征空间来学习域不变特征。这种对齐是由诸如统计差异最小化或对抗性训练等约束施加的。然而，这些约束可能导致语义特征结构的扭曲和类可辨别性的丧失。 在本文中，引入了一种新的UDA提示学习范式&#xff0…...

编程日记 2023/12/24 16:03:51

视频编辑与制作，添加视频封面的软件

如今，视频已经成为了我们生活中不可或缺的一部分，无论是社交媒体上的短视频，还是电影、电视剧，视频都以其独特的魅力吸引着我们的目光。而在这背后，视频剪辑软件功不可没。今天，我就为大家揭秘一款新一代的…...

编程日记 2023/12/24 15:57:46

Deepin更换仿Mac主题

上一篇博客说了要写一篇deepin系统的美化教程 先看效果图： 准备工作： 1.你自己 嘻嘻嘻 2.能上网的deepin15.11电脑 首先去下载主题 本次需要系统美化3部分：1.图标 2.光标 3.壁纸 开始之前，请先把你的窗口特效打开，…...

编程日记 2023/12/24 15:56:45

【Flink-Kafka-To-ClickHouse】使用 Flink 实现 Kafka 数据写入 ClickHouse

【Flink-Kafka-To-ClickHouse】使用 Flink 实现 Kafka 数据写入 ClickHouse 1）导入相关依赖2）代码实现2.1.resources2.1.1.appconfig.yml2.1.2.log4j.properties2.1.3.log4j2.xml2.1.4.flink_backup_local.yml 2.2.utils2.2.1.DBConn2.2.2.CommonUtils2.…...

编程日记 2023/12/24 15:54:44

浅谈Redis分布式锁(下)

作者简介：大家好，我是smart哥，前中兴通讯、美团架构师，现某互联网公司CTO 联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬 自定义Redis分布式锁的…...

编程日记 2023/12/24 15:53:42

Django Rest Framework框架的安装

Django Rest Framework框架的安装 Django Rest Framework框架的安装 1.DRF简介2.安装依赖3.安装使用pip安装添加rest_framework应用 1.DRF简介 Django REST Framework是Web api的工具包。它是在Django框架基础之上，进行了二次开发。 2.安装依赖 链接python安装 …...

编程日记 2023/12/24 15:51:40

深度学习（七）：bert理解之输入形式

传统的预训练方法存在一些问题，如单向语言模型的局限性和无法处理双向上下文的限制。为了解决这些问题，一种新的预训练方法随即被提出，即BERT（Bidirectional Encoder Representations from Transformers）。通过在大规模…...

编程日记 2023/12/24 15:50:39

如何用Excel制作一张能在网上浏览的动态数据报表

前言 如今各类BI产品大行其道，“数据可视化”成为一个热门词汇。相比价格高昂的各种BI软件，用Excel来制作动态报表就更加经济便捷。今天小编就将为大家介绍一下如何使用葡萄城公司的纯前端表格控件——SpreadJS来实现一个Excel动态报表： 实…...

编程日记 2023/12/24 15:49:38

双向数据绑定是什么

一、什么是双向绑定 我们先从单向绑定切入单向绑定非常简单，就是把Model绑定到View，当我们用JavaScript代码更新Model时，View就会自动更新双向绑定就很容易联想到了，在单向绑定的基础上，用户更新了View，Mo…...

编程日记 2023/12/24 15:47:37

鱼眼标定方式

鱼眼作用 人单眼水平视角最大可达156度，垂直方向150度。为了增加可视范围，摄像头可以通过畸变参数扩大视野，一般100度到200度的fov。所以鱼眼是为了看的视野更大，注意在一定分辨率下，fov边缘的像素点稀疏，…...

编程日记 2023/12/24 15:44:34

详解Keras3.0 KerasNLP Models: GPT2 GPT2Tokenizer

1、GPT2Tokenizer 用于将文本数据转换为适合训练和预测的格式，主要功能是将输入的文本进行分词、编码等操作，以便在神经网络中使用 keras_nlp.models.GPT2Tokenizer(vocabulary, merges, **kwargs) 参数说明 vocabulary：一个字典&#x…...

编程日记 2023/12/24 15:42:32

2016年第五届数学建模国际赛小美赛B题直达地铁线路解题全过程文档及程序

2016年第五届数学建模国际赛小美赛 B题 直达地铁线路 原题再现： 在目前的大都市地铁网络中，在两个相距遥远的车站之间运送乘客通常需要很长时间。我们可以建议在两个长途车站之间设置直达班车，以节省长途乘客的时间。   第一部分&#xf…...

编程日记 2023/12/24 15:37:28

三秦通ETC续航改造

前些天开车时ETC每隔2分钟滴滴响一下，重插卡提示电池电压低 2.8V。看来应该是电池不行了。去银行更换ETC应该是需要费用的。还有一种办法是注销掉，然后去别的银行办一个。不过我想自己更换电池试一下。 首先拆下ETC，我使用的办法是开水烫。烧…...

编程日记 2023/12/24 15:34:26

linux之kylin系统nginx的安装

一、nginx的作用 1.可做高性能的web服务器 直接处理静态资源（HTML/CSS/图片等），响应速度远超传统服务器类似apache支持高并发连接 2.反向代理服务器 隐藏后端服务器IP地址，提高安全性 3.负载均衡服务器 支持多种策略分发流量…...

编程新知 2025/12/17 5:47:49

label-studio的使用教程(导入本地路径)

文章目录 1. 准备环境2. 脚本启动2.1 Windows2.2 Linux 3. 安装label-studio机器学习后端3.1 pip安装(推荐)3.2 GitHub仓库安装 4. 后端配置4.1 yolo环境4.2 引入后端模型4.3 修改脚本4.4 启动后端 5. 标注工程5.1 创建工程5.2 配置图片路径5.3 配置工程类型标签5.4 配置模型5.…...

编程新知 2025/12/15 11:25:33

【人工智能】神经网络的优化器optimizer（二）：Adagrad自适应学习率优化器

一.自适应梯度算法Adagrad概述 Adagrad（Adaptive Gradient Algorithm）是一种自适应学习率的优化算法，由Duchi等人在2011年提出。其核心思想是针对不同参数自动调整学习率，适合处理稀疏数据和不同参数梯度差异较大的场景。Adagrad通…...

编程新知 2025/12/12 21:14:39

【网络安全产品大调研系列】2. 体验漏洞扫描

前言 2023 年漏洞扫描服务市场规模预计为 3.06（十亿美元）。漏洞扫描服务市场行业预计将从 2024 年的 3.48（十亿美元）增长到 2032 年的 9.54（十亿美元）。预测期内漏洞扫描服务市场 CAGR（增长率&…...

编程新知 2025/12/17 21:16:11

Java - Mysql数据类型对应

Mysql数据类型java数据类型备注整型INT/INTEGERint / java.lang.Integer–BIGINTlong/java.lang.Long–––浮点型FLOATfloat/java.lang.FloatDOUBLEdouble/java.lang.Double–DECIMAL/NUMERICjava.math.BigDecimal字符串型CHARjava.lang.String固定长度字符串VARCHARjava.lang…...

编程新知 2025/12/14 11:45:25

postgresql|数据库|只读用户的创建和删除（备忘）

CREATE USER read_only WITH PASSWORD 密码 -- 连接到xxx数据库 \c xxx -- 授予对xxx数据库的只读权限 GRANT CONNECT ON DATABASE xxx TO read_only; GRANT USAGE ON SCHEMA public TO read_only; GRANT SELECT ON ALL TABLES IN SCHEMA public TO read_only; GRANT EXECUTE O…...

编程新知 2025/9/18 19:34:22

什么是Ansible Jinja2

理解 Ansible Jinja2 模板 Ansible 是一款功能强大的开源自动化工具，可让您无缝地管理和配置系统。Ansible 的一大亮点是它使用 Jinja2 模板，允许您根据变量数据动态生成文件、配置设置和脚本。本文将向您介绍 Ansible 中的 Jinja2 模板，并通…...

编程新知 2025/12/9 1:41:13

九天毕昇深度学习平台 | 如何安装库？

pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple --user 举个例子： 报错 ModuleNotFoundError: No module named torch 那么我需要安装 torch pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --user pip install 库名&#x…...

编程新知 2025/12/10 1:16:05

LINUX 69 FTP 客服管理系统 man 5 /etc/vsftpd/vsftpd.conf

FTP 客服管理系统 实现kefu123登录，不允许匿名访问，kefu只能访问/data/kefu目录，不能查看其他目录 创建账号密码 useradd kefu echo 123|passwd -stdin kefu [rootcode caozx26420]# echo 123|passwd --stdin kefu 更改用户 kefu 的密码…...

编程新知 2025/12/17 22:08:49

永磁同步电机无速度算法--基于卡尔曼滤波器的滑模观测器

一、原理介绍 传统滑模观测器采用如下结构： 传统SMO中LPF会带来相位延迟和幅值衰减，并且需要额外的相位补偿。 采用扩展卡尔曼滤波器代替常用低通滤波器(LPF)，可以去除高次谐波，并且不用相位补偿就可以获得一个误差较小的转子位…...

编程新知 2025/12/17 12:04:31