大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
点一下关注吧!!!非常感谢!!持续更新!!!
目前已经更新到了:
- Hadoop(已更完)
- HDFS(已更完)
- MapReduce(已更完)
- Hive(已更完)
- Flume(已更完)
- Sqoop(已更完)
- Zookeeper(已更完)
- HBase(已更完)
- Redis (正在更新…)
章节内容
上节完成了的内容如下:
- Redis通过Lua功能进行扩展
- Lua下载安装
- Lua在Redis中的使用案例(多个)

MySQL 中有慢查询日志,在 Redis 中,也有慢查询日志,可以用于监视和优化查询。
慢查询设置
redis 使用列表存储慢查询的日志,采用队列的方式:FIFO
在 redis.conf 中进行配置:
#执行时间超过多少微秒的命令请求会被记录到日志上 0 :全记录 <0 不记录
slowlog-log-slower-than 10000
#slowlog-max-len 存储慢查询日志条数
slowlog-max-len 128
查询日志
为了方便测试,可以通过暂时设置的方式,将检查的阈值调低。
config set slowlog-log-slower-than 0
config set slowlog-max-len 2
此时我们的操作基本上都会变成慢操作:
set name wzk
set age 123
get name
get age
我们查看慢日志内容:
slowlog get
日志可以用来解决以下问题:
- 问题诊断:当系统或应用程序出现问题时,日志提供的信息,帮助开发人员追踪和定位问题的根本原因。
- 性能优化:通过分析日志数据,可以了解系统的性能瓶颈和潜在问题,并采取相应的措施来优化系统的性能。
定位与处理
使用 slowlog get 可以获得执行较慢的 redis 命令,针对该命令可以进行优化:
- 尽量使用短的Key,对于Value有些也可以精简,能用int就int
- 避免 key *,hgetall 这种操作
- 减少大key的获取,打散成小key
- 将 RDB模式 转换为 AOF模式 RDB会FORK子进程
- 想要一次添加多条数据时可以使用管道
- 尽可能使用HASH存储
- 尽量限制下Redis使用的内存大小,可以避免Redis使用swap分区或OOM错误
监视器
Redis 客户端可以通过执行 MONITOR 命令将自己变成一个监视器,实时接受并打印服务器当前处理的命令请求的相关信息。
此时,当其他客户端向服务端发送一条命令时,服务器除了会处理这条命令外,还会将这条命令请求的信息发送给所有监视器。

客户端1
./redis-cli
monitor
客户端2
./redis-cli
set name:001 wzk
set name:002 kangkang
set age:001 12
set age:002 33
监视平台
对Redis进行监视,这里有几个选择方案:
- Grafana 开箱即用的可视化工具,具有功能齐全的度量仪表盘和图形编辑器,有灵活丰富的图形化选项,可以混合多种风格,支持多个数据源特点。
- Prometheus 开源的服务监控系统,它通过HTTP协议从远程的机器收集数据并存储在本地的时序数据库上。
- RedisExporter 为Prometheus提供了redis指标的导出,配合Prometheus以及grafana进行可视化监控。
相关文章:
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
点一下关注吧!!!非常感谢!!持续更新!!! 目前已经更新到了: Hadoop(已更完)HDFS(已更完)MapReduce(已更完&am…...
Istio_01_Istio初识
文章目录 IstioService Mesh Istio Istio: 以服务网格形态用于服务治理的开放平台和基础设施 本质: 以非侵入式治理服务之间的访问和调用服务治理: 流量管理、可观测性、安全性可同时管理多类基础设施(多种网络方案) 如: Istio和Kubernetes架构的结合 Istio通过Kubernetes的域…...
leetcode日记(47)螺旋矩阵Ⅱ
这题思路不难,就是找规律太难了。 我首先的思路是一行一行来,根据规律填入下一行的数组,第i行是由前i个数字(n-2*i)个增序数列后i个数字组成,后来觉得太难找规律了就换了一种思路。 思路大致是先计算出需…...
centos系统mysql主从复制(一主一从)
文章目录 mysql80主从复制(一主一从)一、环境二、服务器master1操作1.开启二进制日志2. 创建复制用户3. 服务器 slave1操作4. 在主数据库中添加数据 mysql80主从复制(一主一从) 一、环境 准备两台服务器,都进行以下操…...
IEDA怎么把springboot项目 启动多个
利用Idea提供的Edit Configurations配置应用参数。 点击Modify Options进行添加应用参数: 确保这里勾选...
Vue 3项目安装Element-Plus
Element Plus 是一个基于 Vue 3 的现代前端UI框架,它旨在提升开发体验,并为开发者提供高效、优雅的组件。如果你正在使用 Vue 3 进行项目开发,那么安装和集成 Element Plus 是一个不错的选择。在本文中,博主将详细介绍如何在 Vue …...
Git下载安装
一、介绍 Git是一个分布式版本控制系统,最初由Linus Torvalds创建,用于管理和跟踪代码的变化。它可以轻松地处理个人项目和大型团队项目的版本控制需求。 Git的主要特点包括: 分布式:每个开发者都可以拥有自己的本地仓库&#x…...
linux中的目录操作函数
参考 【Linux系统编程】Linux 文件系统探究:深入理解 struct dirent、DIR 和 struct stat结构 stat函数 C标准库提供了访问linux的目录的函数接口现对目录的操作。 一、libc接口 libc访问目录的流程为:打开目录,访问目录,关闭目…...
JSON 文件第一段飘红
问题 原因 这个问题通常发生在尝试用 ESLint 去解析 JSON 文件时。ESLint 主要设计用于检查 JavaScript 代码的语法和风格,而JSON是一种数据交换格式,不包含 JavaScript 的逻辑结构,如函数、变量声明等。 解释报错原因 当ESLint遇到它不能识…...
go使用gjson操作json数据
gjson使用 gjson介绍安装gjson库解析 JSON 字符串路径语法复杂查询遍历和修改结论 gjson介绍 gjson 是一个 Go 语言库,用于快速解析 JSON 数据。它提供了非常简洁的 API 来查询 JSON 数据,无需预先定义 Go 结构体或映射(map)来匹…...
Mac 下华为鸿蒙 :DevEco Studio 开发工具下载
1.登录:华为开发者中心--开发--下载工具DevEco Studio 2.下载完成后 ,安装,并创建一个新项目。 3.Tools --点击SDK Manager 下载SDK: 如果报:淘宝镜像源错误: npm ERR! code CERT_HAS_EXPIRED npm ERR! errno CERT_H…...
C进阶—动态内存管理
这里写目录标题 动态内存分配的原因动态内存函数mallocfreecallocrealloc C/C内存开辟柔性数组柔性数组特点 动态内存分配的原因 常见的内存开辟方式: int a 10;//在栈空间上开辟4个字节 char arr[10] {0};//在栈空间上开辟连续的10个字节上述开辟的空间问题&am…...
QT表格显示MYSQL数据库源码分析(七)
一. 连接MySQL数据库 首先,创建了一个QSqlDatabase对象,并设置数据库类型为"QMYSQL"。然后,它设置了数据库的主机名,端口号,数据库名,用户名和密码。最后,尝试打开数据库连接&#x…...
excel系列(三) - 利用 easyexcel 快速实现 excel 文件导入导出
一、介绍 在上篇文章中,我们介绍了 easypoi 工具实现 excel 文件的导入导出。 本篇我们继续深入介绍另一款更优秀的 excel 工具库:easyexcel 。 二、easyexcel easyexcel 是阿里巴巴开源的一款 excel 解析工具,底层逻辑也是基于 apache p…...
探索前后端数据传输模式:Java、Go与Python的实践20240719
深入解析前后端数据传输:Java、Go与Python的实践 引言 在当今的互联网时代,用户对Web应用的性能和交互体验有着越来越高的要求。无论是信息展示型网站还是复杂的企业应用,前后端数据传输的效率和模式选择都至关重要。本文将深入探讨三种主流…...
【YashanDB知识库】yac修改参数后关闭数据库hang住
【标题】yac修改参数后关闭数据库hang住 【问题分类】性能优化 【关键词】YashanDB, yac, shutdown hang 【问题描述】修改yac参数后执行shutdown immediate,数据库hang住。 【问题原因分析】 Shutdown操作时,线程在获取gInstance->trigger->s…...
提升网站性能:ThinkPHP6中如何实现Mysql分页查询
随着互联网的快速发展,web应用程序的开发也越来越复杂。而分页查询是web应用程序中常见的功能之一。thinkphp6是一个web框架,可以帮助开发人员快速开发应用程序。在本文中,我们将讨论如何在thinkphp6中使用mysql进行分页查询。 首先…...
Python:Flask自定义URL路由参数过滤器
目录 简单的例子手动类型转换自动类型转换自定义路由过滤器 简单的例子 先看一个简单的例子,GET请求需要传递一个参数,我们直接获取的是字符串 from flask import Flaskapp Flask(__name__)app.get("/<value>") def index(value):ret…...
闭包与装饰器
一.闭包: 闭包是Python中的一种高级特性,指的是在函数内部定义了另外一个函数,并返回了这个内部函数作为函数对象,同时还保存了外层函数的状态信息。这个内部函数可以依赖外层函数的变量和参数,而且外层函数返回的是这…...
DNS服务器的搭建
1、DNS服务器端软件 DNS 的域名解析都是 udp/53 . 主从之间的数据传输默认使 ⽤tcp/53 DNS服务器端软件: Bind是⼀款开放源码的DNS服务器软件,Bind由美国加州⼤学Berkeley(伯克 利)分校开发和维护的,全名为Berkele…...
Python 爬虫高级实战:海量 URL 去重布隆过滤器实现
前言 在大规模分布式爬虫、全站数据采集、多站点批量抓取业务场景中,URL 重复采集是制约爬虫效率、浪费服务器资源、造成数据冗余入库的核心痛点。传统 URL 去重方案如内存集合、文件存储、数据库唯一索引、Redis 集合等,在十万级、百万级乃至亿级海量 …...
LabVIEW图像处理实战:用NI Vision函数搞定灰度图的平移、旋转与缩放(附避坑指南)
LabVIEW图像处理实战:灰度图几何变换的深度解析与避坑指南 在工业检测、医疗影像和科研分析领域,灰度图像的几何变换是最基础却最容易出错的环节。许多刚接触LabVIEW机器视觉的开发者常困惑:为什么旋转后的图像边缘出现锯齿?缩放操…...
告别重复造轮子:用快马平台高效生成mpu6050卡尔曼滤波姿态解算代码
在嵌入式开发中,MPU6050传感器是获取姿态数据的常用器件,但原始数据往往包含噪声和漂移,需要经过复杂的滤波和解算才能得到可用的姿态角。传统的手动编写卡尔曼滤波代码不仅耗时,还容易因参数调整不当导致精度下降。最近尝试用Ins…...
保姆级教程:用GEE和Landsat 8数据,5分钟搞定城市热岛区域自动识别与面积计算
零代码实战:基于GEE与Landsat 8的城市热岛自动化分析系统 清晨六点的北京朝阳区,气象站记录到34℃的异常高温,而密云水库周边气温仅有28℃。这种温差现象背后,隐藏着现代城市规划者最关注的课题——城市热岛效应。今天我们将用Go…...
Windows微信批量消息发送工具:5分钟快速上手指南
Windows微信批量消息发送工具:5分钟快速上手指南 【免费下载链接】WeChat-mass-msg 微信自动发送信息,微信群发消息,Windows系统微信客户端(PC端 项目地址: https://gitcode.com/gh_mirrors/we/WeChat-mass-msg 还在为逐个…...
量子电路优化中的黎曼几何与随机子空间方法
1. 量子电路优化与黎曼几何方法概述 量子计算领域近年来在NISQ(含噪声中等规模量子)时代面临的核心挑战之一,是如何高效优化参数化量子电路(PQC)。变分量子算法(VQA)作为当前主流的解决方案&…...
从零开始使用taotoken python sdk构建你的第一个ai聊天应用
从零开始使用 Taotoken Python SDK 构建你的第一个 AI 聊天应用 1. 注册 Taotoken 并获取 API Key 要开始使用 Taotoken 的 AI 服务,首先需要注册账号并获取 API Key。访问 Taotoken 官方网站完成注册流程。登录后进入控制台,在「API 密钥管理」页面点…...
Plane.dev与Figma架构对比:权威多人在线后端的演进之路
Plane.dev与Figma架构对比:权威多人在线后端的演进之路 【免费下载链接】plane A distributed system for running WebSocket services at scale. 项目地址: https://gitcode.com/gh_mirrors/pla/plane 在当今实时协作应用爆发的时代,分布式WebSo…...
在 Taotoken 模型广场中根据任务与预算选择合适的模型型号
在 Taotoken 模型广场中根据任务与预算选择合适的模型型号 1. 访问模型广场与基础筛选 Taotoken 模型广场集中展示了平台接入的多家厂商模型,支持通过分类、价格和性能等维度快速筛选。登录 Taotoken 控制台后,导航至「模型广场」页面即可查看全部可用…...
从一次内存泄漏排查说起:深入理解UE5中FName的全局表与FString的陷阱
从一次内存泄漏排查说起:深入理解UE5中FName的全局表与FString的陷阱 那是一个再普通不过的周四下午,我正在为即将上线的开放世界项目做最后的性能优化。游戏在连续运行两小时后,内存占用从1.2GB悄然增长到3.7GB——这显然不是正常现象。当我…...
