当前位置: 首页 > article >正文

PostgreSQL性能监控双雄:深入解析pg_stat_statements与pg_statsinfo

在PostgreSQL的运维和优化工作中,性能监控工具的选择直接关系到问题定位的效率和数据库的稳定性。今天我们将深入探讨两款核心工具:pg_stat_statements(SQL执行统计)和pg_statsinfo(系统级监控),解析它们的原理、部署方法及实战应用场景。


🔍 一、pg_stat_statements:SQL执行性能分析利器

⚙️ 1. 核心功能

pg_stat_statements是PostgreSQL官方提供的扩展模块,用于跟踪所有SQL语句的执行统计信息,包括:

  • 资源消耗:执行时间(total_timemean_time)、I/O开销(shared_blks_readblk_read_time);
  • 执行频率:调用次数(calls)、影响行数(rows);
  • 查询归一化:自动将SQL中的常量替换为?,聚合相同结构的查询(如 SELECT * FROM users WHERE id=100id=101 归并为 SELECT * FROM users WHERE id=?)。
🛠️ 2. 安装与配置

步骤详解

  1. 修改配置文件:在 postgresql.conf 中启用模块并调整参数:
    shared_preload_libraries = 'pg_stat_statements'  # 必须重启生效
    track_io_timing = on                            # 跟踪I/O时间
    pg_stat_statements.max = 10000                  # 最大跟踪SQL数(默认5000)
    pg_stat_statements.track = 'all'                # 跟踪所有语句(含函数内嵌套SQL)
    pg_stat_statements.track_utility = on           # 跟踪DDL语句
    
  2. 重启PostgreSQL
    pg_ctl restart -D /path/to/data
    
  3. 创建扩展
    CREATE EXTENSION pg_stat_statements;  -- 在每个需要监控的数据库中执行
    
💻 3. 使用示例

常见场景与查询

  • TOP 10耗时SQL
    SELECT query, calls, total_exec_time, mean_exec_time
    FROM pg_stat_statements 
    ORDER BY total_exec_time DESC LIMIT 10;
    
  • 高I/O负载SQL
    SELECT query, shared_blks_read + shared_blks_written AS total_io
    FROM pg_stat_statements
    ORDER BY total_io DESC LIMIT 5;
    
  • 重置统计(需超级用户权限):
    SELECT pg_stat_statements_reset();  -- 清空历史统计
    
⚠️ 4. 注意事项
  • 性能影响:模块占用共享内存(约max * track_activity_query_size),但开销通常低于1%;
  • 版本差异:PostgreSQL 13+ 将时间拆分为 plan_timeexec_time,更精确区分阶段耗时;
  • 稳定性queryid 可能因表重建或PostgreSQL版本升级而变化,不可视为永久标识。

📊 二、pg_statsinfo:系统级监控与历史快照

⚙️ 1. 核心功能

pg_statsinfo是高级监控套件,功能远超pg_stat_statements,提供:

  • 系统资源监控:CPU、内存、磁盘I/O、网络流量;
  • 历史数据存储:定期快照统计信息,支持回溯分析;
  • 报告生成:自动生成HTML/PDF格式性能报告。
🛠️ 2. 安装与配置

步骤简述

  1. 安装插件(需源码编译或包管理安装):
    git clone https://github.com/ossc-db/pg_statsinfo.git
    make && make install
    
  2. 初始化配置:
    shared_preload_libraries = 'pg_statsinfo'
    pg_statsinfo.interval = 300           # 每5分钟采集一次
    pg_statsinfo.log_directory = '/pg_logs'
    
  3. 启动守护进程:
    pg_statsinfo -D /path/to/data start
    
📈 3. 核心优势
  • 时间序列分析:定位历史性能拐点(如每日高峰时段CPU飙升);
  • 跨维度关联:将SQL执行与系统负载(如磁盘IO骤增)关联分析;
  • 自动化报警:基于阈值触发邮件或SNMP告警。

🔄 三、对比分析:何时用哪种工具?

特性pg_stat_statementspg_statsinfo
数据粒度SQL级别统计系统+SQL级聚合
历史追踪仅当前数据(重启可保留)支持定时快照存储
部署复杂度低(内置扩展)中(需独立安装)
典型场景优化慢SQL、定位高频查询容量规划、趋势分析、根因定位

💎 经验建议

  • 日常优化用 pg_stat_statements 足矣,轻量且开箱即用
  • 若需分析“为何昨天数据库变慢”,则必须依赖 pg_statsinfo历史快照能力

💎 四、总结:双剑合璧的最佳实践

  1. 基础监控层:在所有生产库启用 pg_stat_statements,定期检查TOP SQL;
  2. 深度监控层:关键业务库补充部署 pg_statsinfo,保存30天历史数据;
  3. 联动分析
    • 通过 pg_statsinfo 发现系统资源瓶颈;
    • pg_stat_statements 定位具体问题SQL;
  4. 扩展性:两者均可与Prometheus+Grafana集成,实现可视化监控看板

一个高效案例:某电商平台通过 pg_statsinfo 发现每日10:00磁盘IO延迟飙升,联动 pg_stat_statements 分析出是该时段报表查询密集导致。最终通过增加索引+查询拆分,IO延迟降低70%。


未来趋势:随着PostgreSQL生态发展,监控工具正朝着集成化(如pgMetrics)和云原生化(如Azure Monitoring)演进。但理解底层工具的核心原理,仍是DBA应对复杂性能问题的基石。

相关文章:

PostgreSQL性能监控双雄:深入解析pg_stat_statements与pg_statsinfo

在PostgreSQL的运维和优化工作中,性能监控工具的选择直接关系到问题定位的效率和数据库的稳定性。今天我们将深入探讨两款核心工具:pg_stat_statements(SQL执行统计)和pg_statsinfo(系统级监控)&#xff0c…...

【Linux系列】Linux/Unix 系统中的 CPU 使用率

博客目录 多核处理器时代的 CPU 使用率计算为什么要这样设计? 解读实际案例:268.76%的 CPU 使用率性能分析的意义 相关工具与监控实践1. top 命令2. htop 命令3. mpstat 命令4. sar 命令 实际应用场景容量规划性能调优故障诊断 深入理解:CPU …...

C++语法系列之模板进阶

前言 本次会介绍一下非类型模板参数、模板的特化(特例化)和模板的可变参数&#xff0c;不是最开始学的模板 一、非类型模板参数 字面意思,比如&#xff1a; template<size_t N 10> 或者 template<class T,size_t N 10>比如&#xff1a;静态栈就可以用到&#…...

基于图神经网络的自然语言处理:融合LangGraph与大型概念模型的情感分析实践

在企业数字化转型进程中&#xff0c;非结构化文本数据的处理与分析已成为核心技术挑战。传统自然语言处理方法在处理客户反馈、社交媒体内容和内部文档等复杂数据集时&#xff0c;往往难以有效捕获文本间的深层语义关联和结构化关系。大型概念模型&#xff08;Large Concept Mo…...

R 语言科研绘图 --- 热力图-汇总

在发表科研论文的过程中&#xff0c;科研绘图是必不可少的&#xff0c;一张好看的图形会是文章很大的加分项。 为了便于使用&#xff0c;本系列文章介绍的所有绘图都已收录到了 sciRplot 项目中&#xff0c;获取方式&#xff1a; R 语言科研绘图模板 --- sciRplothttps://mp.…...

基于DFT码本的波束方向图生成MATLAB实现

基于DFT码本的波束方向图生成MATLAB实现&#xff0c;包含参数配置、方向图生成和可视化模块&#xff1a; %% 基于DFT码本的波束方向图生成 clc; clear; close all;%% 参数配置 params struct(...N, 8, % 阵元数d, 0.5, % 阵元间距(λ/2)theta_sc…...

vBulletin未认证API方法调用漏洞(CVE-2025-48827)

免责声明 本文档所述漏洞详情及复现方法仅限用于合法授权的安全研究和学术教育用途。任何个人或组织不得利用本文内容从事未经许可的渗透测试、网络攻击或其他违法行为。使用者应确保其行为符合相关法律法规,并取得目标系统的明确授权。 对于因不当使用本文信息而造成的任何直…...

解决访问网站提示“405 很抱歉,由于您访问的URL有可能对网站造成安全威胁,您的访问被阻断”问题

一、问题描述 本来前几天都可以正常访问的网站&#xff0c;但是今天当我们访问网站的时候会显示“405 很抱歉&#xff0c;由于您访问的URL有可能对网站造成安全威胁&#xff0c;您的访问被阻断。您的请求ID是&#xff1a;XXXX”&#xff0c;而不能正常的访问网站&#xff0c;如…...

FeignClient发送https请求时的证书验证原理分析

背景 微服务之间存在调用关系&#xff0c;且部署为 SSL 协议时&#xff0c;Feignt 请求报异常&#xff1a; Caused by: javax.net.ssl.SSLHandshakeException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find vali…...

UDP组播套接字与URI/URL/URN技术详解

UDP组播套接字基础 Java通过MulticastSocket类提供对UDP组播通信的支持,该机制允许单个数据报同时发送给多个接收者。组播套接字的工作机制与标准DatagramSocket类似,但核心区别在于其基于组播组成员关系的通信模型。 组播组成员管理 创建并绑定组播套接字后,必须调用joi…...

机器学习中的关键术语及其含义

神经元及神经网络 机器学习中的神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型。它是指按照一定的规则将多个神经元连接起来的网络。 神经网络是一种运算模型&#xff0c;由大量的节点&#xff08;或称神经元&#xff09;之间相互联接构成。每个节点代表一…...

点云识别模型汇总整理

点云识别模型主要分类&#xff1a; 目前主流的点云识别模型主要分为 基于点直接处理的方法&#xff1a;PointNet、PointNet 、DGCNN、 PointCNN、 Point Transformer、 RandLA-Net、 PointMLP、 PointNeXt &#xff1b;基于体素化的方法&#xff1a;VoxelNet、SECOND、PV-RCN…...

项目更改权限后都被git标记为改变,怎么去除

❗问题描述&#xff1a; 当你修改了项目中的文件权限&#xff08;如使用 chmod 改了可执行权限&#xff09;&#xff0c;Git 会把这些文件标记为“已更改”&#xff0c;即使内容并没有发生任何改变。 ✅ 解决方法&#xff1a; ✅ 方法一&#xff1a;告诉 Git 忽略权限变化&am…...

网络编程1_网络编程引入

为什么需要网络编程&#xff1f; 用户再在浏览器中&#xff0c;打开在线视频资源等等&#xff0c;实质上说通过网络&#xff0c;获取到从网络上传输过来的一个资源。 与打开本地的文件类似&#xff0c;只是这个文件的来源是网络。相比本地资源来说&#xff0c;网络提供了更为…...

【Day38】

DAY 38 Dataset和Dataloader类 对应5. 27作业 知识点回顾&#xff1a; Dataset类的__getitem__和__len__方法&#xff08;本质是python的特殊方法&#xff09;Dataloader类minist手写数据集的了解 作业&#xff1a;了解下cifar数据集&#xff0c;尝试获取其中一张图片 import …...

HTML Day04

Day04 0.引言1. HTML字符实体2. HTML表单2.1 表单标签2.2 表单示例 3. HTML框架4. HTML颜色4.1 16进制表示法4.2 rgba表示法4.3 名称表达法 5. HTML脚本 0.引言 刚刚回顾了前面几篇博客&#xff0c;感觉写的内容倒是很详细&#xff0c;每个知识点都做了说明。但是感觉在知识组织…...

佳能 Canon G3030 Series 打印机信息

基本参数 连接方式&#xff1a;Hi-Speed USB 接口&#xff0c;支持 IEEE802.11n/802.11g/802.11b/802.11a/802.11ac 无线连接&#xff0c;可同时使用 USB 和网络连接。尺寸重量&#xff1a;外观尺寸约为 416337177mm&#xff0c;重量约为 6.0kg。电源规格&#xff1a;AC 100-2…...

云原生安全基石:Kubernetes 核心概念与安全实践指南

&#x1f525;「炎码工坊」技术弹药已装填&#xff01; 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 一、基础概念 1. Kubernetes 架构全景 Kubernetes&#xff08;简称 K8s&#xff09;采用主从架构&#xff0c;由控制平面&#xff08;Control Plane&…...

图像修复的可视化demo代码

做项目的时候需要用到一个windows窗口可视化来展示我们的工作&#xff0c;我们的工作是一个文本指导的人脸图像修复&#xff0c;所以窗口需要包括输入图像&#xff0c;文本指导输入和修复结果&#xff0c;并且提供在输入图像上画mask的功能&#xff0c;使用tkinter来实现&#…...

autodl 安装了多个conda虚拟环境 选择合适虚拟环境的语句

1.conda env list 列出所有虚拟环境 可以看到&#xff0c;我有两个虚拟环境&#xff0c;一个是joygen&#xff0c;一个是base conda activate base 或者 conda activate joygen 激活对应的环境。我选择激活 joygen 环境 然后就可以在joygen环境下进行操作了 base环境也是同理…...

【AI工具应用】使用 trae 实现 word 转成 html

假如我们要实现某个网站的《隐私协议》等静态页面&#xff0c;产品给了一个 word 文档&#xff0c;以前我都是手动从 word 文档复制一行的文字&#xff0c;然后粘贴到一个html文件中&#xff0c;还得自己加各种标签&#xff0c;很麻烦。 我们可以使用 trae 等 ai 工具实现 wor…...

ansible-playbook 进阶 接上一章内容

1.异常中断 做法1&#xff1a;强制正常 编写 nginx 的 playbook 文件 01-zuofa .yml - hosts : web remote_user : root tasks : - name : create new user user : name nginx-test system yes uid 82 shell / sbin / nologin - name : test new user shell : gete…...

趋势直线指标

趋势直线副图和主图指标&#xff0c;旨在通过技术分析工具帮助交易者识别市场趋势和潜在的买卖点。 副图指标&#xff1a;基于KDJ指标的交易策略 1. RSV值计算&#xff1a; - RSV&#xff08;未成熟随机值&#xff09;反映了当前收盘价在过去一段时间内的相对位置。通过计算当前…...

基线配置管理:为什么它对网络稳定性至关重要

什么是基线配置&#xff08;Baseline Configuration&#xff09; 基线配置&#xff08;Baseline Configuration&#xff09;是经过批准的标准化主设置&#xff0c;代表所有设备应遵循的安全、合规且运行稳定的配置基准&#xff0c;可作为评估变更、偏差或未授权修改的参考基准…...

AWS WebRTC:获取ICE服务地址(part 1)

建立WebRTC连接的第二步是获取ICE服务地址。 ICE全称&#xff1a;Interactive Connectivity Establishment&#xff0c;建立互动连接。 ICE 服务地址&#xff0c;主要是 TURN 和 STUN 服务器的地址&#xff0c;用于 WebRTC 在 NAT 网络环境中协商建立连接。 上代码&#xff…...

Nest全栈到失业(一):Nest基础知识扫盲

Nest 是什么? 问你一个问题,node是不是把js拉出来浏览器环境运行了?当然,他使用了v8引擎加上自己的底层模块从而实现了,在外部编辑处理文件等;然后它使用很多方式来发送请求是吧,你知道的什么http.request 或 https.request; 我们浏览器中,使用AJAX以及封装AJAX和http的Axios…...

摩尔线程S4000国产信创计算卡性能实战——Pytorch转译,多卡P2P通信与MUSA编程

简介 MTT S4000 是基于摩尔线程曲院 GPU 架构打造的全功能元计算卡&#xff0c;为千亿规模大语言模型的训练、微调和推理进行了定制优化&#xff0c;结合先进的图形渲染能力、视频编解码能力和超高清 8K HDR 显示能力&#xff0c;助力人工智能、图形渲染、多媒体、科学计算与物…...

Tesseract OCR 安装与中文+英文识别实现

一、下载 https://digi.bib.uni-mannheim.de/tesseract/ 下载&#xff0c;尽量选择时间靠前的&#xff08;识别更好些&#xff09;。符合你的运行机&#xff08;我的是windows64&#xff09; 持续点击下一步安装&#xff0c;安装你认可的路径即可&#xff0c;没必要配置环境变…...

Cypress + React + TypeScript

🧪 Cypress + React + TypeScript 组件测试全流程实战:从入门到自动化集成 在现代前端开发中,组件测试 是保障 UI 行为可靠性的重要手段。本文将通过一个 React 项目示例,实战演示如何结合 Cypress + React + TypeScript 实现从零配置到自动化集成的完整测试链路。 一、项…...

每个路由器接口,都必须分配所属网络内的 IP 地址,用于转发数据包

在IP网络中&#xff0c;主机&#xff08;Host&#xff09;和路由器接口&#xff08;Router Interface&#xff09;都需要分配网络地址&#xff08;IP地址&#xff09;。 1. 主机&#xff08;Host&#xff09;的IP地址分配 (1) 作用 主机的IP地址用于唯一标识该设备&#xff0…...