PostgreSQL 的扩展pg_freespacemap
PostgreSQL 的扩展pg_freespacemap
pg_freespacemap
是 PostgreSQL 提供的一个内置扩展,用于查看表的空闲空间映射(Free Space Map, FSM)信息。这个扩展对于数据库性能调优和空间管理非常有用。
一 扩展概述
功能:提供对表的空闲空间映射的直接访问
用途:
- 分析表的空间利用率
- 识别空间浪费严重的表
- 优化VACUUM和空间回收策略
- 诊断膨胀问题
版本支持:PostgreSQL 8.4+(不同版本功能可能略有差异)
二、安装与启用
-- 创建扩展
CREATE EXTENSION pg_freespacemap;-- 验证是否安装成功
SELECT * FROM pg_available_extensions WHERE name = 'pg_freespacemap';
输出示例:
white=# CREATE EXTENSION pg_freespacemap;
CREATE EXTENSION
white=# SELECT * FROM pg_available_extensions WHERE name = 'pg_freespacemap';name | default_version | installed_version | comment
-----------------+-----------------+-------------------+----------------------------------pg_freespacemap | 1.2 | 1.2 | examine the free space map (FSM)
(1 row)white=#
三 主要功能函数
3.1 pg_freespace(relation regclass, blkno bigint)
返回特定表块的空闲空间字节数
-- 获取表'yewu1.t1'的第0块的空闲空间
SELECT pg_freespace('yewu1.t1'::regclass, 0);
输出示例:
white=# SELECT pg_freespace('yewu1.t1'::regclass, 0);pg_freespace
--------------0
(1 row)white=#
3.2 pg_freespace(relation regclass)
返回表所有块的空闲空间信息
-- 获取表'test'的所有块空闲空间
SELECT * FROM pg_freespace('yewu1.t1'::regclass);
输出示例:
white=# SELECT * FROM pg_freespace('yewu1.t1'::regclass);blkno | avail
-------+-------0 | 0
(1 row)white=#
四 使用示例
示例1:分析表的空间利用率
-- 创建测试表
CREATE TABLE test_table (id serial, data text);
INSERT INTO test_table (data) SELECT generate_series(1,10000)::text;-- 查看空闲空间分布
SELECT blkno, avail
FROM pg_freespace('test_table'::regclass)
ORDER BY avail DESC
LIMIT 10;
输出示例:
white=# CREATE TABLE yewu1.test_table (id serial, data text);
CREATE TABLE
white=# INSERT INTO yewu1.test_table (data) SELECT generate_series(1,10000)::text;
INSERT 0 10000
white=#
white=# -- 查看空闲空间分布
white=# SELECT blkno, avail
white-# FROM pg_freespace('yewu1.test_table'::regclass)
white-# ORDER BY avail DESC
white-# LIMIT 10;blkno | avail
-------+-------4 | 322 | 07 | 09 | 05 | 06 | 03 | 08 | 01 | 00 | 0
(10 rows)white=#
示例2:识别空间浪费严重的表
-- 找出数据库中平均空闲空间最多的表
SELECTn.nspname AS schema,c.relname AS table,pg_size_pretty(pg_relation_size(c.oid)) AS size,(SELECT avg(avail) FROM pg_freespace(c.oid)) AS avg_free_space
FROM pg_class c
JOIN pg_namespace n ON n.oid = c.relnamespace
WHERE c.relkind = 'r'
ORDER BY avg_free_space DESC
LIMIT 10;
输出示例:
white=# SELECT
white-# n.nspname AS schema,
white-# c.relname AS table,
white-# pg_size_pretty(pg_relation_size(c.oid)) AS size,
white-# (SELECT avg(avail) FROM pg_freespace(c.oid)) AS avg_free_space
white-# FROM pg_class c
white-# JOIN pg_namespace n ON n.oid = c.relnamespace
white-# WHERE c.relkind = 'r'
white-# ORDER BY avg_free_space DESC
white-# LIMIT 10;schema | table | size | avg_free_space
------------+-----------------------+---------+----------------pg_catalog | pg_user_mapping | 0 bytes | pg_catalog | pg_subscription | 0 bytes | pg_catalog | pg_statistic_ext_data | 0 bytes | yewu1 | test5 | 0 bytes | pg_catalog | pg_foreign_table | 0 bytes | yewu1 | test6 | 0 bytes | yewu1 | test2 | 0 bytes | yewu1 | test4 | 0 bytes | yewu1 | test3 | 0 bytes | pg_catalog | pg_inherits | 0 bytes |
(10 rows)white=#
五 输出解释
pg_freespace
函数输出
列名 | 类型 | 描述 |
---|---|---|
blkno | bigint | 块号(从0开始) |
avail | int | 该块中可用空间字节数 |
六 实际应用场景
场景1:定期空间监控
-- 创建监控视图
CREATE VIEW table_space_monitor AS
SELECTn.nspname AS schema,c.relname AS table,pg_size_pretty(pg_relation_size(c.oid)) AS size,(SELECT avg(avail) FROM pg_freespace(c.oid)) AS avg_free_bytes,round((SELECT sum(avail) FROM pg_freespace(c.oid)) * 100.0 / NULLIF(pg_relation_size(c.oid), 0), 2) AS free_percent
FROM pg_class c
JOIN pg_namespace n ON n.oid = c.relnamespace
WHERE c.relkind = 'r'
AND pg_relation_size(c.oid) > 0;
输出示例:
white=# CREATE VIEW table_space_monitor AS
white-# SELECT
white-# n.nspname AS schema,
white-# c.relname AS table,
white-# pg_size_pretty(pg_relation_size(c.oid)) AS size,
white-# (SELECT avg(avail) FROM pg_freespace(c.oid)) AS avg_free_bytes,
white-# round((SELECT sum(avail) FROM pg_freespace(c.oid)) * 100.0 /
white(# NULLIF(pg_relation_size(c.oid), 0), 2) AS free_percent
white-# FROM pg_class c
white-# JOIN pg_namespace n ON n.oid = c.relnamespace
white-# WHERE c.relkind = 'r'
white-# AND pg_relation_size(c.oid) > 0;
CREATE VIEW
white=#
white=# select * from table_space_monitor;schema | table | size | avg_free_bytes | free_percent
--------------------+-------------------------+------------+------------------------+--------------public | pgbench_accounts | 128 MB | 107.0799220272904483 | 1.31public | pgbench_branches | 8192 bytes | 0.00000000000000000000 | 0.00public | pgbench_history | 13 MB | 4.3969465648854962 | 0.05public | pgbench_tellers | 8192 bytes | 0.00000000000000000000 | 0.00pg_catalog | pg_type | 128 kB | 54.0000000000000000 | 0.66pg_catalog | pg_statistic | 208 kB | 17.2307692307692308 | 0.21pg_catalog | pg_authid | 8192 bytes | 5984.0000000000000000 | 73.05yewu1 | t2 | 440 kB | 140.2181818181818182 | 1.71yewu1 | test10 | 8192 bytes | 0.00000000000000000000 | 0.00pg_catalog | pg_attribute | 568 kB | 1.3521126760563380 | 0.02pg_catalog | pg_proc | 832 kB | 74.1538461538461538 | 0.91pg_catalog | pg_attrdef | 8192 bytes | 0.00000000000000000000 | 0.00yewu1 | t1 | 8192 bytes | 0.00000000000000000000 | 0.00pg_catalog | pg_constraint | 24 kB | 1546.6666666666666667 | 18.88pg_catalog | pg_index | 40 kB | 32.0000000000000000 | 0.39pg_catalog | pg_operator | 112 kB | 162.2857142857142857 | 1.98pg_catalog | pg_opfamily | 16 kB | 272.0000000000000000 | 3.32pg_catalog | pg_opclass | 24 kB | 842.6666666666666667 | 10.29pg_catalog | pg_am | 8192 bytes | 7392.0000000000000000 | 90.23pg_catalog | pg_amop | 56 kB | 59.4285714285714286 | 0.73pg_catalog | pg_amproc | 40 kB | 921.6000000000000000 | 11.25pg_catalog | pg_language | 8192 bytes | 7648.0000000000000000 | 93.36pg_catalog | pg_aggregate | 16 kB | 128.0000000000000000 | 1.56pg_catalog | pg_rewrite | 120 kB | 157.8666666666666667 | 1.93pg_catalog | pg_trigger | 8192 bytes | 0.00000000000000000000 | 0.00pg_catalog | pg_description | 344 kB | 97.4883720930232558 | 1.19pg_catalog | pg_cast | 16 kB | 2208.0000000000000000 | 26.95pg_catalog | pg_namespace | 8192 bytes | 7584.0000000000000000 | 92.58pg_catalog | pg_conversion | 16 kB | 224.0000000000000000 | 2.73pg_catalog | pg_depend | 128 kB | 0.00000000000000000000 | 0.00pg_catalog | pg_database | 8192 bytes | 7008.0000000000000000 | 85.55pg_catalog | pg_tablespace | 8192 bytes | 7936.0000000000000000 | 96.88pg_catalog | pg_auth_members | 8192 bytes | 8000.0000000000000000 | 97.66pg_catalog | pg_shdescription | 8192 bytes | 7936.0000000000000000 | 96.88pg_catalog | pg_ts_config | 8192 bytes | 5024.0000000000000000 | 61.33pg_catalog | pg_ts_config_map | 24 kB | 64.0000000000000000 | 0.78pg_catalog | pg_ts_dict | 8192 bytes | 4000.0000000000000000 | 48.83pg_catalog | pg_ts_parser | 8192 bytes | 8032.0000000000000000 | 98.05pg_catalog | pg_ts_template | 8192 bytes | 7616.0000000000000000 | 92.97pg_catalog | pg_extension | 8192 bytes | 8032.0000000000000000 | 98.05pg_catalog | pg_init_privs | 32 kB | 16.0000000000000000 | 0.20pg_catalog | pg_collation | 224 kB | 265.1428571428571429 | 3.24pg_catalog | pg_range | 8192 bytes | 7776.0000000000000000 | 94.92pg_catalog | pg_sequence | 8192 bytes | 0.00000000000000000000 | 0.00information_schema | sql_features | 64 kB | 704.0000000000000000 | 8.59information_schema | sql_implementation_info | 8192 bytes | 7296.0000000000000000 | 89.06information_schema | sql_parts | 8192 bytes | 7328.0000000000000000 | 89.45information_schema | sql_sizing | 8192 bytes | 6176.0000000000000000 | 75.39
场景2:自动VACUUM决策
-- 找出需要VACUUM的表(空闲空间超过30%)
SELECT n.nspname AS schema,c.relname AS table,round((SELECT sum(avail) FROM pg_freespace(c.oid)) * 100.0 / NULLIF(pg_relation_size(c.oid), 0), 2) AS free_percent
FROM pg_class c
JOIN pg_namespace n ON n.oid = c.relnamespace
WHERE c.relkind = 'r'
AND (SELECT sum(avail) FROM pg_freespace(c.oid)) > 0.3 * pg_relation_size(c.oid)
ORDER BY free_percent DESC;
输出示例:
white=# SELECT
white-# n.nspname AS schema,
white-# c.relname AS table,
white-# round((SELECT sum(avail) FROM pg_freespace(c.oid)) * 100.0 /
white(# NULLIF(pg_relation_size(c.oid), 0), 2) AS free_percent
white-# FROM pg_class c
white-# JOIN pg_namespace n ON n.oid = c.relnamespace
white-# WHERE c.relkind = 'r'
white-# AND (SELECT sum(avail) FROM pg_freespace(c.oid)) >
white-# 0.3 * pg_relation_size(c.oid)
white-# ORDER BY free_percent DESC;schema | table | free_percent
--------------------+-------------------------+--------------pg_catalog | pg_ts_parser | 98.05pg_catalog | pg_extension | 98.05pg_catalog | pg_auth_members | 97.66pg_catalog | pg_shdescription | 96.88pg_catalog | pg_tablespace | 96.88pg_catalog | pg_range | 94.92pg_catalog | pg_language | 93.36pg_catalog | pg_ts_template | 92.97pg_catalog | pg_namespace | 92.58pg_catalog | pg_am | 90.23information_schema | sql_parts | 89.45information_schema | sql_implementation_info | 89.06pg_catalog | pg_database | 85.55information_schema | sql_sizing | 75.39pg_catalog | pg_authid | 73.05pg_catalog | pg_ts_config | 61.33pg_catalog | pg_ts_dict | 48.83
(17 rows)white=#
七 注意事项
- 性能影响:频繁查询FSM会对系统性能产生一定影响,建议在非高峰期使用
- 权限要求:需要超级用户或表所有者权限
- 实时性:FSM信息不是实时更新的,VACUUM操作后会更新
- 外部表:不适用于外部表
- TOAST表:需要单独检查TOAST表的空闲空间
八 与VACUUM的关系
- VACUUM会更新FSM信息
- FSM大小由参数
max_fsm_pages
和max_fsm_relations
控制 - 可以使用
VACUUM VERBOSE
查看FSM更新情况
-- 调整FSM参数(需要重启)
ALTER SYSTEM SET max_fsm_pages = 200000;
ALTER SYSTEM SET max_fsm_relations = 10000;
九 故障排查
问题1:扩展无法创建
解决方案:
-- 检查是否在正确数据库创建
SELECT current_database();-- 检查扩展是否已存在
SELECT * FROM pg_available_extensions WHERE name = 'pg_freespacemap';-- 以超级用户身份创建
\c - postgres
CREATE EXTENSION pg_freespacemap;
问题2:查询返回空结果
可能原因:
- 表太小(小于1个块)
- 没有空闲空间
- 权限不足
验证方法:
-- 检查表大小
SELECT pg_size_pretty(pg_relation_size('table_name'));-- 检查权限
\z table_name
通过合理使用pg_freespacemap扩展,数据库管理员可以有效监控和管理PostgreSQL表的空间使用情况,优化存储效率并减少不必要的空间浪费。
相关文章:
PostgreSQL 的扩展pg_freespacemap
PostgreSQL 的扩展pg_freespacemap pg_freespacemap 是 PostgreSQL 提供的一个内置扩展,用于查看表的空闲空间映射(Free Space Map, FSM)信息。这个扩展对于数据库性能调优和空间管理非常有用。 一 扩展概述 功能:提供对表的空…...

【Linux】进程的基本概念
目录 概念描述进程-PCB如何查看进程通过系统目录进行查看通过ps指令进行查看 通过系统调用获取进程的PID和PPID(进程标⽰符)通过系统调用创建子进程通过一段代码来介绍fork为什么要有子进程?fork为什么给子进程返回0,给父进程返回子进程的PIDfork函数到底…...

设备驱动与文件系统:05 文件使用磁盘的实现
从文件使用磁盘的实现逻辑分享 我们现在讲第30讲,内容是文件使用磁盘的具体实现,也就是相关代码是如何编写的。上一节我们探讨了如何从字符流位置算出盘块号,这是文件操作磁盘的核心。而这节课,我们将深入研究实现这一核心功能的…...

AI数据分析在体育中的应用:技术与实践
在现代体育竞技领域,"数据驱动"已不再是一个遥远的概念。尤其随着人工智能(AI)和大数据分析的不断成熟,从职业俱乐部到赛事直播平台,从运动员训练到球迷观赛体验,AI正以前所未有的方式渗透并改变…...

zabbix 6 监控 docker 容器
zabbix 6 监控 docker 容器 1.安装zabbix_agent2 curl -s http://10.26.211.56:8080/centos7-agent2-install.sh | bash2.在zabbix server 端测试 zabbix_get -s 10.26.219.180 -k docker.infoZBX_NOTSUPPORTED: Cannot fetch data: Get "http://1.28/info": dial…...

正则持续学习呀
源匹配为 (.*): (.*)$ 替换匹配为 "$1": "$2", 可将headers改为字典 参考 【爬虫军火库】如何优雅地复制请求头 - 知乎...
【Go语言基础【19】】接口:灵活实现多态的核心机制
文章目录 零、概述一、接口基础1、接口的基本概念a. 接口定义b. 类型实现接口(无需显式声明)c. 接口变量(体现了多态) 2、实现接口的方式3、接口组合4、接口的底层结构 二、空接口与类型断言1. 空接口(interface{}&…...
MySql读写分离部署(一主一从,双主双从,Mycat)
参考资料: 参考视频 参考博客 视频参考资料及安装包: https://pan.baidu.com/s/1xT_WokN_xlRv0h06b6F3yg 提取码: aag3 Mysql主从复制部署指南(一主一从) NotePad++编辑Linux服务器文档 Mysql高版本(8.0及以后)Linux安装 Mysql分库分表(基于Mycat)的基本部署 …...

Go基本语法——go语言中的四种变量定义方法
前言 在go语言中,定义一个变量有四种方式,本文单从语法的层面来介绍这几种方式 单变量定义方法 1.var 变量名 类型,不进行初始化 例如,定义一个变量a后为其赋值,并且打印其值,运行结果如下 //1.不进行…...

27.【新型数据架构】-数据共享架构
27.【新型数据架构】-数据共享架构:降低数据获取成本,实时数据访问,保持数据新鲜度,促进数据经济发展,打破数据孤岛,标准化数据交换,增强数据安全性,完整审计追踪,合规性保障 一、数据共享架构的本质:打破壁垒的“数字立交桥” 传统企业或组织间的数据往往呈现“烟囱…...

virtualbox 如何虚拟机ip固定
1、在网络管理里新建 2、配置网络 3、 进入linux系统,查看 查看 网卡是enp0s8, ifconfig 4、进入网卡配置文件 cd /etc/sysconfig/network-scripts如果没有enp0s8 ,则使用mv ifcfg-enp0s3 ifcfg-enp0s8命令 配置项如下 TYPEEthernet PROXY_METHODn…...

RKNN3588上部署 RTDETRV2
RT-DETR V2 是由百度研究团队在 2024年 提出的,是其广受好评的实时目标检测模型 RT-DETR 的重大升级版本。它继承了第一代 RT-DETR 利用 Transformer 架构实现端到端目标检测 和 卓越实时性能 的核心优势,并针对模型精度、训练效率和部署灵活性进行了全方…...

Python----循环神经网络(BiLSTM:双向长短时记忆网络)
一、LSTM 与 BiLSTM对比 1.1、LSTM LSTM(长短期记忆网络) 是一种改进的循环神经网络(RNN),专门解决传统RNN难以学习长期依赖的问题。它通过遗忘门、输入门和输出门来控制信息的流动,保留重要信息并丢弃无关…...
Elasticsearch 常用操作命令整合 (cURL 版本)
Elasticsearch 常用操作命令整合 (cURL 版本) 集群管理 查看集群健康状态 curl -X GET "localhost:9200/_cluster/health?pretty"查看节点信息 curl -X GET "localhost:9200/_cat/nodes?v"查看集群统计信息 curl -X GET "localhost:9200/_clus…...
Redis持久化策略:RDB与AOF详解
目录 1. RDB持久化工作原理触发机制优点缺点配置示例 2. AOF持久化工作原理同步策略重写机制优点缺点配置示例 3. RDB与AOF比较4. 混合持久化(Redis 4.0)5. 选择建议 Redis提供了两种主要的持久化机制来保证数据安全:RDB(Redis Database)和AOF(Append Only File)。本…...

Linux系统编程-DAY10(TCP操作)
一、网络模型 1、服务器/客户端模型 (1)C/S:client server (2)B/S:browser server (3)P2P:peer to peer 2、C/S与B/S区别 (1)客户端不同&#…...

基于eclipse进行Birt报表开发
Birt报表开发最终实现效果: 简洁版的Birt报表开发实现效果,仅供参考! 可动态获取采购单ID,来打印出报表! 下面开始Birt报表开发教程: 首先:汉化的eclipse及Birt值得拥有:至少感觉上…...

GPU虚拟化
引言 现有如下环境(注意相关配置:只有一个k8s节点,且该节点上只有一张GPU卡): // k8s版本 $ kubectl version Client Version: version.Info{Major:"1", Minor:"22", GitVersion:"v1.22.7&…...

LabVIEW工业级多任务实时测控系统
采用LabVIEW构建了一套适用于工业自动化领域的多任务实时测控系统。系统采用分布式架构,集成高精度数据采集、实时控制、网络通信及远程监控等功能,通过硬件与软件的深度协同,实现对工业现场多类型信号的精准测控,展现 LabVIEW 在…...
Python学习(7) ----- Python起源
🐍《Python 的诞生》:一段圣诞假期的奇妙冒险 📍时间:1989 年圣诞节 在荷兰阿姆斯特丹的一个寒冷冬夜,灯光昏黄、窗外飘着雪。一个程序员 Guido van Rossum 正窝在家里度假——没有会议、没有项目、没有 bug…...
Java中List的forEach用法详解
在 Java 中,List.forEach() 是 Java 8 引入的一种简洁的遍历集合元素的方法。它基于函数式编程思想,接受一个 Consumer 函数式接口作为参数,用于对集合中的每个元素执行操作。 基本语法 java 复制 下载 list.forEach(consumer); 使用示…...
LeetCode 1356.根据数字二进制下1的数目排序
题目: 给你一个整数数组 arr 。请你将数组中的元素按照其二进制表示中数字 1 的数目升序排序。 如果存在多个数字二进制中 1 的数目相同,则必须将它们按照数值大小升序排列。 请你返回排序后的数组。 提示: 1 < arr.length < 5000…...

破解HTTP无状态:基于Java的Session与Cookie协同工作指南
HTTP协议自身是属于“无状态”协议 无状态是指:默认情况下,HTTP协议的客户端和服务器之间的这次通信,和下次通信之间没有直接的关系 但在实际开发中,我们很多时候是需要知道请求之间的关联关系的 上述图中的令牌,通常就…...

JS 事件流机制详解:冒泡、捕获与完整事件流
JS 事件流机制详解:冒泡、捕获与完整事件流 文章目录 JS 事件流机制详解:冒泡、捕获与完整事件流一、DOM 事件流基本概念二、事件捕获 (Event Capturing)特点代码示例 三、事件冒泡 (Event Bubbling)特点代码示例 四、完整事件流示例HTML 结构JavaScript…...
MYSQL too many connection问题排查和修复
1.连接数据库 mysql -u root -p 1.1 查看mysql路径 如果没有配置mysql的环境变量,可以直接找mysql的安装目录 打开任务管理器-》服务-》Mysql(根据版本不同后面带有数字,找运行的那个) 打开服务->mysql->属性-》可执行文件的路径,…...
SpringCloudAlibaba和SpringBoot版本问题
SpringCloudAlibaba和SpringBoot版本问题 直接参考官方给出的版本说明,具体地址:https://github.com/alibaba/spring-cloud-alibaba/wiki/%E7%89%88%E6%9C%AC%E8%AF%B4%E6%98%8E Spring Cloud Alibaba VersionSentinel VersionNacos VersionRocketMQ Ver…...

算法专题七:分治
快排 1.颜色分类 题目链接:75. 颜色分类 - 力扣(LeetCode) class Solution {public void swap(int[] nums, int i, int j){int t = nums[i];nums[i] = nums[j];nums[j] = t;}public void sortColors(int[] nums) {int left=-1 ,i=0 ,right=nums.length;while(i<right){i…...

Vue中虚拟DOM的原理与作用
绪论 首先我们先了解,DOM(Document Object Model,文档对象模型) 是浏览器对 HTML/XML 文档的结构化表示,它将文档解析为一个由节点(Node)和对象组成的树形结构(称为 DOM 树…...
前端十种排序算法解析
1. 冒泡排序 1.1 说明 冒泡排序为一种常用排序算法,执行过程为从数组的第一个位置开始,相邻的进行比较,将最大的数移动到数组的最后位置执行的时间复杂度与空间复杂度为 o(n^2) 1.2 执行过程 从数组的第一个位置开始,截止位置为 …...
使用 C/C++ 和 OpenCV 添加图片水印
使用 C/C 和 OpenCV 添加图片水印 🖼️ 在数字图像处理中,添加水印是一种常见的操作,可以用于版权保护、品牌宣传或信息标注。本文将介绍如何使用 C/C 和强大的计算机视觉库 OpenCV 来实现将自定义水印(图片或文字)添…...