当前位置： 首页 > news >正文

postgres数据库的流复制

news 文章来源：https://blog.csdn.net/qq_59083851/article/details/139997118 2025/5/15 0:31:52

1. 流复制和逻辑复制的差异

  • 逻辑复制和流复制最直观的不同是，逻辑复制支持表级别复制
  • 区分点事原理不同
    • 逻辑日志是在wal日志产生的数据库上，由逻辑解析模块对wal日志进行初步的解析，解析结果是ReorderBufferChange（理解为HeapTupleData），再由pgoutput plugin对中间结果进行过滤和消息化拼接，然后将其发送到订阅端，订阅端根据接受到的Heap TupleData重新对其执行insert、delete、udpate操作
    • 流复制时将数据从walrecord拷贝到数据页，
    • 逻辑复制时将数据重新执行一次insert、update或delete

2. 流复制

  • 流复制面对未提交的事务，事务没有提交也会同步到备机，当主库进行提交和回滚的时候，也会同步进行提交和回滚。对大事务相对友好
  • 流复制会导致备机也会产生大量死元祖，需要做vacuum
  • 流复制时将wal日志中记录的内容按照确切的块地址逐字节的拷贝到备库，因此主备之间数据分布是一样的，意味着主备机器上，同一条记录的ctid是相同的

3. 流复制的实现原理

  • 后端进程通过执行XLogInsert和XLogFlush函数，将wal数据写入并刷新到WAL段文件中
  • walsender进程将写入wal段的wal数据发送给walreveiver进程
  • 发送wal数据后，后端进程继续等待备用服务器的ACK响应。更准确的说，后端进行通过执行内部函数SyncRepWaitForLSN获得一个latch，并等待他被释放
  • 备用服务器上的walreveiver将接受到的wal数据写入备用的wal段中，使用write系统调用，并向walsender返回一次ACK响应
  • walreveiver使用如fsync等系统调用将wal数据刷新到wal段，向walsender返回另一个ACK响应，并通知启动进程关于wal数据的刷新
  • startup进程回访已写入wal段的wal数据
  • 当walsender收到walreveiver的ack响应时，释放后端进程的latch，然后后端进程的提交或中止操作将完成。latch释放的时机取决于参数synchronous_commit，如果设置为on，当收到步骤5的ACK时释放latch，如果设置为remote_wirte，则在收到步骤3的ACK时释放latch

ACK的包括内容

  • 写入最新wal数据的lsn位置
  • 刷新最新wal数据的lsn位置
  • 在启动过程中回放最新wal数据的lsn位置
  • 发送此响应的时间戳

过程分析

  • 主库的进程进行写操作
  • 产生WAL record
  • walsender感知到新的wal，发送给备库
  • 备库接受，写盘再回放

是否发送wal日志与主库事务的提交与否没有关系，但主库是否能提交取决于备库的wal日志写入位置，默认是on的话需要落盘，备库实时回放

注意点

  • 流复制就是借助latch实现主从进程间的协作
  • 流复制场景下，只读事务、子事务的提交以及事务回滚，无需等待备库的ACK

相关文章：

postgres数据库的流复制

1. 流复制和逻辑复制的差异 逻辑复制和流复制最直观的不同是，逻辑复制支持表级别复制区分点事原理不同 逻辑日志是在wal日志产生的数据库上，由逻辑解析模块对wal日志进行初步的解析，解析结果是ReorderBufferChange（理解为HeapTup…...

编程日记 2024/6/26 23:12:09

Dxf库中的DL_Extrusion类

类DL_Extrusion DL_Extrusion 是 DXF 库中的一个类，用于表示三维实体的扩展信息。在 DXF 文件中，DL_Extrusion 类通常用于表示具有高度的三维图形实体，如立方体、圆柱体等，以及其它具有体积的几何对象。 以下是一个简单的示例代…...

编程日记 2024/6/26 23:11:08

“ONLYOFFICE 8.1版本评测：功能更强大，用户体验更佳”

最新版本的在线编辑器已经发布 ONLYOFFICE在线编辑器的最新版本8.1已经发布，整个套件带来了30多个新功能和432个bug修复。这个强大的文档编辑器支持处理文本文档、电子表格、演示文稿、可填写的表单和PDF，并允许多人在线协作，同时支持AI集成…...

编程日记 2024/6/26 23:10:06

搜维尔科技：【研究】触觉手套比控制器更能带来身临其境、更安全、更高效的虚拟体验

自然交互可提高VR模拟的有效性。研究表明，触觉手套比控制器更能带来身临其境、更安全、更高效的虚拟体验。 以下是验证 医疗培训中的触觉技术 “ 95.5%的参与者表示触摸是 XR 教育的重要组成部分，90.9% 的参与者表示 XR 触觉将提供一个安全的学习场所。…...

编程日记 2024/6/26 23:08:04

【小学期】实体类设计——以学生管理系统为例

项目目录中的位置 将Student.java文件放在src/model目录中，即： student_management │ ├── src │ ├── model │ │ ├── Student.java // 这里是Student实体类 │ │ └── StudentDAO.java │ │ │ ├── view │ │ …...

编程日记 2024/6/26 23:07:03

Java测试类

在Java中，为了编写测试类，通常使用JUnit框架。 1. 首先，创建一个名为Calculator的简单Java类，它包含一个方法add用于计算两个整数的和： public class Calculator {public int add(int a, int b) {return a b;} } 2.…...

编程日记 2024/6/26 23:06:02

python 中面向对象编程：深入理解封装、继承和多态

在本章中，我们将深入探讨Python中的高级面向对象编程概念，包括封装、继承和多态。让我们开始吧！ 目录 面向对象简介类和实例属性和方法继承和多态 高级面向对象概念私有变量使用 property使用 __slots__类的特殊成员__doc____call____str____…...

编程日记 2024/6/26 23:03:00

OpenCV练习（2）图像校正

1、傅里叶变换 霍夫变换 直线 角度 旋转2、边缘检测 霍夫变换 直线角度 旋转3、四点透视 角度 旋转4、检测矩形轮廓 角度 旋转 1.目的 实现类似全能扫面王的图像校正功能 2. 基于轮廓提取和透射变换 基于轮廓提取和透射变换的矫正算法更适用于车牌、身份证、人民…...

编程日记 2024/6/26 23:01:59

Excel中的“点选输入”——次级下拉列表创建

在Excel中，用“数据验证”功能可以设置下拉列表，二级下拉列表需要设置公式。 (笔记模板由python脚本于2024年06月16日 18:36:37创建，本篇笔记适合经常使用Excel处理数据的coder翻阅) 【学习的细节是欢悦的历程】 Python 官网：http…...

编程日记 2024/6/26 23:00:58

基于 Spring AOP 实现安全检查

在现代应用程序中，安全性是一个至关重要的方面。通过对系统中的关键操作进行安全检查，可以有效防止未授权的访问和操作。Spring AOP（面向切面编程）提供了一种优雅的方式来实现安全检查，而无需修改业务逻辑代码。本文将…...

编程日记 2024/6/26 22:58:56

【MySQL】数据库事务详解

文章目录 前言1. 事务的定义2. 事务的四个特性2.1 原子性2.2 一致性2.3 隔离性2.4 持久性 3. 事务的并发问题3.1 脏读3.2 不可重复读3.3 幻读3.4 更新丢失 4. 事务的隔离级别5. 事务的使用结语 前言 假设我们现在需要操作数据库进行转账，A 给 B 转账 100 块钱&…...

编程日记 2024/6/26 22:57:54

ubuntu链接mysql

C链接mysql 报错 sudo apt-get update sudo apt-get install libmysqlclient-dev 指令编译 g -o mysql_example mysql_example.cpp -I/usr/include/mysql -lmysqlclient g mysql_test.cpp mysql_config --cflags --libs 安装mysql sudo apt updatesudo apt install mysql-…...

编程日记 2024/6/26 22:56:53

QStyledItemDelegate 和 QItemDelegate 的作用

在Qt中，QStyledItemDelegate和QItemDelegate是用于自定义和控制项视图控件（如QListView、QTableView、QTreeView）中项的显示和编辑的委托类。它们提供了对项的外观和编辑行为的定制能力。尽管它们在功能上有相似之处，但它们之间有…...

编程日记 2024/6/26 22:55:51

3.任务的创建与删除

1.什么是任务？ 任务可以理解为进程/线程，创建一个任务，就会在内存开辟一个空间。 任务通常都含有while(1)死循环 2.任务创建与删除相关的函数 3.CUBEMAX相关配置 编辑一个led1闪烁的任务...

编程日记 2024/6/26 22:54:50

进程、CPU、MMU与PCB之间的关系

目录 进程与cpu（中央处理器） 源代码、程序、cpu与进程的关系 cpu超线程 CPU的简易架构与处理数据过程 进程与MMU（内存管理单元） mmu作用 cpu和mmu的关系 进程与PCB（进程控制块） PCB介绍与内部成员…...

编程日记 2024/6/26 22:52:49

代码随想录算法训练营Day50|1143.最长公共子序列、1035.不相交的线、53.最大子序和、392.判断子序列

最长公共子序列 1143. 最长公共子序列 - 力扣（LeetCode） 代码随想录 (programmercarl.com) 最长公共子序列 - 动态规划 Longest Common Subsequence - Dynamic Programming_哔哩哔哩_bilibili 本题和上一题718.最长重复子数组在很多方面相似&#xf…...

编程日记 2024/6/26 22:50:47

国家自然科学基金标书大全（2002-2024）

数据来源：在20世纪80年代初，为了促进中国的科技体制革新并改革科研资金分配机制，中国科学院的89位院士联名向党和国家领导人提出建议，设立了国家自然科学基金的设立。国自然基金自创立以来，根据国家发展科学技术方针、…...

编程日记 2024/6/26 22:47:44

Python代码打包成exe应用

目录 一、前期准备 二、Pyinstaller打包步骤 Pyinstaller参数详解 三、测试 Spec 文件相关命令 一、前期准备 （1）首先，我们需要确保你的代码可以在本地电脑上的pycharm正常运行成功。 （2）我们要先安装Pyinstalle…...

编程日记 2024/6/26 22:46:43

CesiumJS【Basic】- #016 多边形面渲染“花了”的问题

文章目录 多边形面渲染“花了”的问题1 目标2 问题代码3 修正后代码4 总结多边形面渲染“花了”的问题 1 目标 解决多边形的面“花了”的问题 2 问题代码 使用Cesium.PerInstanceColorAppearance渲染后出现色斑 import * as Cesium from "cesium";const viewer …...

编程日记 2024/6/26 22:45:42

qt 开发对信号槽进行二次封装，实现信号槽管理接口。

最近做的一个项目，由于工程需要模块之间能够互相通信，但又不想模块之间耦合度太高 使用信号槽的话，需要两个类的对象或者指针在其中一个类都要体现，这样达不到效果， 想要一个管理类对这些互相通信的类之间进行管理，只需要在各自的类注册发送者和接收者即可，双方通过一…...

编程日记 2024/6/26 22:44:41

本地项目上传到gitee

本地项目通过webstorm上传到gitee 1.登录gitee选择新建仓库 2.输入新建仓库的名字（名字与本地项目名一致） 3.复制链接 4.找到本地项目，选中地址输入cmd打开命令提示框 5.输入git init初始化git，生成.git文件 6.webstorm中打开项目…...

编程日记 2024/6/26 22:43:40

ONLYOFFICE 8.1版本桌面编辑器测评：超越想象的办公体验！

在当今数字化办公时代，一个功能强大、操作便捷的办公套件对于提高工作效率至关重要。ONLYOFFICE 8.1作为一款备受瞩目的办公软件，凭借其全面的功能、优异的性能和出色的用户体验，为用户带来了超越想象的办公体验。下面，我们将对ON…...

编程日记 2024/6/26 22:42:38

中介子方程三十四

XXFXXuXXWXXuXXdXXrXXαXXuXpXXKXηXiXXαXXiXηXKXXpXuXXαXXrXXdXXuXWXπXXWXeXyXeXbXπXpXXNXXqXeXXrXXαXXuXpXXKXηXiXXαXXiXηXKXXpXuXXαXXrXXeXqXXNXXpXπXbXeXyXeXWXXπXWXuXXdXXrXXαXXuXpXXKXηXiXXαXXiXηXKXXpXuXXαXXrXXdXXuXXWXXuXXFXXEXXyXXEXXrXXαXXuXpXXK…...

编程日记 2024/6/26 22:40:35

最新Sublime Text软件安装包分享（汉化版本）

Sublime Text 是一款广受欢迎的跨平台文本编辑器，专为代码、标记和散文编辑而设计。它以其简洁的用户界面、强大的功能和高性能而著称，深受开发者和写作者的喜爱。 一、下载地址 链接：https://pan.baidu.com/s/1kErSkvc7WnML7fljQZlcOg?pwdk…...

编程日记 2024/6/26 22:39:34

AI-智能体基础设施

个性化记忆需要世界模型来协助构建 业界有一个精简的Agent表达公示，即：Agent大模型（LLM）记忆（Memory）主动规划（Planning）工具使用（Tool Use）。基于该公式&am…...

编程日记 2024/6/26 22:38:31

【docker】docker启动neo4j，并配置内存

注意下：--volume宿主机目录:/data 和 --publish宿主机port:7474 --publish宿主机port:7687 docker run -d \ --publish9801:7474 --publish9802:7687 \ --env NEO4J_AUTHneo4j/passwd \ --volume/opt/docker/data/vol-data/neo4j4.2:/data \ --restart always \ --…...

编程日记 2024/6/26 22:36:27

面试准备记录

6月26日 今日学习 MySQL的1-7题（中期报告，加上玩了游戏，就没有认真背题） 6月25日 今日复习 JVM的内存管理部分（1-31题） 6月24日 今日学习 类的生命周期？类加载过程？类加载器有…...

编程日记 2024/6/26 22:33:24

文件管理—linux（基础IO）

目录 ​编辑 一、C语言文件接口（库函数） hello.c写文件 hello.c读文件 输出信息到显示器 stdin & stdout & stderr 二、系统文件I/O（系统调用） hello.c 写文件： hello.c读文件 接口介绍 open open…...

编程日记 2024/6/26 22:31:22

【华为OD机试|01】最远足迹（Java/C/Py/JS）

目录 一、题目介绍 1.1 题目描述 1.2 备注： 1.3 输入描述 1.4 输出描述 1.5 用例 二、Java代码实现 2.1 实现思路 2.2 详细代码 2.3 代码讲解： 三、C语言实现 3.1实现步骤 3.2 实现代码 3.3 代码详解 四、Python实现 4.1 实现步骤 4.2 …...

编程日记 2024/6/26 22:30:21

conda安装管理配置

原文链接：conda管理配置 导言 安装卸载 卸载 卸载 docker sudo rm -r /opt/anaconda3 #conda安装位置安装 从镜像archive中下载sh脚本安装 bash ./software/Anaconda3-2024.02-1-Linux-x86_64.sh -b -p /opt/anaconda3 #conda安装位置管理 查看 conda --ver…...

编程日记 2024/6/26 22:29:20