当前位置：首页 > news >正文

postgres数据库的流复制

news 2025/9/16 22:49:05

1. 流复制和逻辑复制的差异

逻辑复制和流复制最直观的不同是，逻辑复制支持表级别复制
区分点事原理不同

- 逻辑日志是在wal日志产生的数据库上，由逻辑解析模块对wal日志进行初步的解析，解析结果是ReorderBufferChange（理解为HeapTupleData），再由pgoutput plugin对中间结果进行过滤和消息化拼接，然后将其发送到订阅端，订阅端根据接受到的Heap TupleData重新对其执行insert、delete、udpate操作
- 流复制时将数据从walrecord拷贝到数据页，
- 逻辑复制时将数据重新执行一次insert、update或delete

2. 流复制

流复制面对未提交的事务，事务没有提交也会同步到备机，当主库进行提交和回滚的时候，也会同步进行提交和回滚。对大事务相对友好
流复制会导致备机也会产生大量死元祖，需要做vacuum
流复制时将wal日志中记录的内容按照确切的块地址逐字节的拷贝到备库，因此主备之间数据分布是一样的，意味着主备机器上，同一条记录的ctid是相同的

3. 流复制的实现原理

后端进程通过执行XLogInsert和XLogFlush函数，将wal数据写入并刷新到WAL段文件中
walsender进程将写入wal段的wal数据发送给walreveiver进程
发送wal数据后，后端进程继续等待备用服务器的ACK响应。更准确的说，后端进行通过执行内部函数SyncRepWaitForLSN获得一个latch，并等待他被释放
备用服务器上的walreveiver将接受到的wal数据写入备用的wal段中，使用write系统调用，并向walsender返回一次ACK响应
walreveiver使用如fsync等系统调用将wal数据刷新到wal段，向walsender返回另一个ACK响应，并通知启动进程关于wal数据的刷新
startup进程回访已写入wal段的wal数据
当walsender收到walreveiver的ack响应时，释放后端进程的latch，然后后端进程的提交或中止操作将完成。latch释放的时机取决于参数synchronous_commit，如果设置为on，当收到步骤5的ACK时释放latch，如果设置为remote_wirte，则在收到步骤3的ACK时释放latch

ACK的包括内容

写入最新wal数据的lsn位置
刷新最新wal数据的lsn位置
在启动过程中回放最新wal数据的lsn位置
发送此响应的时间戳

过程分析

主库的进程进行写操作
产生WAL record
walsender感知到新的wal，发送给备库
备库接受，写盘再回放

是否发送wal日志与主库事务的提交与否没有关系，但主库是否能提交取决于备库的wal日志写入位置，默认是on的话需要落盘，备库实时回放

注意点

流复制就是借助latch实现主从进程间的协作
流复制场景下，只读事务、子事务的提交以及事务回滚，无需等待备库的ACK

postgres数据库的流复制

1. 流复制和逻辑复制的差异逻辑复制和流复制最直观的不同是，逻辑复制支持表级别复制区分点事原理不同逻辑日志是在wal日志产生的数据库上，由逻辑解析模块对wal日志进行初步的解析，解析结果是ReorderBufferChange（理解为HeapTup…...

编程日记 2024/6/26 23:12:09

Dxf库中的DL_Extrusion类

类DL_Extrusion DL_Extrusion 是 DXF 库中的一个类，用于表示三维实体的扩展信息。在 DXF 文件中，DL_Extrusion 类通常用于表示具有高度的三维图形实体，如立方体、圆柱体等，以及其它具有体积的几何对象。以下是一个简单的示例代…...

编程日记 2024/6/26 23:11:08

“ONLYOFFICE 8.1版本评测：功能更强大，用户体验更佳”

最新版本的在线编辑器已经发布 ONLYOFFICE在线编辑器的最新版本8.1已经发布，整个套件带来了30多个新功能和432个bug修复。这个强大的文档编辑器支持处理文本文档、电子表格、演示文稿、可填写的表单和PDF，并允许多人在线协作，同时支持AI集成…...

编程日记 2024/6/26 23:10:06

搜维尔科技：【研究】触觉手套比控制器更能带来身临其境、更安全、更高效的虚拟体验

自然交互可提高VR模拟的有效性。研究表明，触觉手套比控制器更能带来身临其境、更安全、更高效的虚拟体验。以下是验证医疗培训中的触觉技术 “ 95.5%的参与者表示触摸是 XR 教育的重要组成部分，90.9% 的参与者表示 XR 触觉将提供一个安全的学习场所。…...

编程日记 2024/6/26 23:08:04

【小学期】实体类设计——以学生管理系统为例

项目目录中的位置将Student.java文件放在src/model目录中，即： student_management │ ├── src │ ├── model │ │ ├── Student.java // 这里是Student实体类 │ │ └── StudentDAO.java │ │ │ ├── view │ │ …...

编程日记 2024/6/26 23:07:03

Java测试类

在Java中，为了编写测试类，通常使用JUnit框架。 1. 首先，创建一个名为Calculator的简单Java类，它包含一个方法add用于计算两个整数的和： public class Calculator {public int add(int a, int b) {return a b;} } 2.…...

编程日记 2024/6/26 23:06:02

python 中面向对象编程：深入理解封装、继承和多态

在本章中，我们将深入探讨Python中的高级面向对象编程概念，包括封装、继承和多态。让我们开始吧！ 目录面向对象简介类和实例属性和方法继承和多态高级面向对象概念私有变量使用 property使用 __slots__类的特殊成员__doc____call____str____…...

编程日记 2024/6/26 23:03:00

OpenCV练习（2）图像校正

1、傅里叶变换霍夫变换直线角度旋转2、边缘检测霍夫变换直线角度旋转3、四点透视角度旋转4、检测矩形轮廓角度旋转 1.目的实现类似全能扫面王的图像校正功能 2. 基于轮廓提取和透射变换基于轮廓提取和透射变换的矫正算法更适用于车牌、身份证、人民…...

编程日记 2024/6/26 23:01:59

Excel中的“点选输入”——次级下拉列表创建

在Excel中，用“数据验证”功能可以设置下拉列表，二级下拉列表需要设置公式。 (笔记模板由python脚本于2024年06月16日 18:36:37创建，本篇笔记适合经常使用Excel处理数据的coder翻阅) 【学习的细节是欢悦的历程】 Python 官网：http…...

编程日记 2024/6/26 23:00:58

基于 Spring AOP 实现安全检查

在现代应用程序中，安全性是一个至关重要的方面。通过对系统中的关键操作进行安全检查，可以有效防止未授权的访问和操作。Spring AOP（面向切面编程）提供了一种优雅的方式来实现安全检查，而无需修改业务逻辑代码。本文将…...

编程日记 2024/6/26 22:58:56

【MySQL】数据库事务详解

文章目录前言1. 事务的定义2. 事务的四个特性2.1 原子性2.2 一致性2.3 隔离性2.4 持久性 3. 事务的并发问题3.1 脏读3.2 不可重复读3.3 幻读3.4 更新丢失 4. 事务的隔离级别5. 事务的使用结语前言假设我们现在需要操作数据库进行转账，A 给 B 转账 100 块钱&…...

编程日记 2024/6/26 22:57:54

C链接mysql 报错 sudo apt-get update sudo apt-get install libmysqlclient-dev 指令编译 g -o mysql_example mysql_example.cpp -I/usr/include/mysql -lmysqlclient g mysql_test.cpp mysql_config --cflags --libs 安装mysql sudo apt updatesudo apt install mysql-…...

编程日记 2024/6/26 22:56:53

QStyledItemDelegate 和 QItemDelegate 的作用

在Qt中，QStyledItemDelegate和QItemDelegate是用于自定义和控制项视图控件（如QListView、QTableView、QTreeView）中项的显示和编辑的委托类。它们提供了对项的外观和编辑行为的定制能力。尽管它们在功能上有相似之处，但它们之间有…...

编程日记 2024/6/26 22:55:51

3.任务的创建与删除

1.什么是任务？ 任务可以理解为进程/线程，创建一个任务，就会在内存开辟一个空间。任务通常都含有while(1)死循环 2.任务创建与删除相关的函数 3.CUBEMAX相关配置编辑一个led1闪烁的任务...

编程日记 2024/6/26 22:54:50

进程、CPU、MMU与PCB之间的关系

目录进程与cpu（中央处理器） 源代码、程序、cpu与进程的关系 cpu超线程 CPU的简易架构与处理数据过程进程与MMU（内存管理单元） mmu作用 cpu和mmu的关系进程与PCB（进程控制块） PCB介绍与内部成员…...

编程日记 2024/6/26 22:52:49

代码随想录算法训练营Day50|1143.最长公共子序列、1035.不相交的线、53.最大子序和、392.判断子序列

最长公共子序列 1143. 最长公共子序列 - 力扣（LeetCode） 代码随想录 (programmercarl.com) 最长公共子序列 - 动态规划 Longest Common Subsequence - Dynamic Programming_哔哩哔哩_bilibili 本题和上一题718.最长重复子数组在很多方面相似&#xf…...

编程日记 2024/6/26 22:50:47

国家自然科学基金标书大全（2002-2024）

数据来源：在20世纪80年代初，为了促进中国的科技体制革新并改革科研资金分配机制，中国科学院的89位院士联名向党和国家领导人提出建议，设立了国家自然科学基金的设立。国自然基金自创立以来，根据国家发展科学技术方针、…...

编程日记 2024/6/26 22:47:44

Python代码打包成exe应用

目录一、前期准备二、Pyinstaller打包步骤 Pyinstaller参数详解三、测试 Spec 文件相关命令一、前期准备 （1）首先，我们需要确保你的代码可以在本地电脑上的pycharm正常运行成功。 （2）我们要先安装Pyinstalle…...

编程日记 2024/6/26 22:46:43

CesiumJS【Basic】- #016 多边形面渲染“花了”的问题

文章目录多边形面渲染“花了”的问题1 目标2 问题代码3 修正后代码4 总结多边形面渲染“花了”的问题 1 目标解决多边形的面“花了”的问题 2 问题代码使用Cesium.PerInstanceColorAppearance渲染后出现色斑 import * as Cesium from "cesium";const viewer …...

编程日记 2024/6/26 22:45:42

qt 开发对信号槽进行二次封装，实现信号槽管理接口。

最近做的一个项目，由于工程需要模块之间能够互相通信，但又不想模块之间耦合度太高使用信号槽的话，需要两个类的对象或者指针在其中一个类都要体现，这样达不到效果，想要一个管理类对这些互相通信的类之间进行管理，只需要在各自的类注册发送者和接收者即可，双方通过一…...

编程日记 2024/6/26 22:44:41

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …...

编程新知 2025/9/15 0:18:50

【WiFi帧结构】

文章目录帧结构MAC头部管理帧帧结构 Wi-Fi的帧分为三部分组成：MAC头部frame bodyFCS，其中MAC是固定格式的，frame body是可变长度。 MAC头部有frame control，duration，address1，address2，addre…...

编程新知 2025/9/9 10:11:52

使用分级同态加密防御梯度泄漏

抽象联邦学习 （FL） 支持跨分布式客户端进行协作模型训练，而无需共享原始数据，这使其成为在互联和自动驾驶汽车 （CAV） 等领域保护隐私的机器学习的一种很有前途的方法。然而，最近的研究表明&…...

编程新知 2025/9/7 2:01:52

Leetcode 3577. Count the Number of Computer Unlocking Permutations

Leetcode 3577. Count the Number of Computer Unlocking Permutations 1. 解题思路2. 代码实现题目链接：3577. Count the Number of Computer Unlocking Permutations 1. 解题思路这一题其实就是一个脑筋急转弯，要想要能够将所有的电脑解锁&#x…...

编程新知 2025/9/12 18:19:00