当前位置： 首页 > news >正文

思考（九十二）：DBProxy实现多级存储和事务处理

news 2025/12/22 0:51:39

DBProxy 数据处理的主控室

后端开发一块重要的内容就是如何处理数据。比如：

问题说明
统一的访问界面如游戏服只需要 Load、Save、Begin、Commit、Rollback 接口
多级存储来降低成本如热数据在 Redis ；冷数据在 MySQL ；长时间非活跃，则归档 OSS
同个逻辑涉及多个数据更新要么全部成功、要么全部失败

解决这些问题，无非是加很多的控制逻辑，协调完成数据加载、保存

可以参考 Google GFS 的实现，把业务逻辑、控制逻辑和存储功能分开

  • 游戏服负责业务逻辑
  • DBProxy 负责控制逻辑
  • Redis、MySQL、Archive 负责缓存、存储、归档功能

模仿 GFS ， DBProxy 也要有 3 个部分组成：

  • DBProxy 服务自身
  • DBProxy 的元数据 Meta
  • DBProxy Client API

DBProxy 服务自身

DBProxy 主要有以下功能：

  • 协调数据加载和保存
  • 协调数据冷热切换
  • 非关联数据的并发事务
  • 关联数据的串行事务

相关文章：

思考（九十二）：DBProxy实现多级存储和事务处理

DBProxy 数据处理的主控室 后端开发一块重要的内容就是如何处理数据。比如： 问题说明统一的访问界面如游戏服只需要 Load、Save、Begin、Commit、Rollback 接口多级存储来降低成本如热数据在 Redis ；冷数据在 MySQL ；长时间非活跃，则归档 OSS同个逻辑涉及多个数据更新要么…...

编程日记 2023/11/5 8:56:22

新手入门Python一定要看的八个超实用建议！

文章目录 前言一、项目文件事先做好归档二、永远不要手动修改源数据并且做好备份三、做好路径的正确配置四、代码必要的地方做好备注与说明五、加速你的Python循环代码六、可视化你的循环代码进度七、使用高效的异常捕获工具八、要多考虑代码健壮性关于Python技术储备一、Pytho…...

编程日记 2023/11/5 8:55:21

Centos 7.x上利用certbot申请Let‘s Encrypt的SSH证书(HTTPS证书)

目录 01-安装Certbot02-在网站的根目录依次新建文件夹.well-known和acme-challenge03-申请证书 要在CentOS 7.x上为域名申请Let’s Encrypt证书，你可以使用Certbot工具，它是一个自动化证书颁发工具，用于管理Let’s Encrypt证书。以下是在Cent…...

编程日记 2023/11/5 8:54:20

采用springboot、avue框架开发的：大型医院绩效考核系统成品源码

医院绩效考核系统全套源码（演示自主版权医院应用案例） 医院绩效考核系统，建立以医院发展目标为导向，以医务人员劳动价值、工作量为评价基础，统筹效率、质量、成本的绩效管理和绩效工资分配体系。系统支持RBRVS&#xf…...

编程日记 2023/11/5 8:53:20

时序分解 | Matlab实现FEEMD快速集合经验模态分解时间序列信号分解

时序分解 | Matlab实现FEEMD快速集合经验模态分解时间序列信号分解 目录 时序分解 | Matlab实现FEEMD快速集合经验模态分解时间序列信号分解效果一览基本介绍程序设计参考资料 效果一览 基本介绍 Matlab实现FEEMD快速集合经验模态分解时间序列信号分解 算法新颖小众&#xff0c…...

编程日记 2023/11/5 8:51:16

自学SLAM（6）相机与图像实践：OpenCV处理图像与图像拼接(点云)

前言 如果写过SLAM14讲第一次的作业，或者看过我之前的运行ORB_SLAM2教程应该都安装过OpenCV了，如果没有安装，没关系，可以看我之前的博客，里面有如何安装OpenCV。 链接: 运行ORB-SLAM2（含OpenCV的安装&…...

编程日记 2023/11/5 8:49:14

伊朗网络间谍组织针对中东金融和政府部门

导语 近日，以色列网络安全公司Check Point与Sygnia发现了一起针对中东金融、政府、军事和电信部门的网络间谍活动。这一活动由伊朗国家情报和安全部门（MOIS）支持的威胁行为者发起，被称为"Scarred Manticore"。该组织被认…...

编程日记 2023/11/5 8:48:13

基于51单片机土壤湿度检测及自动浇花系统仿真（带时间显示）

wx供重浩：创享日记 对话框发送：单片机浇花 获取完整源码源文件仿真源文件原理图源文件论文报告等 单片机土壤湿度检测及自动浇花系统仿真（带时间显示） 具体功能： （1）液晶第一行显示实际湿度&am…...

编程日记 2023/11/5 8:46:08

typeScript基础使用与进阶

typeScript基础使用与进阶 一、初始typeScript1.1 js的超集1.2 编译器编译为js代码1.3 完全兼容js1.4 静态类型检查器 二、ts的安装与编译2.1 ts的安装2.2 ts编译成js2.2.1 手动编译2.2.2 自动编译 三、ts基础使用3.1 类型声明3.1.1 基础类型3.1.2 数组3.1.3 对象3.1.4 any类型…...

编程日记 2023/11/5 8:45:07

云智慧联合北航提出智能运维（AIOps）大语言模型及评测基准

随着各行业数字化转型需求的不断提高，人工智能、云计算、大数据等新技术的应用已不仅仅是一个趋势。各行业企业和组织纷纷投入大量资源，以满足日益挑剔的市场需求，追求可持续性和竞争力，这也让运维行业迎来了前所未有的挑战和机遇…...

编程日记 2023/11/5 8:44:05

高效处理异常值的算法：One-class SVM模型的自动化方案

一、引言 数据清洗和异常值处理在数据分析和机器学习任务中扮演着关键的角色。清洗数据可以提高数据质量，消除噪声和错误，从而确保后续分析和建模的准确性和可靠性。而异常值则可能对数据分析结果产生严重影响，导致误导性的结论和决策。因此&…...

编程日记 2023/11/5 8:43:04

Docker DeskTop安装与启动（Windows版本）

一、官网下载Docker安装包 Docker官网如下： Docker官网不同操作系统下载页面https://docs.docker.com/desktop/install/windows-install/ 二、安装Docker DeskTop 2.1 双击 Docker Installer.exe 以运行安装程序 2.2 安装操作 默认勾选，具体操作如下…...

编程日记 2023/11/5 8:42:03

数据结构：邻接矩阵与邻接表

模型图 邻接矩阵 用于反应图中任意两点之间的关联，用二维数组表示比较方便 以行坐标为起点，列坐标为终点如果两个点之间有边，那么标记为绿色，如图： 适合表示稠密矩阵 邻接表 用一维数组 链表的形式表示&#xff…...

编程日记 2023/11/5 8:41:02

python PyQt5 MySQL GUI 学生信息管理系统

学生信息管理系统 本系统使用python，pyqt5，数据库使用MySQL，实现windowsGUI应用。 python使用pymysql模块操作数据库代码 import pymysqldef handle_db(cmd, sql):result None# print(f" sql {sql}")# 连接数据库conn pymysql…...

编程日记 2023/11/5 8:40:00

[SSD综述1.6] SSD固态硬盘参数图文解析_选购固态硬盘就像买衣服？

依公知及经验整理，原创保护，禁止转载。 专栏 《SSD入门到精通系列》 <<<< 返回总目录 <<<< ​ 传统的 HDD 是“马达+磁头+磁盘”的机械结构，而 SSD 则是“闪存介质+主控”的纯半导体芯片存储结构，两者在数据存储介质和读写方式上有着本质区别，这…...

编程日记 2023/11/5 8:38:59

【计算机网络 - 自顶向下方法】第一章习题答案

P2 Question&#xff1a;   式 (1-1) 给出了经传输速率为 R 的 N 段链路发送长度为 L 的一个分组的端到端时延。 对于经过 N 段链路一个接一个地发送 P 个这样的分组&#xff0c;一般化地表示出这个公式。 Answer&#xff1a;    N ∗ L R \frac{N*L}{R} RN∗L​时&#x…...

编程日记 2023/11/5 8:37:58

零基础搭建Nextcloud私有云盘并通过内网穿透实现远程访问

文章目录 摘要1. 环境搭建2. 测试局域网访问3. 内网穿透3.1 ubuntu本地安装cpolar3.2 创建隧道3.3 测试公网访问 4 配置固定http公网地址4.1 保留一个二级子域名4.1 配置固定二级子域名4.3 测试访问公网固定二级子域名 摘要 Nextcloud,它是ownCloud的一个分支,是一个文件共享服…...

编程日记 2023/11/5 8:36:56

element ui多选框编辑时无法选中的解决办法

<!--v-model绑定的值必须是[]&#xff0c;不能是字符串--><el-form-item label"配布对象" prop"reptGroupArray" > <!--多选--><el-checkbox-group v-model"form.reptGroupArray" size"small" change"check…...

编程日记 2023/11/5 8:35:55

Android Studio布局

线性布局 水平或竖直排列子元素的布局容器 相对布局 可针对容器内每个子元素设置相对位置&#xff08;相对于父容器或同级子元素的位置&#xff09; 网格布局 找了下面这篇文章连接可以参考&#xff08;不再赘述&#xff09; GridLayout(网格布局) | 菜鸟教程 (runoob.com) …...

编程日记 2023/11/5 8:34:54

2.10 CSS BFC

1.简介 BFC是Block Formatting Context(块级格式上下文)&#xff0c;可以理解成元素的一个“特异功能”。该“特异功能”&#xff0c;在默认的情况下处于关闭状态;当元素满足了某些条件后&#xff0c;该"特异功能被激活。所谓激活"特异功能”&#xff0c;专业点说就…...

编程日记 2023/11/5 8:33:53

Vue记事本应用实现教程

文章目录 1. 项目介绍2. 开发环境准备3. 设计应用界面4. 创建Vue实例和数据模型5. 实现记事本功能5.1 添加新记事项5.2 删除记事项5.3 清空所有记事 6. 添加样式7. 功能扩展&#xff1a;显示创建时间8. 功能扩展&#xff1a;记事项搜索9. 完整代码10. Vue知识点解析10.1 数据绑…...

编程新知 2025/9/20 5:20:12

Python：操作 Excel 折叠

💖亲爱的技术爱好者们，热烈欢迎来到 Kant2048 的博客！我是 Thomas Kant，很开心能在CSDN上与你们相遇～💖 本博客的精华专栏： 【自动化测试】 【测试经验】 【人工智能】 【Python】 Python 操作 Excel 系列 读取单元格数据按行写入设置行高和列宽自动调整行高和列宽水平…...

编程新知 2025/12/17 19:51:51

（二）原型模式

原型的功能是将一个已经存在的对象作为源目标，其余对象都是通过这个源目标创建。发挥复制的作用就是原型模式的核心思想。 一、源型模式的定义 原型模式是指第二次创建对象可以通过复制已经存在的原型对象来实现，忽略对象创建过程中的其它细节。 📌 核心特点： 避免重复初…...

编程新知 2025/12/17 1:15:45

ServerTrust 并非唯一

NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...

编程新知 2025/12/21 4:29:36

3-11单元格区域边界定位(End属性)学习笔记

返回一个Range 对象&#xff0c;只读。该对象代表包含源区域的区域上端下端左端右端的最后一个单元格。等同于按键 End 向上键(End(xlUp))、End向下键(End(xlDown))、End向左键(End(xlToLeft)End向右键(End(xlToRight)) 注意&#xff1a;它移动的位置必须是相连的有内容的单元格…...

编程新知 2025/12/19 21:20:22

ABAP设计模式之---“简单设计原则(Simple Design)”

“Simple Design”&#xff08;简单设计&#xff09;是软件开发中的一个重要理念&#xff0c;倡导以最简单的方式实现软件功能&#xff0c;以确保代码清晰易懂、易维护&#xff0c;并在项目需求变化时能够快速适应。 其核心目标是避免复杂和过度设计&#xff0c;遵循“让事情保…...

编程新知 2025/12/14 23:17:22

安全突围：重塑内生安全体系：齐向东在2025年BCS大会的演讲

文章目录 前言第一部分&#xff1a;体系力量是突围之钥第一重困境是体系思想落地不畅。第二重困境是大小体系融合瓶颈。第三重困境是“小体系”运营梗阻。 第二部分&#xff1a;体系矛盾是突围之障一是数据孤岛的障碍。二是投入不足的障碍。三是新旧兼容难的障碍。 第三部分&am…...

编程新知 2025/12/17 19:15:03

深入浅出深度学习基础：从感知机到全连接神经网络的核心原理与应用

文章目录 前言一、感知机 (Perceptron)1.1 基础介绍1.1.1 感知机是什么&#xff1f;1.1.2 感知机的工作原理 1.2 感知机的简单应用&#xff1a;基本逻辑门1.2.1 逻辑与 (Logic AND)1.2.2 逻辑或 (Logic OR)1.2.3 逻辑与非 (Logic NAND) 1.3 感知机的实现1.3.1 简单实现 (基于阈…...

编程新知 2025/12/19 23:08:34

GO协程(Goroutine)问题总结

在使用Go语言来编写代码时&#xff0c;遇到的一些问题总结一下 [参考文档]&#xff1a;https://www.topgoer.com/%E5%B9%B6%E5%8F%91%E7%BC%96%E7%A8%8B/goroutine.html 1. main()函数默认的Goroutine 场景再现&#xff1a; 今天在看到这个教程的时候&#xff0c;在自己的电…...

编程新知 2025/12/14 4:58:11

HubSpot推出与ChatGPT的深度集成引发兴奋与担忧

上周三&#xff0c;HubSpot宣布已构建与ChatGPT的深度集成&#xff0c;这一消息在HubSpot用户和营销技术观察者中引发了极大的兴奋&#xff0c;但同时也存在一些关于数据安全的担忧。 许多网络声音声称&#xff0c;这对SaaS应用程序和人工智能而言是一场范式转变。 但向任何技…...

编程新知 2025/12/20 22:32:43