badger的mainfest文件解读
1. mainfest文件的作用
mainfest文件是记录lsm tree中的各层tables表的创建删除记录的一个日志文件,主要的作用是badger数据库重启后,重新恢复内存中的各层tables表
2、内容结构
- 先是8个字节的魔数,魔数的结构如下
±----------------------------±------------------------±----------------------±-----------------+
| magicText (4 bytes) | externalMagic (2 bytes) | badgerMagic (2 bytes) |
±----------------------------±------------------------±----------------------±-----------------+ - 再就是pb.ManifestChangeSet结构体进行pb编码后的长度4字节和pb编码后的数据流的checksum
±---------------------------±-------------------------±-----------------+
| pbBufLen(4bytes) | checksum(4bytes) | bpBuf
±---------------------------±-------------------------±-----------------+
3、pb.ManifestChangeSet
type ManifestChange struct {Id uint64 `protobuf:"varint,1,opt,name=Id,proto3" json:"Id,omitempty"`Op ManifestChange_Operation `protobuf:"varint,2,opt,name=Op,proto3,enum=badgerpb3.ManifestChange_Operation" json:"Op,omitempty"`Level uint32 `protobuf:"varint,3,opt,name=Level,proto3" json:"Level,omitempty"`KeyId uint64 `protobuf:"varint,4,opt,name=key_id,json=keyId,proto3" json:"key_id,omitempty"`EncryptionAlgo EncryptionAlgo `protobuf:"varint,5,opt,name=encryption_algo,json=encryptionAlgo,proto3,enum=badgerpb3.EncryptionAlgo" json:"encryption_algo,omitempty"`Compression uint32 `protobuf:"varint,6,opt,name=compression,proto3" json:"compression,omitempty"`
}type ManifestChangeSet struct {// A set of changes that are applied atomically.Changes []*ManifestChange `protobuf:"bytes,1,rep,name=changes,proto3" json:"changes,omitempty"`
}
changes 是一个切片,把sst文件的每一次创建和删除都记录下来
4、mainfest实现原子性
const (ManifestFilename = "MANIFEST"manifestRewriteFilename = "MANIFEST-REWRITE"
)
-
helpRewrite使用两个文件来实现原子性,每次LSM tree 的的sst文件要创建或删除的时候,都是先创建MANIFEST-REWRITE文件,且使用O_TRUNC参数让MANIFEST-REWRITE文件为空文件(清理上次没写完就恰好断电的情况造成MANIFEST-REWRITE是一个脏文件),等数据写都都落盘,存储再MANIFEST-REWRITE文件后,在调用rename函数,把MANIFEST-REWRITE文件改名为MANIFEST-REWRITE,最后修改内存中存储的lsm tree中记录的sst表。
-
ReplayManifestFile函数在回放数据的时候,是在重新打开数据库,数据库目录存在MANIFEST就直接从MANIFEST来读取,即使上次在写MANIFEST-REWRITE的发生断电,内存中的lsm tree的sst表修改是在后的,不会执行,不影响数据可靠性,等下次重新写MANIFEST文件的时候,就会重新把上次的脏数据擦除。
5、和mainfest相关的函数
func (mf *manifestFile) rewrite() error //在lsm tree 任意层要发生变化了调用
func helpRewrite(dir string, m *Manifest, extMagic uint16) (*os.File, int, error)//第一次创建数据和rewrite调用
func ReplayManifestFile(fp *os.File, extMagic uint16)//非第一次打开数据的时候调用,用来重新构建数据lsm tree的各个层的sst 表相关文章:
badger的mainfest文件解读
1. mainfest文件的作用 mainfest文件是记录lsm tree中的各层tables表的创建删除记录的一个日志文件,主要的作用是badger数据库重启后,重新恢复内存中的各层tables表 2、内容结构 先是8个字节的魔数,魔数的结构如下 ----------------------…...
java导出excel浏览器下载,单线程VS多线程
java导出excel浏览器下载,单线程VS多线程 package com.mengyang.transactional.other.excelxssf; import com.mengyang.transactional.other.myselfExcel.ExcelUtils; import com.mengyang.transactional.pojo.ZhongXinDTO; import org.apache.poi.ss.usermodel.*…...
【rust/egui】(二)看看template的main函数:日志输出以及eframe run_native
说在前面 rust新手,egui没啥找到啥教程,这里自己记录下学习过程环境:windows11 22H2rust版本:rustc 1.71.1egui版本:0.22.0eframe版本:0.22.0上一篇:这里 开始 首先让我们看看main.rs中有些什么…...
Eigen在QT中的配置
Eigen简介 Eigen支持包括固定大小、任意大小的所有矩阵操作,甚至是稀疏矩阵;支持所有标准的数值类型,并且可以扩展为自定义的数值类型;支持多种矩阵分解及其几何特征的求解;它不支持的模块生态系统提供了许多专门的功能…...
微服务04-elasticsearch
1、es概念 1.1 文档和字段 elasticsearch是面向**文档(Document)**存储的,可以是数据库中的一条商品数据,一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中: 而Json文档中往往包含很多的字段(Field),类似于数据库中的列。 1.2 索引和映射 索引(…...
uniapp 微信小程序 订阅消息
第一步,需要先去小程序官方挑选一下订阅模板拿到模板id 订阅按钮在头部导航上,所以 <u-navbar :bgColor"bgColor"><view class"u-nav-slot" slot"left" click"goSubscribe"><image :src"g…...
JDK8日期时间工具类
此文章为笔记,为阅读其他文章的感受、补充、记录、练习、汇总,非原创,感谢每个知识分享者。 文章目录 1. 旧版日期时间的问题2. 新日期时间API介绍3. 日期时间的常见操作4. 日期时间的修改和比较5. 格式化和解析操作6. Instant类7. 计算日期…...
智汇云舟入选IDC《中国智慧城市数字孪生技术评估,2023》报告
8月7日,国际数据公司(IDC)发布了《中国智慧城市数字孪生技术评估,2023》报告。智汇云舟凭借在数字孪生领域的创新技术与产品,入选《2023中国数字孪生城市技术提供商图谱》。 报告通过公开征集的形式进行申报&am…...
《Zookeeper》源码分析(九)之选举通信网络
在上一篇文章中讲到QuorumCnxManager,它负责zookeeper服务器在选举期间最底层的网络通信,整个网络涉及到的类如下: 整个网络建立的过程如下: 选举前创建好QuorumCnxManager实例,并在QuorumCnxManager构造函数中创建好…...
JVM——栈和堆概述,以及有什么区别?
方法栈 方法栈并不是某一个 JVM 的内存空间,而是我们描述方法被调用过程的一个逻辑概念。 在同一个线程内,T1()调用T2(): T1()先开始,T2()后开始;T2()先结束,T1()后结束。 堆和栈概述 从英文单词角度来…...
恒盛策略:沪指冲高回落跌0.26%,酿酒、汽车等板块走弱,燃气股拉升
10日早盘,两市股指盘中冲高回落,半日成交约4200亿元,北向资金净卖出超20亿元。 到午间收盘,沪指跌0.26%报3235.9点,深成指跌0.54%,创业板指跌0.28%;两市算计成交4202亿元,北向资金净…...
Mongodb 常用操作
// 查询 user_id 是否存在 db.getCollection("t_mongo_user").find({"user_id" : { $exists: true }}) // 查询 user_id 10 的记录 db.getCollection("t_mongo_user").find({"user_id" : 10}) // 排序 -1,按照 _id 倒…...
【python】-【】
文章目录 转义字符和原字符二进制与字符编码标识符和保留字变量的定义和使用变量字符串列表for 一、print会输出①数字②字符串(必须加引号)③含有运算符的表达式(例如 31 其中3,1是操作数,是运算符)&#…...
基于Elman神经网络的电力负荷预测
1 案例背景 1.1 Elman神经网络概述 根据神经网络运行过程中的信息流向,可将神经网络可分为前馈式和反馈式两种基本类型。前馈式网络通过引入隐藏层以及非线性转移函数可以实现复杂的非线性映射功能。但前馈式网络的输出仅由当前输人和权矩阵决定,而与网络先前的输出结果无关。…...
LeetCode 0088. 合并两个有序数组
【LetMeFly】88.合并两个有序数组:O(m 1) O(1)的做法 力扣题目链接:https://leetcode.cn/problems/merge-sorted-array/ 给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2,另有两个整数 m 和 n ,分别表示 nums1 和 nums2…...
定义行业新标准?谷歌:折叠屏手机可承受20万次折叠
根据Patreon账户上的消息,Android专家Mishaal Rahman透露,谷歌计划推出新的硬件质量标准,以满足可折叠手机市场的需求。Android原始设备制造商(OEM)将需要完成谷歌提供的问卷调查,并提交样品设备进行严格审…...
在vscode中配置C/C++环境GCC on Linux
https://code.visualstudio.com/docs/cpp/config-linux 官方文档 准备工作 为了能够在vs code中编译运行C/C程序,需要下载: Visual Studio Code C扩展插件,cuda,,, 对于该扩展插件,打开vs c…...
windows执行完LoadLibrary()后,可以删除源动态库文件,函数不会锁库文件
windows执行完LoadLibrary()后,可以删除源动态库文件,函数不会锁库文件。 #include <iostream> #include <Windows.h>int main() {char path[MAX_PATH]{};GetCurrentDirectoryA(sizeof(path), path);HMODULE lib LoadLibraryA("testd…...
ios 知识
IOS 类文件.h和.m中interface的区别 大家都知道我们在创建类文件时会发现: #import <UIKit/UIKit.h>interface ViewController : UIViewControllerend和 #import "ViewController.h"interface ViewController ()end那么他们之间有何区别呢&#x…...
8 | 美国航班数据分析
"在现代快节奏的生活中,航空旅行已经成为人们出行的重要方式之一。然而,航班的准时性一直以来都是旅客和航空公司关注的焦点。无论是商务出差还是休闲度假,乘客们都希望能够在既定的时间内安全、准时地到达目的地。而对于航空公司而言,准点运营不仅关乎乘客体验,还涉…...
Nanbeige 4.1-3B WebUI从零开始:手机短信风对话界面快速上手教程
Nanbeige 4.1-3B WebUI从零开始:手机短信风对话界面快速上手教程 想不想在本地电脑上,拥有一个像手机短信或二次元游戏聊天室一样清爽、好用的AI对话界面?今天,我们就来手把手教你,从零开始搭建一个专为Nanbeige 4.1-…...
技术深度解析:VTracer高性能图像矢量化引擎架构与算法实现
技术深度解析:VTracer高性能图像矢量化引擎架构与算法实现 【免费下载链接】vtracer Raster to Vector Graphics Converter 项目地址: https://gitcode.com/gh_mirrors/vt/vtracer VTracer是一款基于Rust语言开发的高性能开源图像矢量化引擎,专门…...
若依前后端分离版部署实战:Nginx反向代理+生产环境优化配置
若依前后端分离版生产环境部署全攻略:Nginx调优与安全实践 第一次将若依框架部署到生产环境时,我遇到了前端资源加载缓慢、后端接口频繁超时的问题。经过多次实战调优,终于总结出一套兼顾性能与安全的部署方案。本文将分享从基础部署到深度优…...
GDI+图片操作全解析:从Bitmap锁定到Graphics绘制的正确姿势
GDI图像处理深度指南:解锁Bitmap与Graphics的高效协作 在Windows窗体应用开发中,图像处理是绕不开的核心需求。许多开发者在使用GDI时都遇到过这样的场景:从文件加载图片后,尝试修改并保存回原文件时,系统抛出"GD…...
如何永久保存微信聊天记录?三步实现数据自主管理的完整指南
如何永久保存微信聊天记录?三步实现数据自主管理的完整指南 【免费下载链接】WeChatMsg 提取微信聊天记录,将其导出成HTML、Word、CSV文档永久保存,对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/we/…...
终极虚拟控制器驱动:如何用ViGEmBus在5分钟内解决游戏兼容难题?
终极虚拟控制器驱动:如何用ViGEmBus在5分钟内解决游戏兼容难题? 【免费下载链接】ViGEmBus Windows kernel-mode driver emulating well-known USB game controllers. 项目地址: https://gitcode.com/gh_mirrors/vi/ViGEmBus 你是否曾因为心爱的游…...
终极DLSS版本管理器:一键优化多游戏画质的完整指南
终极DLSS版本管理器:一键优化多游戏画质的完整指南 【免费下载链接】dlss-swapper 项目地址: https://gitcode.com/GitHub_Trending/dl/dlss-swapper DLSS Swapper是一款专为游戏玩家设计的DLSS版本管理工具,能够自动扫描游戏库、识别DLSS支持状…...
SiameseUIE部署成本优化:小盘云实例+预装torch28=零额外开销
SiameseUIE部署成本优化:小盘云实例预装torch28零额外开销 1. 引言 如果你正在寻找一个能在资源受限的云服务器上直接运行的信息抽取模型,那么这篇文章就是为你准备的。今天要介绍的SiameseUIE部署方案,完美解决了小盘云实例部署AI模型时最…...
AI万能分类器5分钟上手:零代码搭建智能客服分类系统
AI万能分类器5分钟上手:零代码搭建智能客服分类系统 1. 引言:当客服遇到海量工单,如何快速分类? 想象一下,你是一家电商公司的客服主管。每天,成百上千条用户咨询像潮水一样涌进后台:“我的快…...
Stable Diffusion模型分类详解:从入门到精通Anything V5二次元生成
Stable Diffusion模型分类详解:从入门到精通Anything V5二次元生成 1. Stable Diffusion模型概述 Stable Diffusion作为当前最流行的开源图像生成模型,其核心价值在于能够根据文本描述生成高质量的图像。模型的质量和风格直接影响生成结果,…...
