当前位置: 首页 > news >正文

badger的mainfest文件解读

1. mainfest文件的作用

mainfest文件是记录lsm tree中的各层tables表的创建删除记录的一个日志文件,主要的作用是badger数据库重启后,重新恢复内存中的各层tables表

2、内容结构

  • 先是8个字节的魔数,魔数的结构如下
    ±----------------------------±------------------------±----------------------±-----------------+
    | magicText (4 bytes) | externalMagic (2 bytes) | badgerMagic (2 bytes) |
    ±----------------------------±------------------------±----------------------±-----------------+
  • 再就是pb.ManifestChangeSet结构体进行pb编码后的长度4字节和pb编码后的数据流的checksum
    ±---------------------------±-------------------------±-----------------+
    | pbBufLen(4bytes) | checksum(4bytes) | bpBuf
    ±---------------------------±-------------------------±-----------------+

3、pb.ManifestChangeSet

type ManifestChange struct {Id             uint64                   `protobuf:"varint,1,opt,name=Id,proto3" json:"Id,omitempty"`Op             ManifestChange_Operation `protobuf:"varint,2,opt,name=Op,proto3,enum=badgerpb3.ManifestChange_Operation" json:"Op,omitempty"`Level          uint32                   `protobuf:"varint,3,opt,name=Level,proto3" json:"Level,omitempty"`KeyId          uint64                   `protobuf:"varint,4,opt,name=key_id,json=keyId,proto3" json:"key_id,omitempty"`EncryptionAlgo EncryptionAlgo           `protobuf:"varint,5,opt,name=encryption_algo,json=encryptionAlgo,proto3,enum=badgerpb3.EncryptionAlgo" json:"encryption_algo,omitempty"`Compression    uint32                   `protobuf:"varint,6,opt,name=compression,proto3" json:"compression,omitempty"`
}type ManifestChangeSet struct {// A set of changes that are applied atomically.Changes []*ManifestChange `protobuf:"bytes,1,rep,name=changes,proto3" json:"changes,omitempty"`
}

changes 是一个切片,把sst文件的每一次创建和删除都记录下来

4、mainfest实现原子性

const (ManifestFilename                  = "MANIFEST"manifestRewriteFilename           = "MANIFEST-REWRITE"
  • helpRewrite使用两个文件来实现原子性,每次LSM tree 的的sst文件要创建或删除的时候,都是先创建MANIFEST-REWRITE文件,且使用O_TRUNC参数让MANIFEST-REWRITE文件为空文件(清理上次没写完就恰好断电的情况造成MANIFEST-REWRITE是一个脏文件),等数据写都都落盘,存储再MANIFEST-REWRITE文件后,在调用rename函数,把MANIFEST-REWRITE文件改名为MANIFEST-REWRITE,最后修改内存中存储的lsm tree中记录的sst表。

  • ReplayManifestFile函数在回放数据的时候,是在重新打开数据库,数据库目录存在MANIFEST就直接从MANIFEST来读取,即使上次在写MANIFEST-REWRITE的发生断电,内存中的lsm tree的sst表修改是在后的,不会执行,不影响数据可靠性,等下次重新写MANIFEST文件的时候,就会重新把上次的脏数据擦除。

5、和mainfest相关的函数

func (mf *manifestFile) rewrite() error   //在lsm tree 任意层要发生变化了调用
func helpRewrite(dir string, m *Manifest, extMagic uint16) (*os.File, int, error)//第一次创建数据和rewrite调用
func ReplayManifestFile(fp *os.File, extMagic uint16)//非第一次打开数据的时候调用,用来重新构建数据lsm tree的各个层的sst 表

相关文章:

badger的mainfest文件解读

1. mainfest文件的作用 mainfest文件是记录lsm tree中的各层tables表的创建删除记录的一个日志文件,主要的作用是badger数据库重启后,重新恢复内存中的各层tables表 2、内容结构 先是8个字节的魔数,魔数的结构如下 ----------------------…...

java导出excel浏览器下载,单线程VS多线程

java导出excel浏览器下载,单线程VS多线程 package com.mengyang.transactional.other.excelxssf; import com.mengyang.transactional.other.myselfExcel.ExcelUtils; import com.mengyang.transactional.pojo.ZhongXinDTO; import org.apache.poi.ss.usermodel.*…...

【rust/egui】(二)看看template的main函数:日志输出以及eframe run_native

说在前面 rust新手,egui没啥找到啥教程,这里自己记录下学习过程环境:windows11 22H2rust版本:rustc 1.71.1egui版本:0.22.0eframe版本:0.22.0上一篇:这里 开始 首先让我们看看main.rs中有些什么…...

Eigen在QT中的配置

Eigen简介 Eigen支持包括固定大小、任意大小的所有矩阵操作,甚至是稀疏矩阵;支持所有标准的数值类型,并且可以扩展为自定义的数值类型;支持多种矩阵分解及其几何特征的求解;它不支持的模块生态系统提供了许多专门的功能…...

微服务04-elasticsearch

1、es概念 1.1 文档和字段 elasticsearch是面向**文档(Document)**存储的,可以是数据库中的一条商品数据,一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中: 而Json文档中往往包含很多的字段(Field),类似于数据库中的列。 1.2 索引和映射 索引(…...

uniapp 微信小程序 订阅消息

第一步&#xff0c;需要先去小程序官方挑选一下订阅模板拿到模板id 订阅按钮在头部导航上&#xff0c;所以 <u-navbar :bgColor"bgColor"><view class"u-nav-slot" slot"left" click"goSubscribe"><image :src"g…...

JDK8日期时间工具类

此文章为笔记&#xff0c;为阅读其他文章的感受、补充、记录、练习、汇总&#xff0c;非原创&#xff0c;感谢每个知识分享者。 文章目录 1. 旧版日期时间的问题2. 新日期时间API介绍3. 日期时间的常见操作4. 日期时间的修改和比较5. 格式化和解析操作6. Instant类7. 计算日期…...

智汇云舟入选IDC《中国智慧城市数字孪生技术评估,2023》报告

8月7日&#xff0c;国际数据公司&#xff08;IDC&#xff09;发布了《中国智慧城市数字孪生技术评估&#xff0c;2023》报告。智汇云舟凭借在数字孪生领域的创新技术与产品&#xff0c;入选《2023中国数字孪生城市技术提供商图谱》。 报告通过公开征集的形式进行申报&am…...

《Zookeeper》源码分析(九)之选举通信网络

在上一篇文章中讲到QuorumCnxManager&#xff0c;它负责zookeeper服务器在选举期间最底层的网络通信&#xff0c;整个网络涉及到的类如下&#xff1a; 整个网络建立的过程如下&#xff1a; 选举前创建好QuorumCnxManager实例&#xff0c;并在QuorumCnxManager构造函数中创建好…...

JVM——栈和堆概述,以及有什么区别?

方法栈 方法栈并不是某一个 JVM 的内存空间&#xff0c;而是我们描述方法被调用过程的一个逻辑概念。 在同一个线程内&#xff0c;T1()调用T2()&#xff1a; T1()先开始&#xff0c;T2()后开始&#xff1b;T2()先结束&#xff0c;T1()后结束。 堆和栈概述 从英文单词角度来…...

恒盛策略:沪指冲高回落跌0.26%,酿酒、汽车等板块走弱,燃气股拉升

10日早盘&#xff0c;两市股指盘中冲高回落&#xff0c;半日成交约4200亿元&#xff0c;北向资金净卖出超20亿元。 到午间收盘&#xff0c;沪指跌0.26%报3235.9点&#xff0c;深成指跌0.54%&#xff0c;创业板指跌0.28%&#xff1b;两市算计成交4202亿元&#xff0c;北向资金净…...

Mongodb 常用操作

// 查询 user_id 是否存在 db.getCollection("t_mongo_user").find({"user_id" : { $exists: true }}) // 查询 user_id 10 的记录 db.getCollection("t_mongo_user").find({"user_id" : 10}) // 排序 -1&#xff0c;按照 _id 倒…...

【python】-【】

文章目录 转义字符和原字符二进制与字符编码标识符和保留字变量的定义和使用变量字符串列表for 一、print会输出①数字②字符串&#xff08;必须加引号&#xff09;③含有运算符的表达式&#xff08;例如 31 其中3&#xff0c;1是操作数&#xff0c;是运算符&#xff09;&#…...

基于Elman神经网络的电力负荷预测

1 案例背景 1.1 Elman神经网络概述 根据神经网络运行过程中的信息流向,可将神经网络可分为前馈式和反馈式两种基本类型。前馈式网络通过引入隐藏层以及非线性转移函数可以实现复杂的非线性映射功能。但前馈式网络的输出仅由当前输人和权矩阵决定,而与网络先前的输出结果无关。…...

LeetCode 0088. 合并两个有序数组

【LetMeFly】88.合并两个有序数组&#xff1a;O(m 1) O(1)的做法 力扣题目链接&#xff1a;https://leetcode.cn/problems/merge-sorted-array/ 给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2&#xff0c;另有两个整数 m 和 n &#xff0c;分别表示 nums1 和 nums2…...

定义行业新标准?谷歌:折叠屏手机可承受20万次折叠

根据Patreon账户上的消息&#xff0c;Android专家Mishaal Rahman透露&#xff0c;谷歌计划推出新的硬件质量标准&#xff0c;以满足可折叠手机市场的需求。Android原始设备制造商&#xff08;OEM&#xff09;将需要完成谷歌提供的问卷调查&#xff0c;并提交样品设备进行严格审…...

在vscode中配置C/C++环境GCC on Linux

https://code.visualstudio.com/docs/cpp/config-linux 官方文档 准备工作 为了能够在vs code中编译运行C/C程序&#xff0c;需要下载&#xff1a; Visual Studio Code C扩展插件&#xff0c;cuda&#xff0c;&#xff0c;&#xff0c; 对于该扩展插件&#xff0c;打开vs c…...

windows执行完LoadLibrary()后,可以删除源动态库文件,函数不会锁库文件

windows执行完LoadLibrary()后&#xff0c;可以删除源动态库文件&#xff0c;函数不会锁库文件。 #include <iostream> #include <Windows.h>int main() {char path[MAX_PATH]{};GetCurrentDirectoryA(sizeof(path), path);HMODULE lib LoadLibraryA("testd…...

ios 知识

IOS 类文件.h和.m中interface的区别 大家都知道我们在创建类文件时会发现&#xff1a; #import <UIKit/UIKit.h>interface ViewController : UIViewControllerend和 #import "ViewController.h"interface ViewController ()end那么他们之间有何区别呢&#x…...

8 | 美国航班数据分析

"在现代快节奏的生活中,航空旅行已经成为人们出行的重要方式之一。然而,航班的准时性一直以来都是旅客和航空公司关注的焦点。无论是商务出差还是休闲度假,乘客们都希望能够在既定的时间内安全、准时地到达目的地。而对于航空公司而言,准点运营不仅关乎乘客体验,还涉…...

如何快速掌握抗体序列分析:ANARCI完整入门指南

如何快速掌握抗体序列分析&#xff1a;ANARCI完整入门指南 【免费下载链接】ANARCI Antibody Numbering and Antigen Receptor ClassIfication 项目地址: https://gitcode.com/gh_mirrors/an/ANARCI 抗体序列编号是抗体研究和药物开发中的关键环节&#xff0c;而ANARCI&…...

MATLAB高阶谱分析工具箱全指南:cum3x/cum4x函数参数详解与避坑技巧

MATLAB高阶谱分析工具箱实战指南&#xff1a;从参数解析到工程避坑 在信号处理领域&#xff0c;高阶统计量分析正逐渐成为非高斯、非线性信号研究的利器。作为MATLAB用户&#xff0c;高阶谱分析工具箱(HOSA)中的cum3x、cum4x等函数为我们打开了这扇大门。但真正掌握这些工具的精…...

终极解决方案:3步搞定Windows系统依赖的Visual C++运行库整合安装指南

终极解决方案&#xff1a;3步搞定Windows系统依赖的Visual C运行库整合安装指南 【免费下载链接】vcredist AIO Repack for latest Microsoft Visual C Redistributable Runtimes 项目地址: https://gitcode.com/gh_mirrors/vc/vcredist 你是否曾经在运行某些软件或游戏…...

从‘找茬游戏’到智能识别:一文读懂VM BLOB分析里的连通性、阈值与特征筛选

从‘找茬游戏’到智能识别&#xff1a;解密BLOB分析中的连通性、阈值与特征筛选 想象一下&#xff0c;你正在玩一款经典的"找茬游戏"——在两幅看似相同的图片中&#xff0c;需要快速识别出细微的差异点。这种视觉搜索的过程&#xff0c;与机器视觉中的BLOB分析有着惊…...

抖音评论采集工具:3步快速获取完整评论数据的终极指南

抖音评论采集工具&#xff1a;3步快速获取完整评论数据的终极指南 【免费下载链接】TikTokCommentScraper 项目地址: https://gitcode.com/gh_mirrors/ti/TikTokCommentScraper 想要深入分析抖音热门视频的用户反馈&#xff1f;希望了解竞品账号的互动情况&#xff1f;…...

大模型位置编码进化史:从Sinusoidal到RoPE的5个关键突破

大模型位置编码进化史&#xff1a;从Sinusoidal到RoPE的5个关键突破 在自然语言处理领域&#xff0c;位置编码技术如同给模型装上了"空间感知"系统&#xff0c;让原本对序列顺序"视而不见"的Transformer架构获得了理解词序关系的能力。本文将带您深入探索这…...

万象视界灵坛实战案例:跨境电商商品图自动匹配多语言语义标签系统

万象视界灵坛实战案例&#xff1a;跨境电商商品图自动匹配多语言语义标签系统 1. 跨境电商商品标签的痛点与挑战 在跨境电商运营中&#xff0c;商品图片的多语言标签匹配一直是个令人头疼的问题。传统方法通常需要&#xff1a; 人工为每张商品图编写多语言描述依赖关键词匹配…...

MT5 Zero-Shot中文增强效果可视化:原句vs改写句语义相似度与流畅度实测

MT5 Zero-Shot中文增强效果可视化&#xff1a;原句vs改写句语义相似度与流畅度实测 1. 项目介绍与核心价值 MT5 Zero-Shot Chinese Text Augmentation 是一个基于 Streamlit 和阿里达摩院 mT5 模型构建的本地化 NLP 工具。这个工具能够对输入的中文句子进行语义改写和数据增强…...

动手学深度学习——数据集

1. 前言在前面的内容中&#xff0c;我们已经学习了&#xff1a;什么是物体检测什么是边界框边界框如何表示目标的位置但是&#xff0c;仅仅理解这些概念还不够。 如果想真正训练一个物体检测模型&#xff0c;我们还必须解决一个核心问题&#xff1a;训练数据从哪里来&#xff1…...

基于BGE-Large-Zh的智能写作助手:内容相似度检测

基于BGE-Large-Zh的智能写作助手&#xff1a;内容相似度检测 你是不是也遇到过这样的烦恼&#xff1f;辛辛苦苦写了几千字的文章&#xff0c;发布后却被人质疑“是不是抄的”&#xff1f;或者自己写的内容&#xff0c;过段时间再看&#xff0c;总觉得似曾相识&#xff0c;但又…...