深入浅出MongoDB(五)
深入浅出MongoDB(五)
文章目录
- 深入浅出MongoDB(五)
- 可重试读取
- 可重试写入
- 读关注
- readConcern支持
- 写关注
可重试读取
- 可重试读取允许mongodb驱动程序在遇到某些网络或服务器错误时,自动重试某些读取操作一次。只有连接到mongodb server 3.6或更高版本时,驱动程序才能重试读取操作。
- 与mongodb server 4.2及更高版本兼容的官方驱动默认启用了可重试读取功能,要显式禁用可重试读取,在部署的连接字符串指定
retryReads=false,mongosh不支持可重试读取。 - mongodb驱动程序支持重试以下读操作
# CRUD API读操作
Collection.aggregate
Collection.count
Collection.countDocuments
Collection.distinct
Collection.estimatedDocumentCount
Collection.find
Database.aggregate
# 变更流操作
Collection.watch
Database.watch
MongoClient.watch
# 枚举操作
MongoClient.listDatabases
Database.listCollections
Collection.listIndexes
# GridFS文件下载操作
GridFSBucket.openDownloadStream
- 不支持可重试读取的操作
db.collection.mapReduce()
getMore
任何读取命令都会传递给通用Database.runCommand帮助程序,该程序与读取或写入命令无关
- mongodb可重试读取仅进行一次重试操作,有助于解决暂时性网络错误或副本集选举,但不能解决持续性网络错误。
可重试写入
- 可重试写入允许mongodb驱动程序在遇到网络错误或者在副本集或分片集群中找不到健康的主节点时自动重试某些写入操作。
- 可重试写入需要副本集或者分片集群,不支持独立实例;需要支持文档级锁定的存储引擎,比如WiredTiger或内存存储引擎;需要mongodb 3.6或更高版本的驱动程序;mongodb版本需要3.6及以上版本;写关注为0时发出的写入操作不可重试。
- 可重试写入和多文档事务,事务提交和中止操作是可重试的写入操作。如果提交操作或中止操作遇到错误,则不管
retryWrites是否设置为false,mongodb驱动程序都会重试该操作一次。 - 启用可重试写入,与mongodb 4兼容的驱动程序,2及更高版本默认启用可重试写入,早起的驱动程序需要
retryWrites=true选项。可重试写入默认在mongosh中启用,要禁用可重试写入使用--retryWrites=false命令行选项。默认情况下在旧版mongo中禁用可重试写入,可以使用--retryWrites=true启用可重试写入。 - 可重试写入操作,当以确认写发出时,以下写入操作是可重试的,例如写关注不能为
{w: 0}。
# 插入操作
db.collection.insertOne()
db.collection.insertMany()
# 单个文档变更操作
db.collection.updateOne()
db.collection.replaceOne()
# 单个文档删除操作
db.collection.deleteOne()
db.collection.remove()
# findAndModify操作
db.collection.findAndModify()
db.collection.findOneAndDelete()
db.collection.findOneAndReplace()
db.collection.findOneAndUpdate()
# 仅单文档写入操作的批量写入操作,可重试的批量操作可以包括指定写入操作的任意组合
db.collection.bulkWrite(): insertOne、updateOne、replaceOne、deleteOne
# 批量写入操作只包括单文档写入操作
Bulk.find.removeOne()
Bulk.find.replaceOne()
Bulk.find.updateOne()
读关注
- 借助readConcern选项,我们可以控制从副本集和分片集群读取的数据的一致性和隔离属性。通过有效使用写关注和读关注,我们可以适当调整一致性和可用性保证的级别,比如等待更强的一致性保证,或者放松一致性要求以提供更高的可用性。副本集和分片集群支持设置全局默认的读关注。未指定显式读关注的操作会继承全局默认的读关注设置。
- 读关注级别
| level | 说明 |
|---|---|
| local | 查询从实例返回数据,不保证数据已写入副本集的多数成员,针对主节点和从节点默认读取。无论有没有因果一致的会话和事务,均可使用local。 |
| available | 查询从实例返回数据,不保证数据已写入副本集的多数成员,不能与因果一致的会话和事务结合使用。对于分片集群,avaiable在各种读关注中提供最低延迟读取,会牺牲一致性。 |
| majority | 查询返回已被副本集多数成员确认的数据,即使失败,读取操作返回的文档也是持久性的。为了保证读关注多数,副本集成员在多数提交点从其内存数据视图返回数据。无论有没有因果一致的会话和事务都可以使用。副本集必须是WiredTiger存储引擎。 |
| linearizable | 该查询返回的数据反映了在读取操作开始之前完成的所有成功的多数已确认的写入操作。该查询可能会等待并发执行的写入操作的数据复制到多数副本集成员之后,再返回结果。如果多数副本集成员在读操作后崩溃并重新启动,且 writeConcernMajorityJournalDefault设置为默认状态 true,则读操作返回的文档是持久化的。将 writeConcernMajorityJournalDefault设置为 false 时,MongoDB 不会等待 w: "majority"写入在写入到磁盘日志后才确认写入。 |
| snapshot | 查询会返回最近某个特定时间点跨分片出现的多数提交数据。当事务以写关注majority提交时,读关注snapshot才提供保证。 |
readConcern支持
- 读关注选项,对于不在多文档事务中的操作,可以把readConcern级别指定为支持读关注的命令和方法的选项。
readConcern: { level: <level> }
db.collection.find().readConcern(<level>)
- 对于多文档事务,我们可以在事务级别设置读关注,而不是在单个操作级别。事务中的操作将使用事务级读关注。在集合和数据库级别设置的任何读关注在事务中都会被忽略。如果显式指定了事务级读关注,则在事务内也会忽略客户端级读关注。
- 我们可以在事务开始时设置读关注。对于多文档事务,可以关注local、majority和snapshot读关注级别;归属多文档事务的写命令可以支持事务级读关注;可以在事务中创建集合和索引,如果显式创建集合或索引,则事务必须使用读关注local,如果隐式创建集合,则可以使用任何可用于事务的读关注。
- 对于因果一致性的会话,我么可以使用local、majority和snapshot级别的读关注,为了保证因果一致性,我们必须使用majority。
- 支持读关注的操作,要为事务中的操作设置读关注,在事务级别而非单个操作级别设置读关注。
| 方法 | local | available | majority | snapshot | linearizable |
|---|---|---|---|---|---|
| count | ☑️ | ☑️ | ☑️ | ☑️ | |
| distinct | ☑️ | ☑️ | ☑️ | ☑️ | ☑️ |
| find | ☑️ | ☑️ | ☑️ | ☑️ | ☑️ |
| db.collection.find()(通过cursor.readConcern()) | ☑️ | ☑️ | ☑️ | ☑️ | ☑️ |
| getMore | ☑️ | ☑️ | |||
| aggregate | ☑️ | ☑️ | ☑️ | ☑️ | ☑️ |
| Session.startTransaction() | ☑️ | ☑️ | ☑️ |
- local数据库不支持读关注,mongodb默认忽略对本地数据库中集合操作的任何配置的读关注。
写关注
- 写关注说明了mongodb为针对独立运行的mongod、副本集或分片集群的写入操作所请求的确认级别。在分片集群中,mongos实例会将写关注传递给分片。
- 写关注说明
# w选项会请求确认写入操作已传播到指定数量的mongod实例或带有指定标签的mongod实例
# j选项以请求确认写入操作已写入磁盘日志,w和j选项决定mongod实例确认写入操作的时间
# wtimeout选项用于指定时间限制,防止写入操作无限期阻塞
{w: <value>, j: <boolean>, wtimeout: <number>}
- 从mongodb 5.0开始,隐式默认写关注为
w: majority,针对包含仲裁节点的部署则有特殊考虑。
相关文章:
深入浅出MongoDB(五)
深入浅出MongoDB(五) 文章目录 深入浅出MongoDB(五)可重试读取可重试写入读关注readConcern支持写关注 可重试读取 可重试读取允许mongodb驱动程序在遇到某些网络或服务器错误时,自动重试某些读取操作一次。只有连接到…...
【conda】创建、激活、删除虚拟环境
前言一、创建虚拟环境二、删除虚拟环境总结 前言 主要是记录一下步骤 一、创建虚拟环境 地址栏输入cmd,唤起命令符栏目,就可以在指定目录下创建虚拟环境了。 这样方便日后在pycharm直接配置虚拟环境。 conda create -n yolo5-lite python3.9 -y简单来说…...
关于int*的*号归属权问题
再根据函数指针定义:int (*int) (int a)。我们发现*和后面的标识符才是一体的 所以int *a,b;的写法更好,说明a是指针类型,b是int类型...
leetcode---素数,最小质因子,最大公约数
1 判断一个数是不是质数(素数) 方法1:依次判断能否被n整除即可,能够整除则不是质数,否则是质数 方法2:假如n是合数,必然存在非1的两个约数p1和p2,其中p1<sqrt(n),p2>sqrt(n)。 方法3&…...
基于stm32的蓝牙模块实验
蓝牙模块定长或不定长发送 头文件 #include "stdio.h" #include "sys.h"#define UART2_RX_BUF_SIZE 128 #define UART2_TX_BUF_SIZE 64UART_HandleTypeDef uart2_handle;uint8_t uart2_rx_buf[UART2_RX_BUF_SIZE]; uint16_t uart2_rx_len 0; void b…...
C语言解决TopK问题
前言: 本文TopK问题是在数据量很大的前提下进行解决,当数据量足够大时,内存中存不下,只能存到文件硬盘中。当存到硬盘中,我们无法用建堆,一个一个pop取出最值的方式解决,因为我们没法在硬盘中去…...
磁盘存储链式结构——B树与B+树
红黑树处理数据都是在内存中,考虑的都是内存中的运算时间复杂度。如果我们要操作的数据集非常大,大到内存已经没办法处理了该怎么办呢? 试想一下,为了要在一个拥有几十万个文件的磁盘中查找一个文本文件,设计的…...
如何批量从sql语句中提取表名
简介 使用的卢易表 的提取表名功能,可以从sql语句中批量提取表名。采用纯文本sql语法分析,无需连接数据库,支持从含非sql语句的文件文件中提取,支持各类数据库sql语法。 特点 快:从成百个文件中提取上千个表名只需1…...
怎么把音频的速度调慢?6个方法调节音频速度
怎么把音频的速度调慢?调慢音频速度不仅可以帮助我们更好地捕捉细节,还能让我们在分析和学习时更加从容。这对于音乐爱好者来说,尤其有助于理解复杂的旋律和和声,使学习过程变得更加高效。而在语言学习中,放慢语速则能…...
K8s-services+pod详解1
一、Service 我们能够利用Deployment创建一组Pod来提供具有高可用性的服务。 虽然每个Pod都会分配一个单独的Pod IP,然而却存在如下两问题: Pod IP 会随着Pod的重建产生变化Pod IP 仅仅是集群内可见的虚拟IP,外部无法访问 这样对于访问这…...
从RNN讲起(RNN、LSTM、GRU、BiGRU)——序列数据处理网络
文章目录 RNN(Recurrent Neural Network,循环神经网络)1. 什么是RNN?2. 经典RNN的结构3. RNN的主要特点4. RNN存在问题——长期依赖(Long-TermDependencies)问题 LSTM(Long Short-Term Memory&a…...
python:假的身份信息生成模块faker
前言 发现一个有趣的python模块(faker),他支持生成多个国家语言下的假身份信息,包含人名、地址、邮箱、公司名、电话号码、甚至是个人简历! 你可以拿它做一些自动化测试,或一些跟假数据有关的填充工作。 代…...
spring task的使用场景
spring task 简介 spring task 是spring自带的任务调度框架按照约定的时间执行某个方法的工具,类似于闹钟 应用场景 cron表达式 周和日两者必定有一个是问号 简单案例...
美畅物联丨剖析 GB/T 28181 与 GB 35114:视频汇聚领域的关键协议
我们在使用畅联云平台进行视频汇聚时,经常会用的GB/T 28181协议,前面我们写了关于GB/T 28181的相关介绍, 详见《畅联云平台|关于GB28181你了解多少?》。 最近也有朋友向我们咨询GB 35114协议与GB/T 28181有什么不同…...
uni-app 开发的应用快速构建成鸿蒙原生应用
uni-app 是一个使用 Vue.js 开发所有前端应用的框架,它支持编译到 iOS、Android、小程序等多个平台。对于 HarmonyOS(鸿蒙系统),uni-app 提供了特定的支持,允许开发者构建鸿蒙原生应用。 一、uni-app 对 HarmonyOS 的支…...
代码随想录算法训练营| 669. 修剪二叉搜索树 、 108.将有序数组转换为二叉搜索树 、 538.把二叉搜索树转换为累加树
669. 修剪二叉搜索树 题目 参考文章 思路:这题其实就是删除不符合上下边界的节点。注意:这里删除不符合上下边界节点时,这个不符合上下边界的节点的左或右子树可能存在符合上下边界的节点,所i有每次比较完之后,要继…...
Django模型实现外键自关联
Django模型实现外键自关联 1、场景 省市区、评论 2、模型models.py from django.db import models 资讯评论:资讯,用户,是否取消,时间class CommentInfomation(models.Model):info = models...
Android ViewModel
一问:ViewModel如何保证应用配置变化后能够自动继续存在,其原理是什么,ViewModel的生命周期和谁绑定的? ViewModel 的确能够在应用配置发生变化(例如屏幕旋转)后继续存在,这得益于 Android 系统的 ViewMod…...
优先算法1--双指针
“一念既出,万山无阻。”加油陌生人! 目录 1.双指针--移动零 2.双指针-复写零 ok,首先在学习之前,为了方便大家后面的学习,我们这里需要补充一个知识点,我这里所谓的指针,不是之前学习的带有…...
利用弹性盒子完成移动端布局(第二次实验作业)
需要实现的效果如下: 下面是首先是这个项目的框架: 然后是html页面的代码: <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"wid…...
挑战杯推荐项目
“人工智能”创意赛 - 智能艺术创作助手:借助大模型技术,开发能根据用户输入的主题、风格等要求,生成绘画、音乐、文学作品等多种形式艺术创作灵感或初稿的应用,帮助艺术家和创意爱好者激发创意、提高创作效率。 - 个性化梦境…...
[2025CVPR]DeepVideo-R1:基于难度感知回归GRPO的视频强化微调框架详解
突破视频大语言模型推理瓶颈,在多个视频基准上实现SOTA性能 一、核心问题与创新亮点 1.1 GRPO在视频任务中的两大挑战 安全措施依赖问题 GRPO使用min和clip函数限制策略更新幅度,导致: 梯度抑制:当新旧策略差异过大时梯度消失收敛困难:策略无法充分优化# 传统GRPO的梯…...
SCAU期末笔记 - 数据分析与数据挖掘题库解析
这门怎么题库答案不全啊日 来简单学一下子来 一、选择题(可多选) 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C) A. 频繁模式挖掘 B.分类和预测 C.数据预处理 D.数据流挖掘 A. 频繁模式挖掘:专注于发现数据中…...
系统设计 --- MongoDB亿级数据查询优化策略
系统设计 --- MongoDB亿级数据查询分表策略 背景Solution --- 分表 背景 使用audit log实现Audi Trail功能 Audit Trail范围: 六个月数据量: 每秒5-7条audi log,共计7千万 – 1亿条数据需要实现全文检索按照时间倒序因为license问题,不能使用ELK只能使用…...
C# SqlSugar:依赖注入与仓储模式实践
C# SqlSugar:依赖注入与仓储模式实践 在 C# 的应用开发中,数据库操作是必不可少的环节。为了让数据访问层更加简洁、高效且易于维护,许多开发者会选择成熟的 ORM(对象关系映射)框架,SqlSugar 就是其中备受…...
【碎碎念】宝可梦 Mesh GO : 基于MESH网络的口袋妖怪 宝可梦GO游戏自组网系统
目录 游戏说明《宝可梦 Mesh GO》 —— 局域宝可梦探索Pokmon GO 类游戏核心理念应用场景Mesh 特性 宝可梦玩法融合设计游戏构想要素1. 地图探索(基于物理空间 广播范围)2. 野生宝可梦生成与广播3. 对战系统4. 道具与通信5. 延伸玩法 安全性设计 技术选…...
Angular微前端架构:Module Federation + ngx-build-plus (Webpack)
以下是一个完整的 Angular 微前端示例,其中使用的是 Module Federation 和 npx-build-plus 实现了主应用(Shell)与子应用(Remote)的集成。 🛠️ 项目结构 angular-mf/ ├── shell-app/ # 主应用&…...
云原生玩法三问:构建自定义开发环境
云原生玩法三问:构建自定义开发环境 引言 临时运维一个古董项目,无文档,无环境,无交接人,俗称三无。 运行设备的环境老,本地环境版本高,ssh不过去。正好最近对 腾讯出品的云原生 cnb 感兴趣&…...
Yolov8 目标检测蒸馏学习记录
yolov8系列模型蒸馏基本流程,代码下载:这里本人提交了一个demo:djdll/Yolov8_Distillation: Yolov8轻量化_蒸馏代码实现 在轻量化模型设计中,**知识蒸馏(Knowledge Distillation)**被广泛应用,作为提升模型…...
LangFlow技术架构分析
🔧 LangFlow 的可视化技术栈 前端节点编辑器 底层框架:基于 (一个现代化的 React 节点绘图库) 功能: 拖拽式构建 LangGraph 状态机 实时连线定义节点依赖关系 可视化调试循环和分支逻辑 与 LangGraph 的深…...
