当前位置： 首页 > news >正文

[mongo]应用场景及选型

news 2026/2/10 9:11:41

应用场景及选型

MongoDB 数据库定位

  • OLTP 数据库
  • 横向扩展能力，数据量或并发量增加时候架构可以自动扩展
  • 灵活模型，适合迭代开发，数据模型多变场景
  • JSON 数据结构，适合微服务/REST API
  • 基于功能选择 MongoDB
    • image

关系型数据库迁移

从基于关系型数据库应用迁移到 MongoDB 的理由

  • 高并发需求 (数千 – 数十万 ops) ，关系型数据库不容易扩展
  • 快速迭代 – 关系型模式太严谨
  • 灵活的 JSON 模式
  • 大数据量需求
  • 地理位置查询
  • 多数据中心跨地域部署

应用迁移难度

  • 关系型到关系型 – 相对简单
  • 关系型到文档型 – 相对复杂
  • 需要考虑
    • 总体架构 (从单体式到分布式）
    • 模式设计（从关系模型到文档模型）
    • SQL 语句 / 存储过程 / JDBC / ORM
    • 数据迁移 （如何处理已有数据？）

总体架构

模式设计

  • 针对已有关系模型，考虑如何用文档模型进行设计
  • image

数据迁移

  • 数据库导出+导入
  • 批量迁移工具
  • 实时同步工具
  • 应用主导迁移

数据迁移方式及工具

数据迁移

  • image

数据库导出导入

  • 停止现有的基于 RDBMS 的应用
  • 使用 RDBMS 的数据库导出工具，将数据库表导出到 CSV 或者 JSON（如 mysqldump）
  • 使用 mongoimport 将 CSV 或者 JSON 文件导入 MongoDB 数据库
  • 启动新的 MongoDB 应用
  • 数据库导出导入: mysql - mongo
    • mysqldump inventory -hxxxx -uroot -p -T mysql-files

批量同步

  • 安装同步工具（如 Kettle / Talend） - 创建输入源（关系型数据库）
  • 创建输出源（MongoDB） - 编辑数据同步任务
  • 执行
  • 适用批量同步，定期更新, 特别是每晚跑批的场景
  • 支持基于时间戳的增量同步，需要源表有合适的时间戳支持
  • 对源库有较明显的性能影响，不宜频繁查询
  • 不支持实时同步

实时同步

  • 安装实时同步工具（如Informatica / Tapdata） - 创建输入源（关系型数据库）
  • 创建输出源（MongoDB） - 编辑实时数据同步任务
  • 执行
  • 基于源库的日志文件解析机制，可以实现秒级数据的同步
  • 对源库性能影响较小
  • 可以支持应用的无缝迁移

应用主导迁移

  1. 升级已有应用支持 MongoDB
  2. 数据插入请求直接进入 MongoDB
  3. 数据查询和更新请求首先定向到 MongoDB
  4. 如果记录不存在，从 RDBMS 读出来并写入到 MongoDB
  5. 重复步骤3
  6. 当步骤4在限定时间段（一星期、一个月）没有被调用，认为迁移完成
  • 需要研发团队配合 ，有一定开发和测试量
  • 为保证不遗漏数据，仍然先要执行一次批量同步

应用迁移比较

  • image

相关文章：

[mongo]应用场景及选型

应用场景及选型 MongoDB 数据库定位 OLTP 数据库横向扩展能力，数据量或并发量增加时候架构可以自动扩展灵活模型，适合迭代开发，数据模型多变场景JSON 数据结构，适合微服务/REST API基于功能选择 MongoDB 关系型数据库迁移 从基…...

编程日记 2023/8/9 17:41:32

linux c語言之crc16错误检测的使用

一、是什么？ CRC16是循环冗余校验的一种，是一种根据数据产生校验码的方法。它是一种比较常用的校验算法，可以用于错误检测和纠正等方面。CRC16是16位的校验码，可以检测出32位以内的错误。在通信协议、网络传输等领域中，CRC16被广泛应用. 二、使用步骤 1.引入库 代码如…...

编程日记 2023/8/9 17:40:31

搭建本地开发服务器

搭建本地开发服务器 :::warning 注意 在上一个案例的基础上添加本地开发服务器，请保留上个案例的代码。如需要请查看 Webpack 使用。 ::: 搭建本地开发服务器这一个环节是非常有必要的，我们不可能每次修改源代码就重新打包一次。这样的操作是不是太繁琐…...

编程日记 2023/8/9 17:39:30

linux脚本

程序后台运行： nohup java -jar xxx.jar &>hello.log & 后台运行java-jar命令，并且将日志输出到hello.log文件 防火墙： 开启防火墙：systemctl start firewalld 开放指定端口：firewall-cmd --zonepublic --…...

编程日记 2023/8/9 17:38:26

企升编辑器word编写插件

面向用户群体招投标人员，用统一的模板来编写标书，并最终合并标书。项目经理，编写项目开发计划书，项目验收文档等。开发人员，编写项目需求规格说明书、设计说明书、技术总结等文档。其他文档编写工作量较多的岗位人员。…...

编程日记 2023/8/9 17:37:25

怎么在JMeter中的实现关联

我们一直用的phpwind这个系统做为演示系统, 如果没有配置好的同学, 请快速配置之后接着往下看哦. phpwind发贴时由于随着登陆用户的改变, verifycode是动态变化的, 因此需要用到关联. LoadRunner的关联函数是reg_save_param, Jmeter的关联则是利用后置处理器来完成. 在需要查…...

编程日记 2023/8/9 17:36:24

算法通关村第六关——如何使用中序和后序来恢复一颗二叉树

1 树的基础知识 1.1 树的定义 树(Tree)：表现得是一种层次关系，为 n （ n ≥ 0 ） n（n≥0） n（n≥0）个节点构成的有限集合，当n0时，称为空树，对于任一…...

编程日记 2023/8/9 17:35:23

leetcode算法题--判断是否能拆分数组

原题链接：https://leetcode.cn/problems/check-if-it-is-possible-to-split-array/ 一开始思路想错了。。导致浪费很多时间 其实只要能找到存在一个子数组，子数组长度为2，这个子数组符合条件就一定能拆分。。 func canSplitArray(nums []i…...

编程日记 2023/8/9 17:34:22

基于Flask的模型部署

基于Flask的模型部署 一、背景 Flask：一个使用Python编写的轻量级Web应用程序框架； 首先需要明确模型部署的两种方式：在线和离线； 在线：就是将模型部署到类似于服务器上，调用需要通过网络传输数据&…...

编程日记 2023/8/9 17:33:20

【资料分享】全志科技T507-H开发板规格书

1 评估板简介 创龙科技TLT507-EVM是一款基于全志科技T507-H处理器设计的4核ARM Cortex-A53国产工业评估板，主频高达1.416GHz，由核心板和评估底板组成。核心板CPU、ROM、RAM、电源、晶振等所有器件均采用国产工业级方案，国产化率100%。同时，评估底板大部分元器件亦采用国产…...

编程日记 2023/8/9 17:32:17

2023华数杯数学建模C题思路 - 母亲身心健康对婴儿成长的影响

# 1 赛题 C 题 母亲身心健康对婴儿成长的影响 母亲是婴儿生命中最重要的人之一，她不仅为婴儿提供营养物质和身体保护， 还为婴儿提供情感支持和安全感。母亲心理健康状态的不良状况，如抑郁、焦虑、 压力等，可能会对婴儿的认知、情…...

编程日记 2023/8/9 17:31:15

【Kaggle】Identify Contrails to Reduce Global Warming 比赛数据集的可视化（含源代码）

一、数据简单解读 卫星图像最初来自&#xff1a; https://www.goes-r.gov/spacesegment/abi.html高级基线成像仪是GOES-R系列中用于对地球天气、海洋和环境进行成像的主要仪器。ABI用16个不同的光谱波段观察地球&#xff08;上一代GOES只有<>个&#xff09;&#xff0c…...

编程日记 2023/8/9 17:29:12

Spring(12) BeanFactory 和 ApplicationContext 区别

目录 一、BeanFactory 和 ApplicationContext 区别&#xff1f;二、既然 Spring Boot 中使用的是 ApplicationContext 进行应用程序的启动和管理&#xff0c;那么 Spring Boot 会用到 BeanFactory 吗&#xff1f; 一、BeanFactory 和 ApplicationContext 区别&#xff1f; Bea…...

编程日记 2023/8/9 17:28:10

git的日常使用

加入忽略列表&#xff1a;在.gitignore中加入忽略的文件&#xff0c;build/ 表示build文件夹下&#xff0c;*.jar 表示以jar结尾的&#xff0c;用换行符隔开将另一个分支合并到当前分支&#xff1a;git merge xxx冲突出现&#xff0c;可以看看这里&#xff1a;详解Git合并冲突—…...

编程日记 2023/8/9 17:27:09

【Spring Boot】请求参数传json对象，后端采用（pojo）CRUD案例（102）

请求参数传json对象&#xff0c;后端采用&#xff08;pojo&#xff09;接收的前提条件&#xff1a; 1.pom.xml文件加入坐标依赖&#xff1a;jackson-databind 2.Spring Boot 的启动类加注解&#xff1a;EnableWebMvc 3.Spring Boot 的Controller接受参数采用&#xff1a;Reque…...

编程日记 2023/8/9 17:26:07

layui之layer弹出层的icon数字及效果展示

layer的icon样式 icon如果在信息提示弹出层值(type为0)可以传入0-6&#xff0c;icon与图标对应关系如下&#xff1a; 如果是加载层&#xff08;type为3&#xff09;可以传入0-2&#xff0c;icon与图标对应关系如下&#xff1a;...

编程日记 2023/8/9 17:25:01

Python selenium对应的浏览器chromedriver版本不一致

1、chrome和chromedriver版本不一致导致的&#xff0c;我们只需要升级下chromedriver的版本即可 浏览器版本查看 //打开google浏览器直接访问&#xff0c;查看浏览器版本 chrome://version/ 查看chromedriver的版本 //查看驱动版本 chromedriver chromedriver下载 可看到浏…...

编程日记 2023/8/9 17:24:00

Redis的安装方法与基本操作

目录 前言 一、REDIS概述 二、REDIS安装 1、编译安装 2.yum安装 三、Redis的目录结构 四、基础命令解析 五、在一台服务器上启动多个redis 六、数据库的基本操作 &#xff08;一&#xff09;登录数据库 &#xff08;二&#xff09;基础命令 七、Redis持久化 &#xff08;一&…...

编程日记 2023/8/9 17:22:58

选读SQL经典实例笔记20_Oracle语法示例

1. 计算一年有多少天 1.1. sql select Days in 2005: ||to_char(add_months(trunc(sysdate,y),12)-1,DDD)as reportfrom dualunion allselect Days in 2004: ||to_char(add_months(trunc(to_date(01-SEP-2004),y),12)-1,DDD)from dual REPORT ----------------- Days in 200…...

编程日记 2023/8/9 17:21:57

JAVA细节/小技巧

一、 Callable类可以实现返回结果的多线程。实现Callable类&#xff0c;然后实例化一个对象传递给FutureTask&#xff0c;然后把FutureTask对象传递给Thread对象&#xff0c;执行start即可开始多线程。FutureTask对象执行get函数可以获得Callable类中call函数的返回值&#xf…...

编程日记 2023/8/9 17:20:55

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…...

编程新知 2026/2/8 1:53:29

鱼香ros docker配置镜像报错：https://registry-1.docker.io/v2/

使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题 一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题&#xff1a;docker pull 失败 网络不同&#xff0c;需要使用镜像源 按照如下步骤操作 sudo vi /etc/docker/dae…...

编程新知 2025/12/31 6:28:08

IT供电系统绝缘监测及故障定位解决方案

随着新能源的快速发展&#xff0c;光伏电站、储能系统及充电设备已广泛应用于现代能源网络。在光伏领域&#xff0c;IT供电系统凭借其持续供电性好、安全性高等优势成为光伏首选&#xff0c;但在长期运行中&#xff0c;例如老化、潮湿、隐裂、机械损伤等问题会影响光伏板绝缘层…...

编程新知 2026/2/1 6:36:36

Angular微前端架构：Module Federation + ngx-build-plus (Webpack)

以下是一个完整的 Angular 微前端示例&#xff0c;其中使用的是 Module Federation 和 npx-build-plus 实现了主应用&#xff08;Shell&#xff09;与子应用&#xff08;Remote&#xff09;的集成。 &#x1f6e0;️ 项目结构 angular-mf/ ├── shell-app/ # 主应用&…...

编程新知 2025/12/3 10:52:37

A2A JS SDK 完整教程：快速入门指南

目录 什么是 A2A JS SDK?A2A JS 安装与设置A2A JS 核心概念创建你的第一个 A2A JS 代理A2A JS 服务端开发A2A JS 客户端使用A2A JS 高级特性A2A JS 最佳实践A2A JS 故障排除 什么是 A2A JS SDK? A2A JS SDK 是一个专为 JavaScript/TypeScript 开发者设计的强大库&#xff…...

编程新知 2025/12/12 8:42:24

【JVM】Java虚拟机（二）——垃圾回收

目录 一、如何判断对象可以回收 &#xff08;一&#xff09;引用计数法 &#xff08;二&#xff09;可达性分析算法 二、垃圾回收算法 &#xff08;一&#xff09;标记清除 &#xff08;二&#xff09;标记整理 &#xff08;三&#xff09;复制 &#xff08;四&#xff…...

编程新知 2026/1/31 9:49:23

jmeter聚合报告中参数详解

sample、average、min、max、90%line、95%line,99%line、Error错误率、吞吐量Thoughput、KB/sec每秒传输的数据量 sample&#xff08;样本数&#xff09; 表示测试中发送的请求数量&#xff0c;即测试执行了多少次请求。 单位&#xff0c;以个或者次数表示。 示例&#xff1a;…...

编程新知 2025/12/18 6:00:45

逻辑回归暴力训练预测金融欺诈

简述 「使用逻辑回归暴力预测金融欺诈&#xff0c;并不断增加特征维度持续测试」的做法&#xff0c;体现了一种逐步建模与迭代验证的实验思路&#xff0c;在金融欺诈检测中非常有价值&#xff0c;本文作为一篇回顾性记录了早年间公司给某行做反欺诈预测用到的技术和思路。百度…...

编程新知 2026/2/8 5:05:41

小木的算法日记-多叉树的递归/层序遍历

&#x1f332; 从二叉树到森林&#xff1a;一文彻底搞懂多叉树遍历的艺术 &#x1f680; 引言 你好&#xff0c;未来的算法大神&#xff01; 在数据结构的世界里&#xff0c;“树”无疑是最核心、最迷人的概念之一。我们中的大多数人都是从 二叉树 开始入门的&#xff0c;它…...

编程新知 2025/11/13 14:22:52

【Kafka】Kafka从入门到实战：构建高吞吐量分布式消息系统

Kafka从入门到实战：构建高吞吐量分布式消息系统 一、Kafka概述 Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发，后成为Apache顶级项目。它被设计用于高吞吐量、低延迟的消息处理，能够处理来自多个生产者的海量数据，并将这些数据实时传递给消费者。 Kafka核心特…...

编程新知 2025/7/18 7:59:36