当前位置： 首页 > article >正文

项目代码第10讲【数据库运维知识——如何优化数据库查询效率？】：各种日志查看；主从复制；分库分表（MyCat）；读写分离；区别数据分区、分表、分库

article 2026/2/20 2:58:27

01. 运维-课程介绍_哔哩哔哩_bilibili

一、各种日志查看

二、主从复制

三、分库分表（MyCat）

四、读写分离

 五、区别数据分区、分表、分库

1、数据库分区

上图中的ibd文件，是分区表的数据文件，可以分布在不同的物理设备上（存放在不同硬盘上，见1>2》），从而高效地利用多个硬件设备

作用：如下图，在查询的时候缩小了磁盘的扫描范围

1>分区表的优势

1》逻辑上是一个事务，无需额外干涉：

        跨多表操作时和单表操作是一样的。底层的数据一致性是由数据库自己保证的。

2》分区表的数据就是：上上（上）图的ibd文件，可以把数据存储分布在不同的硬盘上——>可并行的硬盘IO资源

        这点也有劣势，如下2>

2>分区表的劣势

1》可并行的硬盘IO资源（见1>2》）设备计算资源与内存资源无法突破单体极限：作为计算节点，CPU和内存资源都是在单机上完成的

        分区表的数据操作（如查询、更新等）尽管可以在逻辑上分开处理，但最终这些操作还是需要在单一计算节点上执行。

        这意味着CPU和内存资源受限于该节点的硬件限制。

        如果某个操作不能有效地被分散到多个节点或者分区中去，并且需要大量的计算资源或内存，那么这个操作的性能将会受到所在单机的硬件能力的限制。

2》【在设计前很难知道需要分区，所以这里也是一个限制】查询必须包含分区键，且分区键必须是主键的一部分，分区键必须是整数列或解析为整数的表达式。

举例：

《1》创建下述opr表，主键只有opr_no，没有包含分区键opr_data

        代码报错，要求分区键必须是主键的一部分

《2》解决《1》：添加分区键opr_data为主键的一部分

3>实际架构设计原则：不要过分依赖数据库或某个组件自带的特性，要完成一个相对通性的设计——从而引出数据分表

2、数据分表

1>范围分表

2>Hash分表

        可以解决数据不均衡的问题，但是当新增一个结点的时候，n就会从3变成4，就会进行全局数据的迁移工作。这个风险就太大了。

        所以针对Hash分表的时候一开始就会给足资源，或者进行局部数据的迁移和调整。

3、数据分库：最后考虑

相关文章：

项目代码第10讲【数据库运维知识——如何优化数据库查询效率？】：各种日志查看；主从复制；分库分表（MyCat）；读写分离；区别数据分区、分表、分库

01. 运维-课程介绍_哔哩哔哩_bilibili 一、各种日志查看 二、主从复制 三、分库分表（MyCat） 四、读写分离 五、区别数据分区、分表、分库 1、数据库分区 上图中的ibd文件，是分区表的数据文件，可以分布在不同的物理设备上&…...

编程日记 2026/2/16 12:15:21

H5DS编辑器教程——H5页面触发动画实战指南

在 H5 页面设计中，触发动画通过动态交互提升用户体验，成为吸引注意力的关键手段。H5DS 编辑器作为一款高效的可视化工具，提供了丰富的动画制作功能，即使是零基础用户也能轻松实现专业级效果。 使用工具：H5DS编辑器 触…...

编程日记 2026/2/17 4:31:04

软件工程面试题（八）

1、WCF是什么？ Windows Communication Foundation (WCF) 是由微软发展的一组数据通信的应用程序开发接口，它是.NET框架的一部分，由 .NET Framework 3.0 开始引入，及 Windows Presentation Foundation 及 Windows Workflow Foundation 并行为新一代 Windows 操作系统以及 W…...

编程日记 2026/2/17 4:00:28

ResNet（残差网络）中的残差是什么？

ResNet（残差网络）提出的 残差（Residual）是深度学习中的一种关键创新，旨在解决深层神经网络训练中的梯度消失/爆炸和退化问题（随着网络加深，准确率不升反降）。其核心思想是通过引入“…...

编程日记 2026/2/15 13:59:58

Proxmox配置显卡直通

1.查看显卡 lspci | grep VGA 2.修改grub 2.1备份grub cp /etc/default/grub /etc/default/grub.bak 2.2修改grub vi /etc/default/grub 如果是Intel的CPU GRUB_CMDLINE_LINUX_DEFAULT“quiet intel_iommuon” 如果是AMD的CPU： GRUB_CMDLINE_LINUX_DEFAUL…...

编程日记 2026/2/15 19:22:35

【MinIO】Bucket的生命周期管理

👻创作者：丶重明 👻创作时间：2025年3月7日 👻擅长领域：运维 目录 1.ILM使用介绍2.生命周期配置实例 1.ILM使用介绍 对象生命周期管理（ILM）是现代对象存储系统的核心功能之一&#x…...

编程日记 2026/2/15 17:52:50

Redis | 基于 Redis 实现机器列表 Token 缓存的 Java 实现

关注：CodingTechWork 引言 在分布式系统中，Token 缓存是一种常见的需求。它可以帮助我们快速验证用户身份，减少对数据库的频繁访问，提高系统的性能和响应速度。本文将介绍如何使用 Redis 来实现机器列表的 Token 缓存&#xff0c…...

编程日记 2026/2/19 11:12:51

小程序语音识别功能 wx.createInnerAudioContext

页面样式htmlcss <view class"recorder_content"><view class"result_content"><view class"r_title">语音识别结果显示:</view><view class"r_h_input"><text wx:if"{{resultDetails.result}…...

编程日记 2026/2/19 20:55:21

Web网页内嵌福昕OFD版式办公套件实现在线预览编辑PDF、OFD文档

PDF&#xff0c;即Portable Document Format&#xff0c;用于以一种独立于应用程序、硬件、操作系统的方式共享和查看文档&#xff1b;OFD&#xff0c;即Office Open Document Format for Document&#xff0c;是一种在政府公文和法律文件等领域广泛应用的电子文件格式&#xf…...

编程日记 2026/2/15 2:05:10

每日一题之日期统计

问题描述 小蓝现在有一个长度为 100100 的数组&#xff0c;数组中的每个元素的值都在 00 到 99 的范围之内。数组中的元素从左至右如下所示&#xff1a; 5 6 8 6 9 1 6 1 2 4 9 1 9 8 2 3 6 4 7 7 5 9 5 0 3 8 7 5 8 1 5 8 6 1 8 3 0 3 7 9 2 7 0 5 8 8 5 7 0 9 9 1 9 4 4 6 …...

编程日记 2026/2/10 18:54:08

ADZS-ICE-2000和AD-ICE2000仿真器在线升级固件

作者的话 近期发现有些兄弟的ICE-2000仿真器链接DSP报错&#xff0c;然后test第四步不通过&#xff0c;我就拿我的仿真器也试了一下&#xff0c;发现ADI悄咪咪的在线升级仿真器固件&#xff0c;有些兄弟不会操作&#xff0c;就会导致仿真器升级失败&#xff0c;连不上目标板&a…...

编程日记 2026/2/18 21:10:57

第十一章:Python PIL库-图像处理

一、PIL库简介 PIL&#xff08;Python Imaging Library&#xff09;是一个功能强大的图像处理库&#xff0c;它提供了丰富的图像处理功能&#xff0c;包括图像的打开、处理和保存等操作。PIL支持多种图像文件格式&#xff0c;如JPEG、PNG、BMP等&#xff0c;并且可以完成对图像…...

编程日记 2026/2/20 0:59:01

深入解析缓冲区：计算机世界的“蓄水池”与“加速器”

引言 想象这样一个场景&#xff1a; 你的手机正在播放4K视频&#xff0c;同时下载大型文件 视频画面流畅无卡顿&#xff0c;下载速度稳定在满带宽 但手机的内存只有8GB&#xff0c;下载文件的大小却超过20GB 这看似矛盾的现象背后&#xff0c;缓冲区&#xff08;Buffer&am…...

编程日记 2025/7/28 0:24:49

Elasticsearch 之 ElasticsearchRestTemplate 聚合查询

前言&#xff1a; 上一篇我们分享了 ElasticsearchRestTemplate 的常用普通查询&#xff0c;本篇我们使用 ElasticsearchRestTemplate 来完成 Elasticsearch 更为复杂的聚合查询。 Elasticsearch 系列文章传送门 Elasticsearch 基础篇【ES】 Elasticsearch Windows 环境安装…...

编程日记 2026/2/11 7:25:51

基础认证-单选题（一）

单选题 1、下列关于request方法和requestlnStream方法说法错误的是（C) A 都支持取消订阅响应事件 B 都支持订阅HTTP响应头事件 C 都支持HttpResponse返回值类型 D 都支持传入URL地址和相关配置项 2、如需修改Text组件文本的透明度可通过以下哪个属性方法进行修改 （C） A dec…...

编程日记 2025/7/7 4:04:37

DeepSeek算法研发闭环解析：如何打造持续进化的AI生产线？

摘要&#xff1a;在AI模型快速迭代的今天&#xff0c;如何构建一个高效、自优化的算法研发体系&#xff1f;DeepSeek通过独特的"数据-训练-评估-部署"闭环架构&#xff0c;实现了AI模型的持续进化。本文将深入剖析其核心设计逻辑与工程实现细节&#xff0c;揭秘支撑千…...

编程日记 2026/1/12 18:13:15

python项目整体文件和依赖打包

python项目整体文件和依赖打包 python项目整体文件和依赖打包 python项目整体文件和依赖打包 准备工作&#xff1a;扫描项目中必要的依赖包 pip install pipreqs pipreqs . 会有一些警告包&#xff0c;需要pip list进行版本修正,这里是三个包第一步&#xff1a;在虚拟环境中安…...

编程日记 2026/2/19 14:05:02

logstash收集数据

防止ES的的I/O的压力过大&#xff0c;使用redis/kafka进行缓冲。 对redis的要求 Redis input plugin | Logstash Reference [8.17] | Elastic 一般企业要求的架构 我实现的架构 filebeat把数据传给logstash 配置好filebeat把收集到的数据输入到redis 然后执行命令&#xff0…...

编程日记 2026/2/19 19:46:19

智能运维时代的网络拓扑管理：乐维监控的架构可视化实践

在数字化转型的浪潮中&#xff0c;企业IT基础设施正经历着前所未有的复杂化进程。当数以千计的网络设备、服务器、存储系统构成庞大网络体系时&#xff0c;如何实现全局可视化管理已成为企业数字化转型的关键命题。乐维监控网络拓扑系统作为新一代智能运维平台的核心组件&#…...

编程日记 2026/2/20 1:36:26

spring batch 中JpaNamedQueryProvider、JpaNativeQueryProvider两种查询方式对比

完整代码示例&#xff1a;对比两种查询方式 // Employee.java 实体类&#xff08;包含命名查询&#xff09; Entity NamedQuery(name "Employee.findAllNamedQuery", query "SELECT e FROM Employee e ORDER BY e.id") // 定义命名查询 public class Em…...

编程日记 2026/2/14 17:23:20

Spring项目中使用EasyExcel实现Excel 多 Sheet 导入导出功能（完整版）

Excel 多 Sheet 导入导出功能完整实现指南 一、环境依赖 1. Maven 依赖 <!-- EasyExcel --> <dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>3.3.2</version> </dependency>…...

编程日记 2025/12/10 20:39:01

OkHttp的拦截器是如何工作的？

OkHttp 的拦截器是其核心特性之一，它允许开发者在请求和响应的处理过程中插入自定义逻辑。下面为你详细介绍 OkHttp 拦截器的工作原理、分类及执行流程。 拦截器工作原理概述 OkHttp 中的拦截器本质上是实现了Interceptor接口的类。该接口定义了一个intercept方法，在这个方…...

编程日记 2025/12/12 2:41:41

CentOS 7 安装 EMQX (MQTT)

CentOS 7 安装 EMQX 通过 Yum 源安装 EMQX 支持通过 Yum 源安装&#xff0c;您可通过以下 Yum 命令从中自动下载和安装 EMQX。 通过以下命令配置 EMQX Yum 源&#xff1a; curl -s https://assets.emqx.com/scripts/install-emqx-rpm.sh | sudo bash安装以下依赖项&#xff…...

编程日记 2026/2/18 4:06:18

重试机制之指针退避策略算法

一、目的&#xff1a;随着重试次数增加&#xff0c;逐步延长重连等待时间&#xff0c;避免加重服务器负担。 二、计算公式&#xff1a; 每次重试的延迟时间 初始间隔 (退避基数 ^ 重试次数) 通常设置上限防止等待时间过长。 const delay Math.min(initialDelay * Math.pow…...

编程日记 2026/2/15 7:16:41

spring security的过滤器链

Spring Security 的安全功能通过一系列过滤器&#xff08;Filter&#xff09;组成的链式结构实现&#xff0c;每个过滤器负责处理特定的安全任务。这些过滤器按特定顺序执行&#xff0c;形成过滤器链&#xff08;Security Filter Chain&#xff09;。以下是其核心过滤器及工作原…...

编程日记 2026/2/14 18:59:54

人工智能：officeAI软件，如何调整AI对话界面的字体？

1、首先&#xff0c;随便打开一个excel&#xff08;使用wps&#xff09; 依次点击上方的【OfficeAI】—【右侧面板】 2、在弹出的面板中&#xff0c;输入&#xff1a;助手设置 &#xff0c; 然后按【回车】发送出去 3、之后会弹出界面&#xff0c;在【样式设定】中&#xff…...

编程日记 2026/2/18 11:55:36

Qt之共享内存类QSharedMemory的使用及实现原理(全)

目录 1.简介 2.使用 3.实现原理 3.1.Windows内存映射 3.2.POSIX 共享内存 3.3.System V 共享内存 3.4.QSharedMemory的实现原理 4.总结 1.简介 QSharedMemory 是 Qt 框架提供的一个类&#xff0c;用于在不同进程或线程之间实现共享内存的管理。借助共享内存&#xff0c…...

编程日记 2026/2/19 12:01:14

dockerfile构建镜像方式

在 Docker 中&#xff0c;可使用 docker build 命令依据 Dockerfile 构建镜像。下面为你详细介绍构建镜像的具体方式。 基本构建命令 若要构建镜像&#xff0c;需在包含 Dockerfile 的目录下执行 docker build 命令。基本语法如下&#xff1a; bash docker build -t <镜像…...

编程日记 2026/2/13 23:22:30

Problem A: 接口使用

1.题目问题 2.样例 3.代码实现 补充&#xff1a;注意空格 // 定义Vehicle接口 interface Vehicle {void start();void stop(); }// 实现Vehicle接口的Bike类 class Bike implements Vehicle {Overridepublic void start() {System.out.println("i am bike,i am running&…...

编程日记 2026/2/16 18:09:02

用Python插入Excel表格到Word文档

在日常办公场景中&#xff0c;通过Python脚本自动化整合Excel数据与Word文档&#xff0c;能够实现表格的智能迁移&#xff0c;满足不同场景下数据呈现的专业性要求。直接提取表格内容插入Word适用于需要快速传递核心数据的场景&#xff0c;确保信息精准直达&#xff1b;完整复制…...

编程日记 2026/2/16 16:18:30