当前位置: 首页 > news >正文

Elasticsearch的快照

ES的快照是什么?

snapshot是一个ES集群或者某个指定索引的备份,快照一般用在

  • 不停机的状态下对ES集群进行备份
  • 当硬件故障时恢复集群数据
  • 用于跨集群的数据迁移
  • 对冷数据或冻结数据做快照以降低存储成本,依赖于可搜索的快照。-收费功能

一个快照包含的内容:

  • 持久的集群配置
  • 索引模板
  • 索引数据
  • 索引生命周期策略
  • 存储的脚本
  • 预处理流水线

ES快照的原理

ES快照的过程就是将指定索引(也可以是整个集群)在磁盘上存储的Lucene文件复制到仓库中。

以一个索引为例,当快照这个索引时,会根据快照时间复制一份这个索引所有segments文件到仓库中,快照未完成前,这些物理文件不可删除,不可移动。如果这个快照是第一次创建,快照时会复制这个索引全部的segments文件;在这之后,再次快照这个索引的内容时,只会复制较上一次快照时新增的segments文件。

除第一次之后的快照都是增量。

快照文件之间在逻辑上独立,当删除一个快照时,只会从库中删除这个所独有的segment文件,而不会删除有其他快照使用的文件。

快照过程中会锁定所有涉及到的segment文件,快照进行中的索引无法迁移分片且segment不可删除。且数据复制只发生在主分片上。

创建快照

创建快照前首行需要注册快照仓库。

查看当前集群的仓库

GET /_cat/repositories

注册快照仓库

快照仓库所支持的类型:

  • fs 文件系统(这里需要共享文件系统)
  • s3 aws s3协议存储
  • gcs 谷歌存储
  • Read-only Url

这里列s3和fs两种仓库的注册案例:

s3对象存储

PUT _snapshot/my_s3_repository
{"type": "s3","settings": {"client": "my-client","bucket": "my-bucket","endpoint": "my.s3.endpoint"
///待补充其他参数}
}

S3 repository | Elasticsearch Guide [8.14] | Elastic

S3案例:

PUT _snapshot/recovery_snapshot
{"type" : "s3","settings" : {"bucket" : "","base_path" : "","endpoint" : "","protocol" : "http","compress" : "true","access_key": "",   "secret_key": "",   "max_restore_bytes_per_sec" : "200mb",  "max_snapshot_bytes_per_sec" : "100mb" }}

fs文件系统

PUT _snapshot/my_backup
{"type": "fs","settings": {"location": "/mount/backups/backup"  #这个路径需要提前在配置文件中配置好}
}
 

read-only url 只读库

使用url文件在集群上注册一个只库的快照仓库:

PUT _snapshot/my_backup_read_only
{"type": "url","settings": {"url": "file:/mount/backups/my_fs_backup_location" #样例为共享文件系统}
}

url 支持的类型

  • file
  • http
  • https
  • jar

使用file类型的url时,file后的路径必须在es的配置文件path.repo配置项中指定。其他几个不需要。

创建一个快照

通过api创建一次性的快照

PUT /_snapshot/my_backup/back_snapshot_1
{
"indices": "index1,index2",  #支持多索引语法,如通配符、列表
"ignore_unavailable": true,  #跳过不存在的索引,默认为false
"include_global_state": false  #不快照集群状态,默认为false
}

通过快照生命周期管理创建快照

如果用快照来定期备份ES集群的数据,使用快照生命周期策略来创建、管理快照。参考附录

#全量快照
PUT _slm/policy/s-01
{"schedule": "0 0/15 * * * ?","name": "<my-snap-{now/d}>","repository": "my_backup","config": {"indices": "*","include_global_state": true},"retention": {"expire_after": "3d","min_count": 5,"max_count": 50}
}

使用快照

快照的作用一般用于数据备份、故障恢复、跨集群的数据迁移。

集群内

无论快照用于处理以上哪种情况,快照最终都是在某个集群内部通过restore恢复数据来发挥作用,快照的恢复过程如下:

  • 查看当前的集群有哪些快照文件
GET _snapshot
#明确哪个仓库的情况下指定仓库名GET _cat/snapshots/my_backup
#或
GET _snapshot/my_backup/*?verbose=false

  • 恢复前从集群内删除要恢复的索引,避免冲突
DELETE index_1
  • 从快照恢复index_1的数据
POST _snapshot/my_backup/my_snapshot_2099.05.06/_restore
{"indices": "index_1"  #如果快照中是多个索引,这里可以指定要恢复的列表,逗号分隔
}

如不删除现有数据时,可以在恢复时修改索引名。

POST _snapshot/my_backup/my_snapshot_2099.05.06/_restore
{"indices": "index_1","ignore_unavailable": true,"include_global_state": false,"rename_pattern": "index_(.+)", #匹配要修改索引名的索引"rename_replacement": "my_test_$1",  #修改索引名称"include_aliases": false
}

  • 查看快照恢复过程

快照恢复过程中,会涉及到分片的复制和分配,恢复过程中,集群状态会出现yellow状态。

#查看集群状态
GET _cluster/health

查看恢复的详情

GET index_1/_recovery

查看分片的状态

GET _cat/shards?v=true&h=index,shard,prirep,state,node,unassigned.reason&s=state

恢复完成后,集群转为green状态。

撤回一个restore

可以通过删除索引的方式,取消正在进行的恢复过程。

DELETE index_1

跨集群(跨版本)

在ES集群迁移或者索引跨集群迁移时,需要把一个集群中的快照在另外一个集群中恢复出来。这里需要注册原集群的仓库到新的集群中,如果原集群还在往这个仓库写数据,在新的集群中需要注册为只读库。

注册完仓库后,其他操作与集群内的快照恢复操作一致。

恢复前需要确保新的集群有充足的存储空间。

POST _snapshot/my_backup_read_only/my_snapshot_2099.05.06/_restore
{"indices": "index_1"  #如果快照中是多个索引,这里可以指定要恢复的列表,逗号分隔
}

如果快照中索引是多副本,且不想调整新集群的规格,可以在恢复时调整副本数以节省存储空间。

POST _snapshot/my_backup_read_only/my_snapshot_2099.05.06/_restore
{"indices": "index_1","index_settings": {"index.number_of_replicas": 1  #减少副本数以节省空间}
}

快照跨版本的兼容性

如果新集群与老集群版本不一致,需要保证两个版本的快照兼容性,如下图:

删除快照

对于过期的快照,或者不再使用的快照,可以手动从仓库中删除:

DELETE /_snapshot/my_backup/snapshot_1

因快照时间过长,需要停止正在进行的快照?

快照和数据恢复设计只允许同时一个快照进程,或者恢复进程。如果快照执行过程出错,或长时间未结束而需要中止快照进程,可以执行删除快照的动作。删除操作会首先检查快照是否正在进行中,如果正在执行,会先停止快照,然后再把快照文件从库中删除。

附录:

SLM(快照生命周期管理)

快照生命周期管理 (公有云上公开发售的es版本不支持)

当快照作为一个集群集群的常规备份手段时,再每次写脚本加定时任务的形式去创建快照并且还需要不定期去处理过期的快照文件便显得不是很友好。自7.6版本起,es引入了快照生命周期管理(slm)的功能,类似于ilm(索引生命周期管理)。

slm可以通过简单的配置实现规律的创建快照,并根据预设条件删除符合条件的快照文件。 实现对快照创建、删除等整个生命周期的管理。

slm可以通过kibana界面进行新建:Stack Management > Snapshot and Restore > Policies。

通过api创建

  • 查询集群现有slm策略
GET _slm/policy/{policy-id} #指定策略
GET  _slm/policy
  • 创建一条策略
PUT /_slm/policy/daily-snapshots
{"schedule": "0 30 1 * * ?",   # 什么时间创建快照"name": "<daily-snap-{now/d}>",   #快照名称"repository": "my_repository",  #使用的快照仓库"config": { "indices": ["data-*", "important"],  #快照包含哪些索引 "ignore_unavailable": false,"include_global_state": false},"retention": { "expire_after": "30d",   #快照保存多长时间"min_count": 5,    #最少保留几个版本,不受保存时间限制"max_count": 50   #最多保存多少个文件,不受保存时间约束}
}

schedule时间设置格式

<seconds> <minutes> <hours> <day_of_month> <month> <day_of_week> [year]

秒 分 小时 天 月 星期几? 哪年

?表示任意一[秒|分|时|天|月|星期几|年]

  • 删除一条策略
DELETE /_slm/policy/daily-snapshots
  • 立即执行策略
POST /_slm/policy/daily-snapshots/_execute
  • 显示策略统计信息
GET /_slm/stats

命令汇总

#查看当前仓库
GET /_cat/repositories#注册仓库
PUT _snapshot/my_backup
{"type": "fs","settings": {"location": "/mnt/es/repo"  }
}#注册url只读库
PUT _snapshot/my_backup_read_only
{"type": "url","settings": {"url": "file:/mount/backups/my_fs_backup_location" }
}#创建快照
PUT /_snapshot/my_backup/back_snapshot_1
{
"indices": "index1,index2",  
"ignore_unavailable": true, 
"include_global_state": false  
}#查看快照
GET _snapshot
#明确哪个仓库的情况下指定仓库名
#
GET _cat/snapshots/my_backup
#
GET _snapshot/my_backup/*?verbose=false
#获取所有快照信息#查看当前正在进行中的快照
GET /_snapshot/my_backup/_current#删除索引
DELETE index_1#从快照恢复数据
POST _snapshot/my_backup/my_snapshot_2099.05.06/_restore
{"indices": "index_1" 
}#从快照恢复索引,并修改索引名称
POST _snapshot/my_backup/my_snapshot_2099.05.06/_restore
{"indices": "index_1","ignore_unavailable": true,"include_global_state": false,"rename_pattern": "index_(.+)", #匹配要修改索引名的索引"rename_replacement": "my_test_$1",  #修改索引名称"include_aliases": false
}#查看恢复详情
GET index_1/_recovery#查看恢复中的分片状态
GET _cat/shards?v=true&h=index,shard,prirep,state,node,unassigned.reason&s=state#撤销进行的restore
DELETE index_1#删除快照
DELETE /_snapshot/my_backup/snapshot_1#slm相关
GET  _slm/policy
#
PUT /_slm/policy/daily-snapshots
{"schedule": "0 30 1 * * ?",   "name": "<daily-snap-{now/d}>",  "repository": "my_repository", "config": { "indices": ["data-*", "important"],  "ignore_unavailable": false,"include_global_state": false},"retention": { "expire_after": "30d",   "min_count": 5,"max_count": 50 }
}
#
DELETE /_slm/policy/daily-snapshots
#
POST /_slm/policy/daily-snapshots/_execute
#
GET /_slm/stats
#
GET _slm/status
#
POST _slm/start
#
POST _slm/stop
#
POST /_slm/_execute_retention

相关文章:

Elasticsearch的快照

ES的快照是什么&#xff1f; snapshot是一个ES集群或者某个指定索引的备份&#xff0c;快照一般用在 不停机的状态下对ES集群进行备份当硬件故障时恢复集群数据用于跨集群的数据迁移对冷数据或冻结数据做快照以降低存储成本&#xff0c;依赖于可搜索的快照。-收费功能 一个快…...

C/C++混合编译说明

C调用C的函数: C的头文件中声明&#xff0c;被C调用的函数&#xff0c;是以C的方式编译 C的头文件&#xff1a; #ifdef __cplusplus extern "C" { #endif void func_c(void); #ifdef __cplusplus } #endif C调用C的函数&#xff1a; C的源文件中声明&#xff…...

三种方式实现人车流统计(yolov5+opencv+deepsort+bytetrack+iou)

一、运行环境 1、项目运行环境如下 2、CPU配置 3、GPU配置 如果没有GPU yolov5目标检测时间会比较久 二、编程语言与使用库版本 项目编程语言使用c++,使用的第三方库,onnxruntime-linux-x64-1.12.1,opencv-4.6.0 opencv 官方地址Releases - OpenCV opencv github地址ht…...

(四十四)Vue Router的命名路由和路由组件传参

文章目录 命名路由组件传参query参数方式参数传递参数接收 params参数方式参数传递参数接收 props配置方式布尔值形式对象模式函数模式 上一篇&#xff1a;&#xff08;四十三&#xff09;Vue Router之嵌套路由 命名路由 命名路由是为路由配置项提供一个名称&#xff0c;以便…...

EXCEL表格怎么批量删除日期后的时间?

竞价师最近有点忙了&#xff0c;因为百度新出来一个“线索有效性诊断”功能 一、下载电话、表单、咨询表格 二、选中整列 三、选中ctrlf 进行替换&#xff0c;日期输入空格&#xff0c;时间输入*&#xff0c;替换为空即可&#xff01; 四、整列单元格格式“日期”拉倒底部&…...

乌班图Ubuntu 24.04 SSH Server 修改默认端口重启无效

试用最新的乌班图版本&#xff0c;常规修改ssh端口&#xff0c;修改完毕后重启sshd提示没有找到service&#xff0c;然后尝试去掉d重启ssh后查看状态&#xff0c;端口仍然是默认的22&#xff0c;各种尝试都试了不行&#xff0c;重启服务器后倒是端口修改成功了&#xff0c;心想…...

QT MQTT (二)编译与集成

一、QT MQTT 提供 MQTT 客户端服务的 Qt 专用库基于标准化发布 / 订阅协议&#xff0c;用于在设备和组件之间可靠地共享数据。MQTT 是为保证状态正确性、满足高安全标准和交换最小数据而设计的协议&#xff0c;因此被广泛应用于各种分布式系统和物联网解决方案中。 Qt开发MQT…...

(上位机APP开发)调用华为云属性修改API接口修改设备属性

一、功能说明 通过调用华为云IOT提供的属性修改API接口,给设备下发属性修改消息。 API接口地址:https://support.huaweicloud.com/api-iothub/iot_06_v5_0034.html 此接口支持在线调试:https://console.huaweicloud.com/apiexplorer/#/openapi/IoTDA/doc?api=UpdatePrope…...

爆火的儿童绘本如何用AI制作?一文解锁从制作到变现的全流程!

大家好我是安琪&#xff01; AI绘图发展势头如此猛烈&#xff0c;无论是Stable Diffusion&#xff0c;Midjourney&#xff0c;还是国内百度的文心一格&#xff0c;字节的豆包等&#xff0c;AI绘图技术越来越成熟&#xff0c;风格也越来越多样化。那么问题来了&#xff0c;对于普…...

Go interface{}类型转换

&#x1f49d;&#x1f49d;&#x1f49d;欢迎莅临我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:「stormsha的主页」…...

利用opencv自带的Haar级联分类器模型

OpenCV自带的Haar级联分类器模型&#xff1a; haarcascade_eye.xml: 这个模型用于检测眼睛。 haarcascade_eye_tree_eyeglasses.xml: 这个模型用于检测眼镜。 haarcascade_frontalcatface.xml: 这个模型用于检测猫脸。 haarcascade_frontalcatface_extended.xml: 这个模型用…...

国产USB音频转换芯片CL7016C 支持国美标线控USB Type-C音频编解码器

CL7016C是一款高保真 USB Type-C 兼容音频编解码芯片。可以录制和回放有 24 比特音乐和声音。内置回放通路信号 动态压缩&#xff0c; 最大42db录音通路增益&#xff0c; PDM 数字麦克风&#xff0c;和立体声无需电容耳机驱动放大器。 5V单电源供电。兼容 USB 2.0 全速工业标…...

【linux网络(六)】IP协议详解

&#x1f493;博主CSDN主页:杭电码农-NEO&#x1f493;   ⏩专栏分类:Linux从入门到精通⏪   &#x1f69a;代码仓库:NEO的学习日记&#x1f69a;   &#x1f339;关注我&#x1faf5;带你学更多操作系统知识   &#x1f51d;&#x1f51d; Linux网络 1. 前言2. IP协议报…...

CesiumJS【Basic】- #012添加点线面(entity方式)

文章目录 添加点线面(entity方式)1 目标2 实现2.1 GeometryManager.ts2.2 main.ts添加点线面(entity方式) 1 目标 使用实体方式添加点线面 2 实现 2.1 GeometryManager.ts // src/GeometryManager.tsimport * as Cesium from cesium;export class GeometryManager {pr…...

【Redis】内存回收和内存淘汰机制

1 概念 Redis 所有的数据都是存储在内存中的, 如果不进行任何的内存回收, 那么很容易出现内存爆满的情况。因此&#xff0c;在某些情况下需要对占用的内存空间进行释放。 Redis 中内存的释放主要分为两类 Redis 中内存的释放主要分为两类: 内存回收: 将过期的 key 清除&#…...

PyTorch实战:借助torchviz可视化计算图与梯度传递

文章目录 Tensor计算的可视化&#xff08;线性回归为例&#xff09; 如何使用可视化库torchviz 安装graphviz软件 安装torchviz库使用 torchviz.make_dot() 在学习Tensor时&#xff0c;将张量y用张量x表示&#xff0c;它们背后会有一个函数表达关系&#xff0c;y的 grad_f…...

【软件测试】软件测试入门

软件测试入门 一、什么是软件测试二、软件测试和软件开发的区别三、软件测试在不同类型公司的定位1. 无组织性2. 专职 OR 兼职3. 项目性VS.职能性4.综合型 四、一个优秀的软件测试人员具备的素质1. 技能相关2. 非技能相关 一、什么是软件测试 最常见的理解是&#xff1a;软件测…...

Windows操作防火墙命令

Windows操作防火墙命令 启用防火墙&#xff1a; netsh advfirewall set allprofiles state on禁用防火墙&#xff1a; netsh advfirewall set allprofiles state off添加新的入站规则允许端口80&#xff08;HTTP&#xff09;&#xff1a; netsh advfirewall firewall add r…...

二维数组的知识

二维数组&#xff1a; 1.同种数组类型的集合 2.连续的内存空间 3.由多个一维数组组成 定义方式&#xff1a;   存储类型 数据类型 数组名[常量表达式&#xff08;行数&#xff09;][常量表达式&#xff08;列数&#xff09;]&#xff1…...

HR3.0时代,人力资本效能如何进化?| 易搭云DHR

宏观经济增速放缓、市场竞争激烈&#xff0c;对各行各业、各种岗位都面临更大挑战&#xff0c;如何降本增效还是每个企业主的关注焦点。 企业的主要支出往往是员工成本&#xff0c;总体上超过企业总开支的75%&#xff0c;轻资产类型的企业甚至可能超80%&#xff0c;但裁员、加班…...

在四层代理中还原真实客户端ngx_stream_realip_module

一、模块原理与价值 PROXY Protocol 回溯 第三方负载均衡&#xff08;如 HAProxy、AWS NLB、阿里 SLB&#xff09;发起上游连接时&#xff0c;将真实客户端 IP/Port 写入 PROXY Protocol v1/v2 头。Stream 层接收到头部后&#xff0c;ngx_stream_realip_module 从中提取原始信息…...

PL0语法,分析器实现!

简介 PL/0 是一种简单的编程语言,通常用于教学编译原理。它的语法结构清晰,功能包括常量定义、变量声明、过程(子程序)定义以及基本的控制结构(如条件语句和循环语句)。 PL/0 语法规范 PL/0 是一种教学用的小型编程语言,由 Niklaus Wirth 设计,用于展示编译原理的核…...

【Java_EE】Spring MVC

目录 Spring Web MVC ​编辑注解 RestController RequestMapping RequestParam RequestParam RequestBody PathVariable RequestPart 参数传递 注意事项 ​编辑参数重命名 RequestParam ​编辑​编辑传递集合 RequestParam 传递JSON数据 ​编辑RequestBody ​…...

select、poll、epoll 与 Reactor 模式

在高并发网络编程领域&#xff0c;高效处理大量连接和 I/O 事件是系统性能的关键。select、poll、epoll 作为 I/O 多路复用技术的代表&#xff0c;以及基于它们实现的 Reactor 模式&#xff0c;为开发者提供了强大的工具。本文将深入探讨这些技术的底层原理、优缺点。​ 一、I…...

深度学习习题2

1.如果增加神经网络的宽度&#xff0c;精确度会增加到一个特定阈值后&#xff0c;便开始降低。造成这一现象的可能原因是什么&#xff1f; A、即使增加卷积核的数量&#xff0c;只有少部分的核会被用作预测 B、当卷积核数量增加时&#xff0c;神经网络的预测能力会降低 C、当卷…...

云原生安全实战:API网关Kong的鉴权与限流详解

&#x1f525;「炎码工坊」技术弹药已装填&#xff01; 点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】 一、基础概念 1. API网关&#xff08;API Gateway&#xff09; API网关是微服务架构中的核心组件&#xff0c;负责统一管理所有API的流量入口。它像一座…...

【Linux】Linux 系统默认的目录及作用说明

博主介绍&#xff1a;✌全网粉丝23W&#xff0c;CSDN博客专家、Java领域优质创作者&#xff0c;掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域✌ 技术范围&#xff1a;SpringBoot、SpringCloud、Vue、SSM、HTML、Nodejs、Python、MySQL、PostgreSQL、大数据、物…...

uniapp 集成腾讯云 IM 富媒体消息(地理位置/文件)

UniApp 集成腾讯云 IM 富媒体消息全攻略&#xff08;地理位置/文件&#xff09; 一、功能实现原理 腾讯云 IM 通过 消息扩展机制 支持富媒体类型&#xff0c;核心实现方式&#xff1a; 标准消息类型&#xff1a;直接使用 SDK 内置类型&#xff08;文件、图片等&#xff09;自…...

【WebSocket】SpringBoot项目中使用WebSocket

1. 导入坐标 如果springboot父工程没有加入websocket的起步依赖&#xff0c;添加它的坐标的时候需要带上版本号。 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-websocket</artifactId> </dep…...

macOS 终端智能代理检测

&#x1f9e0; 终端智能代理检测&#xff1a;自动判断是否需要设置代理访问 GitHub 在开发中&#xff0c;使用 GitHub 是非常常见的需求。但有时候我们会发现某些命令失败、插件无法更新&#xff0c;例如&#xff1a; fatal: unable to access https://github.com/ohmyzsh/oh…...