当前位置: 首页 > news >正文

ElasticSearch索引别名的应用

个人博客:无奈何杨(wnhyang)

个人语雀:wnhyang

共享语雀:在线知识共享

Github:wnhyang - Overview


Elasticsearch 索引别名是一种极为灵活且强大的功能,它允许用户为一个或多个索引创建逻辑上的别名。这些别名用途广泛,涵盖查询、索引操作以及索引管理等多个方面。以下为一些常见的索引别名应用场景:

简化查询

通过创建别名,用户能够以更简洁的名称访问一个或多个索引。例如,若你有一个索引名为products_2024,可创建别名current_products以简化查询流程:

POST /_aliases
{"actions": [{ "add": { "index": "products_2024", "alias": "current_products" } }]
}

在执行查询时,只需使用别名:

GET /current_products/_search
{"query": {"match": { "category": "electronics" }}
}

如此一来,不仅使查询语句更为简洁,也降低了因索引名称变更而需大规模修改查询代码的风险,提高了代码的可维护性。

索引版本管理

当需要滚动更新索引(如按月或按年创建新索引)时,别名可用于指向当前活跃的索引。这种方式下,用户仅需更新别名,而无需对查询代码进行修改。

  1. 创建索引和别名
PUT /products_2024
{"aliases": {"current_products": {}}
}
  1. 创建新索引并切换别名
PUT /products_2025
{"aliases": {"current_products": {}}
}
POST /_aliases
{"actions": [{ "remove": { "index": "products_2024", "alias": "current_products" } },{ "add": { "index": "products_2025", "alias": "current_products" } }]
}

通过这种方式,实现了索引版本的平滑过渡,保证了业务查询的连续性,极大地减少了因索引更新带来的系统影响。

处理索引重建和升级

在对现有索引进行重建或升级(如更改映射或设置)时,可先创建新索引,再通过别名切换至新索引,从而确保服务不中断。

  1. 创建新索引
PUT /products_v2
{"mappings": {"properties": {"new_field": { "type": "text" }}}
}
  1. 切换别名
POST /_aliases
{"actions": [{ "remove": { "index": "products_v1", "alias": "products" } },{ "add": { "index": "products_v2", "alias": "products" } }]
}

这种操作方式使得索引重建和升级过程对业务的影响降至最低,保证了系统的稳定性和可用性。

执行多索引查询

用户可为多个索引创建一个别名,借此通过该别名对多个索引执行查询操作。例如,假设有多个分区索引,如logs_2023_01、logs_2023_02,可创建别名logs_2023以查询这些索引:

POST /_aliases
{"actions": [{ "add": { "index": "logs_2023_01", "alias": "logs_2023" } },{ "add": { "index": "logs_2023_02", "alias": "logs_2023" } }]
}

查询时,只需使用logs_2023作为索引名称:

GET /logs_2023/_search
{"query": {"match": { "status": "error" }}
}

这一功能在处理大规模数据查询时,能够显著提高查询效率,减少重复查询操作。

隔离读写操作

通过为写入操作和读取操作分别设置不同别名,可有效隔离读写操作。例如,设置别名write_index用于索引新数据,设置别名read_index用于搜索查询:

POST /_aliases
{"actions": [{ "add": { "index": "logs_2024", "alias": "write_index" } },{ "add": { "index": "logs_2023", "alias": "read_index" } }]
}

在更新时切换写入别名:

POST /_aliases
{"actions": [{ "remove": { "index": "logs_2023", "alias": "write_index" } },{ "add": { "index": "logs_2024", "alias": "write_index" } }]
}

这种隔离机制有助于提高系统性能,防止写操作对读操作产生性能干扰。

数据迁移

在将正常运行集群中的索引迁移到另外一个索引时,使用索引别名可以做到无须停机操作。例如,假设要将old_index迁移至new_index ,可以先为new_index添加与old_index相同的别名,应用程序在迁移过程中依然通过该别名进行访问,待数据迁移完成,删除old_index以及其相关别名,不会影响业务的正常运行。具体操作如下:

  1. 为新索引添加别名
POST /_aliases
{"actions": [{ "add": { "index": "new_index", "alias": "old_index" } }]
}
  1. 数据迁移完成后,删除旧索引别名
POST /_aliases
{"actions": [{ "remove": { "index": "old_index", "alias": "old_index" } }]
}
  1. 删除旧索引
DELETE /old_index

索引分组管理

可以将多个索引进行分组,以便于更好的管理。例如,假设有一系列与销售数据相关的索引,sales_2023_q1、sales_2023_q2、sales_2023_q3、sales_2023_q4 ,可以为它们添加一个统一的别名sales_2023,对这一年度的销售数据索引进行统一管理。操作如下:

POST /_aliases
{"actions": [{ "add": { "index": "sales_2023_q1", "alias": "sales_2023" } },{ "add": { "index": "sales_2023_q2", "alias": "sales_2023" } },{ "add": { "index": "sales_2023_q3", "alias": "sales_2023" } },{ "add": { "index": "sales_2023_q4", "alias": "sales_2023" } }]
}

之后在进行涉及全年销售数据的查询、统计等操作时,直接使用sales_2023别名即可,方便快捷。

索引子集创建

给索引创建类似于视图的子集。例如,在一个包含大量用户信息的索引users中,若只想对特定年龄段(如 18 - 30 岁)的用户数据进行操作,可以创建一个过滤器别名。假设索引中有age字段,操作如下:

  1. 创建过滤器别名
POST /_aliases
{"actions": [{"add": {"index": "users","alias": "young_users","filter": {"range": {"age": {"gte": 18,"lte": 30}}}}}]
}
  1. 使用过滤器别名查询
GET /young_users/_search
{"query": {"match_all": {}}
}

此时通过young_users别名查询,返回的结果就只会是符合年龄范围的用户数据。

Elasticsearch 索引别名实现读写分离

Elasticsearch 的索引别名功能可用于实现读写分离,这是一种常见的架构模式,有助于提升系统的可伸缩性和性能。在实际应用中,读写分离可确保写操作不会影响读操作的性能,同时可利用多索引分散读取负载。

实现读写分离的基本思路
  1. 写入索引

    • 新的写入操作被路由至一个单一的写入索引。
    • 该索引通常为最新的索引,专门用于接收新的数据写入。
  2. 读取索引

    • 读取操作被路由至一个或多个读取索引。
    • 读取索引可包括最新的写入索引以及其他已关闭写入操作的旧索引。
  3. 使用别名

通过使用别名,可将写入操作路由至写入索引,同时将读取操作路由至读取索引组。

实际应用案例

假设拥有一个日志聚合系统,每天创建一个新索引以存储当天的日志数据。需确保写入操作仅发生在最新的索引上,而读取操作可分布到多个索引上。

  1. 步骤 1:创建索引和别名

    • 创建写入索引

      • 创建名为logs_2024-08-01的索引。
      • 创建别名write_index,使其指向logs_2024-08-01。
    • 创建读取索引组

      • 创建别名read_index_group,最初指向logs_2024-08-01。
  2. 步骤 2:写入数据

所有的写入操作都通过write_index别名进行,这些操作会被路由到logs_2024-08-01。

  1. 步骤 3:读取数据

读取操作通过read_index_group别名进行,最初同样指向logs_2024-08-01。

  1. 步骤 4:滚动索引

    • 创建新的写入索引

      • 创建新索引logs_2024-08-02。
      • 更新write_index别名,使其指向logs_2024-08-02。
    • 更新读取索引组

      • 将logs_2024-08-02添加到read_index_group别名中。
      • 若有需要,可将旧索引logs_2024-08-01从read_index_group别名中移除。
示例命令

假设已创建logs_2024-08-01和logs_2024-08-02索引,且希望更新别名以实现读写分离:

  1. 创建写入索引别名
curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d'
{"actions": [{ "add": { "index": "logs_2024-08-01", "alias": "write_index" } }]
}
'
  1. 创建读取索引组别名
curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d'
{"actions": [{ "add": { "index": "logs_2024-08-01", "alias": "read_index_group" } }]
}
'
  1. 滚动索引
curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d'
{"actions": [{ "remove": { "index": "logs_2024-08-01", "alias": "write_index" } },{ "add": { "index": "logs_2024-08-02", "alias": "write_index" } },{ "add": { "index": "logs_2024-08-02", "alias": "read_index_group" } }]
}
'

总结

  1. 写入索引 ( write_index ) :用于接收新的写入操作。
  2. 读取索引组 ( read_index_group ) :用于分散读取操作的负载。
  3. 滚动索引:定期更新别名,确保新的写入操作被路由到最新的索引,同时保持读取操作分布在多个索引上。

这种方式在高并发和大数据量的场景下,能够有效提升系统的性能和可伸缩性。

写在最后

拙作艰辛,字句心血,望诸君垂青,多予支持,不胜感激。


个人博客:无奈何杨(wnhyang)

个人语雀:wnhyang

共享语雀:在线知识共享

Github:wnhyang - Overview

相关文章:

ElasticSearch索引别名的应用

个人博客:无奈何杨(wnhyang) 个人语雀:wnhyang 共享语雀:在线知识共享 Github:wnhyang - Overview Elasticsearch 索引别名是一种极为灵活且强大的功能,它允许用户为一个或多个索引创建逻辑上…...

C++和OpenGL实现3D游戏编程【连载21】——父物体和子物体模式实现

欢迎来到zhooyu的专栏。 🔥C和OpenGL实现3D游戏编程【专题总览】 1、本节要实现的内容 上节课我们已经创建了一个基础Object类,以后所有的游戏元素都可以从这个基类中派生出来。同时为了操作方便,我们可以为任意两个Object类(及其…...

Mac苹果电脑 怎么用word文档和Excel表格?

以下是详细步骤,帮助你在 MacBook 上安装和使用 Word 和 Excel: 安装 Microsoft Office 你可以通过以下几种方式在 MacBook 上安装 Word 和 Excel: 方法一:应用安装 pan.baidu.com/s/1EO2uefLPoeqboi69gIeZZg?pwdi2xk 方法二…...

使用AI生成金融时间序列数据:解决股市场的数据稀缺问题并提升信噪比

“GENERATIVE MODELS FOR FINANCIAL TIME SERIES DATA: ENHANCING SIGNAL-TO-NOISE RATIO AND ADDRESSING DATA SCARCITY IN A-SHARE MARKET” 论文地址:https://arxiv.org/pdf/2501.00063 摘要 金融领域面临的数据稀缺与低信噪比问题,限制了深度学习在…...

QT信号槽 笔记

信号与槽就是QT中处理计算机外设响应的一种机制 比如敲击键盘、点击鼠标 // 举例: 代码: connect(ls,SIGNAL(sig_chifanla()),ww,SLOT(slot_quchifan())); connect(ls,SIGNAL(sig_chifanla()),zl,SLOT(slot_quchifan()));connect函数:这是…...

【计算机网络】传输层协议TCP与UDP

传输层 传输层位于OSI七层网络模型的第四层,主要负责端到端通信,可靠性保障(TCP),流量控制(TCP),拥塞控制(TCP),数据分段与分组,多路复用与解复用等,通过TCP与UDP协议实现…...

UE控件学习

ListView: item设置:使能在list设置为Entry类 关闭listview自带的滑动条 【UEUI篇】ListView使用经验总结 UE4 ListView用法总结(二)Item的选中与数据获取 Grid Panel: 常用作背包,每个格子大小可不相…...

ThinkPHP 8的多对多关联

【图书介绍】《ThinkPHP 8高效构建Web应用》-CSDN博客 《2025新书 ThinkPHP 8高效构建Web应用 编程与应用开发丛书 夏磊 清华大学出版社教材书籍 9787302678236 ThinkPHP 8高效构建Web应用》【摘要 书评 试读】- 京东图书 使用VS Code开发ThinkPHP项目-CSDN博客 编程与应用开…...

Linux内核编程(二十一)USB驱动开发

一、驱动类型 USB 驱动开发主要分为两种:主机侧的驱动程序和设备侧的驱动程序。一般我们编写的都是主机侧的USB驱动程序。 主机侧驱动程序用于控制插入到主机中的 USB 设备,而设备侧驱动程序则负责控制 USB 设备如何与主机通信。由于设备侧驱动程序通常与…...

【Block总结】WTConv,小波变换(Wavelet Transform)来扩展卷积神经网络(CNN)的感受野

论文解读:Wavelet Convolutions for Large Receptive Fields 论文信息 标题: Wavelet Convolutions for Large Receptive Fields作者: Shahaf E. Finder, Roy Amoyal, Eran Treister, Oren Freifeld提交日期: 2024年7月8日arXiv链接: Wavelet Convolutions for La…...

深入探究分布式日志系统 Graylog:架构、部署与优化

文章目录 一、Graylog简介二、Graylog原理架构三、日志系统对比四、Graylog部署传统部署MongoDB部署OS或者ES部署Garylog部署容器化部署 五、配置详情六、优化网络和 REST APIMongoDB 七、升级八、监控九、常见问题及处理 一、Graylog简介 Graylog是一个简单易用、功能较全面的…...

构建高可用和高防御力的云服务架构第五部分:PolarDB(55)

引言 云计算与数据库服务 云计算作为一种革命性的技术,已经深刻改变了信息技术行业的面貌。它通过提供按需分配的计算资源,使得数据存储、处理和分析变得更加灵活和高效。在云计算的众多服务中,数据库服务扮演着核心角色。数据库服务不仅负…...

【Java 学习】深度剖析Java多态:从向上转型到向下转型,解锁动态绑定的奥秘,让代码更优雅灵活

💬 欢迎讨论:如对文章内容有疑问或见解,欢迎在评论区留言,我需要您的帮助! 👍 点赞、收藏与分享:如果这篇文章对您有所帮助,请不吝点赞、收藏或分享,谢谢您的支持&#x…...

HTTP / 2

序言 在之前的文章中我们介绍过了 HTTP/1.1 协议,现在再来认识一下迭代版本 2。了解比起 1.1 版本,后面的版本改进在哪里,特点在哪里?话不多说,开始吧⭐️! 一、 HTTP / 1.1 存在的问题 很多时候新的版本的…...

【深度学习】利用Java DL4J 训练金融投资组合模型

🧑 博主简介:CSDN博客专家,历代文学网(PC端可以访问:https://literature.sinhy.com/#/literature?__c=1000,移动端可微信小程序搜索“历代文学”)总架构师,15年工作经验,精通Java编程,高并发设计,Springboot和微服务,熟悉Linux,ESXI虚拟化以及云原生Docker和K8s…...

跨域cookie携带问题总结

背景 我们知道很多场景,都需要前端请求带上cookie,例如用户鉴权、登陆校验等。而有些场景下,我们会发现请求不会带上cookie,这是为什么呢? 概念 cookie是种在域名下的信息。只有请求同域且同站的请求,才…...

Pytorch使用教程(12)-如何进行并行训练?

在使用GPU训练大模型时,往往会面临单卡显存不足的情况。这时,通过多卡并行的形式来扩大显存是一个有效的解决方案。PyTorch主要提供了两个类来实现多卡并行:数据并行torch.nn.DataParallel(DP)和模型并行torch.nn.Dist…...

指针之旅:从基础到进阶的全面讲解

大家好,这里是小编的博客频道 小编的博客:就爱学编程 很高兴在CSDN这个大家庭与大家相识,希望能在这里与大家共同进步,共同收获更好的自己!!! 本文目录 引言正文(1)内置数…...

FPGA与ASIC:深度解析与职业选择

IC(集成电路)行业涵盖广泛,涉及数字、模拟等不同研究方向,以及设计、制造、封测等不同产业环节。其中,FPGA(现场可编程门阵列)和ASIC(专用集成电路)是两种重要的芯片类型…...

PostgreSQL 中进行数据导入和导出

在数据库管理中,数据的导入和导出是非常常见的操作。特别是在 PostgreSQL 中,提供了多种工具和方法来实现数据的有效管理。无论是备份数据,还是将数据迁移到其他数据库,或是进行数据分析,掌握数据导入和导出的技巧都是…...

OD 算法题 B卷【删除字符串中出现次数最少的字符】

文章目录 删除字符串中出现次数最少的字符 删除字符串中出现次数最少的字符 实现删除字符串中出现次数最少的字符,若(最少的)有多个字符出现次数一样,则都删除。输出删除后的字符串,其他字符保持原有顺序;…...

Python训练打卡Day43

复习日 1.卷积神经网络的基本概念 2.kaggle找到一个图像数据集,用cnn网络进行训练并且用grad-cam做可视化 进阶:并拆分成多个文件 tips:注册kaggle的注意事项 安装插件:Header Editor 然后打开扩展选项: 输入网址:ht…...

Redis 知识点一

参考 Redis - 常见缓存问题 - 知乎 Redis的缓存更新策略 - Sherlock先生 - 博客园 三种缓存策略:Cache Aside 策略、Read/Write Through 策略、Write Back 策略-CSDN博客 1.缓存问题 1.1.缓存穿透 大量请求未命中缓存,直接访问数据库。 解决办法&…...

「数据分析 - NumPy 函数与方法全集」【数据分析全栈攻略:爬虫+处理+可视化+报告】

- 第 104 篇 - Date: 2025 - 06 - 05 Author: 郑龙浩/仟墨 NumPy 函数与方法全集 文章目录 NumPy 函数与方法全集1. 数组创建与初始化基础创建序列生成特殊数组 2. 数组操作形状操作合并与分割 3. 数学运算基础运算统计运算 4. 随机数生成基础随机分布函数 5. 文件IO文件读写 …...

华为 “一底双长焦” 专利公布,引领移动影像新变革

6 月 6 日,国家知识产权局公布的一项专利发明申请吸引了众多目光,该专利发明人为华为技术有限公司,名为 “光学镜头、摄像头模组及电子设备” 。从展示的技术图来看,这一光学镜头呈现出独特的 “一底双镜头结构”,其中…...

结合三维基因建模与智能体技术打造工业软件无码平台

通过深度整合 Protocol Buffers (Protobuf)、gRPC 及 Microsoft AI 技术,构建面向智能制造的高性能、智能化 PLM 平台。 一、Protocol Buffers 深度集成 1. 基因模型标准化定义 三维基因容器 Protobuf 规范: protobuf syntax "proto3"; pa…...

利用Pandas AI完成Excel大模型的结合实现自然语言问数

需求说明 实现对Excel工具的自然语言问数,即可以通过界面上传Excel文件,然后在文本框里通过语言对话的形式问出要统计的内容。比如: 用户数有多少? 语文成绩低于90的用户有多少? ..... 实现思路 Pandas AI是基于…...

查找 Vue 项目中未使用的依赖

在 Vue 项目中查找未使用的依赖可以通过以下几种方法: 1. 使用 depcheck 工具 depcheck 是一个专门用于查找项目中未使用依赖的工具。 安装: bash npm install -g depcheck使用: bash depcheck它会列出: 未使用的依赖缺失…...

【深入学习Linux】System V共享内存

目录 前言 一、共享内存是什么? 共享内存实现原理 共享内存细节理解 二、接口认识 1.shmget函数——申请共享内存 2.ftok函数——生成key值 再次理解ftok和shmget 1)key与shmid的区别与联系 2)再理解key 3)通过指令查看/释放系统中…...

学习记录:DAY32

Electron 开发之旅:从入门到实践 前言 接续上一篇 blog,这篇的内容主要和 Electron 有关。 课设不是特别想做下去了,实际核心代码大概只有 3,4 百行左右,比较水…… 或许会把 Docker 的部署也做一做(权当是…...