关于ES中text类型时间字段范围查询的结构化解决方案
前言
有关es中text类型的时间字段范围查询的问题,比如:
{"query": {"range": {"insertTime": {"gte": "2025-02-01T00:00:00","lte": "2025-11-30T23:59:59","format": "yyyy-MM-dd'T'HH:mm:ss"}}}
}
这样一条数据都查不出来,我们接下来分析其中原理。
问题核心诊断
根本原因:insertTime字段为text类型时:
- 分词问题:默认会被分词器拆解为
20250101等独立词条 - 排序失效:字符串按字典序比较(如
"2025-12" < "2025-2"的错误逻辑) - 格式敏感:必须完全匹配字段存储的字符串格式
临时应急方案(无需修改映射)
▶ 方案1:精确格式匹配查询
GET /your_index/_search
{"query": {"range": {"insertTime.keyword": {"gte": "2024-01-01T00:00:00","lte": "2025-11-30T23:59:59","format": "yyyy-MM-dd'T'HH:mm:ss"}}}
}
关键点:
- 使用
.keyword子字段进行精确匹配 - 要求数据存储格式 严格一致(包括T分隔符和毫秒精度)
▶ 方案2:脚本动态转换(兼容性最强)
POST /your_index/_search
{"query": {"script": {"script": """// 支持多种时间格式自动解析 def ts = Date.parse("yyyy-MM-dd'T'HH:mm:ss", doc['insertTime.keyword'].value);return ts >= params.start && ts <= params.end;""","params": {"start": "2024-01-01T00:00:00","end": "2025-11-30T23:59:59"}}}
}
优势:可处理非标准时间格式(如带时区、空格分隔符等)
永久解决方案(推荐)
步骤1:创建新索引(带正确映射)
PUT /your_index_v2
{"mappings": {"properties": {"insertTime": {"type": "date","format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd'T'HH:mm:ss||epoch_millis","ignore_malformed": false }}}
}
步骤2:数据迁移(含格式清洗)
POST _reindex
{"source": {"index": "your_index"},"dest": {"index": "your_index_v2"},"script": {"source": """// 统一转换逻辑示例 String origTime = ctx._source.remove('insertTime');ctx._source.insert_time = ZonedDateTime.parse(origTime.replace(' ', 'T') + '+08:00', DateTimeFormatter.ISO_OFFSET_DATE_TIME ).toInstant().toEpochMilli();"""}
}
步骤3:验证查询(标准日期类型)
GET /your_index_v2/_search
{"query": {"range": {"insertTime": {"gte": "2024-01-01","lte": "2025-11-30","time_zone": "+08:00"}}}
}
混合模式下的高级技巧
技巧1:多字段映射(新旧索引共存)
PUT /your_index/_mapping
{"properties": {"insertTime": {"type": "text","fields": {"as_date": {"type": "date","format": "yyyy-MM-dd HH:mm:ss","ignore_malformed": true }}}}
}
查询方式:insert_time.as_date字段进行时间范围查询
技巧2:查询时动态类型转换
{"query": {"range": {"insertTime": {"gte": "2024-01-01","lte": "2025-11-30","format": "yyyy-MM-dd","script": {"source": "return LocalDate.parse(value).atStartOfDay()"}}}}
}
性能优化建议
- 冷热分离架构:对历史时间数据使用冻结存储层
- 时序索引策略:按月分片(如
logs-2024-01) - 查询加速:对
.keyword字段建立doc_valuesPUT /your_index/_mapping {"properties": {"insertTime": {"type": "text","fielddata": true }} }
最终决策树:
是否需要频繁时间范围查询?
├─ 是 → 采用永久解决方案重建索引
└─ 否 → 使用脚本查询临时处理
参考文献
https://sunnyrivers.blog.csdn.net/article/details/144534367
https://sunnyrivers.blog.csdn.net/article/details/144312433
https://sunnyrivers.blog.csdn.net/article/details/144302175
相关文章:
关于ES中text类型时间字段范围查询的结构化解决方案
前言 有关es中text类型的时间字段范围查询的问题,比如: {"query": {"range": {"insertTime": {"gte": "2025-02-01T00:00:00","lte": "2025-11-30T23:59:59","format&quo…...
易基因: ChIP-seq+DRIP-seq揭示AMPK通过调控H3K4me3沉积和R-loop形成以维持基因组稳定性和生殖细胞完整性|NAR
原文:ChIP-seqDRIP-seq揭示AMPK通过调控H3K4me3沉积和R-loop形成以维持基因组稳定性和生殖细胞完整性|NAR 大家好,这里是专注表观组学十余年,领跑多组学科研服务的易基因。 在饥饿等能量胁迫条件下,生物体会通过调整…...
Web 自动化测试提速利器:Aqua 的 Web Inspector (检查器)使用详解
Web 自动化测试提速利器:Aqua 的 Web Inspector (检查器)使用详解 前言简介一、安装二、Web Inspector 的使用2.1 获取元素定位器(Locators)2.2 将定位器添加到代码2.3 验证定位器2.4 处理 Frames (框架)总结前言 JetBrains 的 Aqua IDE 提供强大的 Web Inspector 工具,帮…...
数据中心储能蓄电池状态监测管理系统 组成架构介绍
安科瑞刘鸿鹏 摘要 随着数据中心对供电可靠性要求的提高,蓄电池储能系统成为关键的后备电源。本文探讨了蓄电池监测系统在数据中心储能系统中的重要性,分析了ABAT系列蓄电池在线监测系统的功能、技术特点及其应用优势。通过蓄电池监测系统的实施&#…...
01数据准备 抓取图片 通过爬虫方式获取bing的关键词搜索图片
为了获取训练所需的图片,我们最常用的手段就是自己去写一个爬虫去获取相关图片。本文将重点围绕如何采用爬虫的方式获取训练所需的图片素材进行讲解,为了大家能够够直观的掌握相关技术,参考本文的相关过程和代码获取自己的数据图片素材,笔者将详细介绍实现过程。 1、确定图…...
【UCB CS 61B SP24】Lecture 5 - Lists 3: DLLists and Arrays学习笔记
本文内容为构建双向循环链表、使用 Java 的泛型将其优化为通用类型的链表以及数组的基本语法介绍。 1. 双向链表 回顾上一节课写的代码,当执行 addLast() 与 getLast() 方法时需要遍历链表,效率不高,因此可以添加一个指向链表末尾的索引&am…...
Git 工作流程
1、Git 工作流程 http://www.ruanyifeng.com/blog/2015/12/git-workflow.html git push -f origin HEAD^:master 删除服务器上最近的一次提交git push -f origin HEAD^:master 2、Git分支管理 动画形式演示分支效果: http://onlywei.github.io/explain-git-with-…...
DeepSeek接入Siri(已升级支持苹果手表)完整版硅基流动DeepSeek-R1部署
DeepSeek接入Siri(已升级支持苹果手表)完整版硅基流动DeepSeek-R1部署 **DeepSeek** 是一款专注于深度学习和人工智能的工具或平台,通常与人工智能、机器学习、自动化分析等领域有关。它的主要功能可能包括:深度学习模型搜索&…...
【后端】gitHub访问速度太慢解决办法
问题描述 浏览器无法打开GitHub,加载非常慢 解决方法 1、修改本地hosts文件,增加到 http://github.global.ssl.fastly.net 和 http://github.com 的映射 本机hosts 文件位置: C:\Windows\System32\drivers\etc配置如下: # g…...
Hutool - Extra:功能丰富的扩展模块
一、简介 Hutool - Extra 作为 Hutool 工具包的扩展模块,对众多第三方库和功能进行了封装,极大地丰富了 Hutool 的功能体系。它涵盖了模板引擎、邮件发送、Servlet 处理、二维码生成、Emoji 处理、FTP 操作以及分词等多个方面,为开发者在不同…...
opencv实时二维码识别的一种实现与思路分享
在嵌入式平台上比如 rk3568 这种弱鸡的平台,要做到实时视频处理就非常鸡肋,不像英伟达那种 deepstrem 什么的。 开始的时候,我们使用python 下的 pyzbar + opencv opencv 读取摄像头的数据然后每帧送到 pyzbar 二维码识别函数里面进行处理,然后打印出识别的数字。结果,非常…...
深入剖析Linux C中线程未释放问题
深入剖析 Linux C 中线程未释放问题 在 Linux C 编程中,线程的正确使用对于程序的性能和稳定性至关重要。其中,线程资源的释放是一个容易被忽视但又极为关键的环节。本文将通过具体代码示例,深入探讨线程未释放的问题,并结合进程…...
个人博客5年回顾
https://huangtao01.github.io/ 五年前,看程序羊的b站视频做的blog,受限于网络,只能单向学习,没有人指导与监督,从来没有想过,有没有什么问题? 一、为什么要做个人博客? 二、我是怎么…...
nacos编写瀚高数据库插件
1、下载nacos源码 git clone gitgithub.com:alibaba/nacos.git 2、引入瀚高驱动 <dependency><groupId>com.highgo</groupId><artifactId>jdbc</artifactId><version>${highgo.version}</version></dependency> 3、DataSource…...
bboss v7.3.5来袭!新增异地灾备机制和Kerberos认证机制,助力企业数据安全
ETL & 流批一体化框架 bboss v7.3.5 发布,多源输出插件增加为特定输出插件设置记录过滤功能;Elasticsearch 客户端新增异地双中心灾备机制,提升框架高可用性;Elasticsearch client 和 http 微服务框架增加对 Kerberos 认证支持…...
【编程语言】委托与函数指针
委托与函数指针的相似之处: 指向方法:C# 的委托和 C 的函数指针都可以用来指向一个方法或函数。调用方法:它们都可以通过引用(委托或函数指针)来调用指向的方法。 委托与函数指针的主要区别: 类型安全&am…...
《Python实战进阶》专栏 No2: Flask 中间件与请求钩子的应用
专栏简介 《Python实战进阶》专栏共68集,分为 模块1:Web开发与API设计(共10集);模块2:数据处理与分析(共10集);模块3:自动化与脚本开发(共8集&am…...
Redis三剑客解决方案
文章目录 缓存穿透缓存穿透的概念两种解决方案: 缓存雪崩缓存击穿 缓存穿透 缓存穿透的概念 每一次查询的 key 都不在 redis 中,数据库中也没有。 一般都是属于非法的请求,比如 id<0,比如可以在 API 入口做一些参数校验。 大量访问不存…...
OpenCV机器学习(8)随机森林(Random Forests)算法cv::ml::RTrees类
操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 cv::ml::RTrees 是 OpenCV 机器学习模块中的一部分,用于实现随机森林(Random Forests)算法。随机森林是一种集…...
C++:线程当中的锁专题
在 C 多线程编程中,线程同步是确保程序正确运行的关键环节,而锁机制则是实现线程同步的重要手段。 一、线程的同步之互斥锁 1.1 互斥锁的概念 互斥锁(Mutex,即 Mutual Exclusion 的缩写)是一种最基本的线程同步工具…...
vue3 文件类型传Form Data数据格式给后端
在 Vue 3 中,如果你想将文件(例如上传的 Excel 文件)以 FormData 格式发送到后端,可以通过以下步骤实现。这种方式通常用于处理文件上传,因为它可以将文件和其他数据一起发送到服务器。 首先,创建一个 Vue…...
Frp部署文档
Frp部署文档 开源项目地址:https://github.com/fatedier/frp项目中文文档地址:https://github.com/fatedier/frp/blob/dev/README_zh.md官网文档地址: https://gofrp.org/zh-cn/docs/发布包地址:https://github.com/fatedier/frp/releases 要注意对应的…...
创建一个简单的spring boot+vue前后端分离项目
一、环境准备 此次实验需要的环境: jdk、maven、nvm和node.js 开发工具:idea或者Spring Tool Suite 4,前端可使用HBuilder X,数据库Mysql 下面提供maven安装与配置步骤和nvm安装与配置步骤: 1、maven安装与配置 1…...
Spring Boot项目@Cacheable注解的使用
Cacheable 是 Spring 框架中用于缓存的注解之一,它可以帮助你轻松地将方法的结果缓存起来,从而提高应用的性能。下面详细介绍如何使用 Cacheable 注解以及相关的配置和注意事项。 1. 基本用法 1.1 添加依赖 首先,确保你的项目中包含了 Spr…...
124.二叉树中的最大路径和 python
二叉树中的最大路径和 题目题目描述示例 1:示例 2:提示: 题解解决方案步骤Python 实现解释提交结果 题目 题目描述 二叉树中的 路径 被定义为一条节点序列,序列中每对相邻节点之间都存在一条边。同一个节点在一条路径序列中 至多…...
23.1 WebBrowser控件
版权声明:本文为博主原创文章,转载请在显著位置标明本文出处以及作者网名,未经作者允许不得用于商业目的。 WebBrowser控件类似于IE浏览器的文档界面(事实上IE也是使用的这个控件),它提供了显示网页及支持…...
vue 手写分页
【先看效果】 (1)内容小于2页 不展示页码 (2)1 < 内容页数< 限定展示页码 展示:页码、上下页;隐藏:首页、末页图标,上、下一区间码。即:(页数&#…...
位运算,双指针,二分,排序算法
文章目录 位运算二进制中1的个数题解代码我们需要0题解代码 排序模版排序1题解代码模版排序2题解代码模版排序3题解代码 双指针最长连续不重复子序列题解代码 二分查找题解代码 位运算 1. bitset< 16 >将十进制数转为16位的二进制数 int x 25; cout << bitset<…...
Typora软件(Markdown编辑器)详细安装教程(附补丁包)2025最详细图文教程安装手册
目录 前言:Typora是干什么的? 一、下载Typora安装包 二、安装Typora 1.运行安装程序 2.启动安装 3.创建桌面图标 4.开始安装 5.安装完成 三、安装补丁 1.解压补丁包 2.在解压后的补丁包目录下找到“winmm.dll” 3.复制“winmm.dll”到Typora安…...
图谱洞见:专栏概要与内容目录
文章目录 图谱洞见📚 核心内容模块时空图模型研究综述与模型对比交通流量预测 知识图谱理论研究预训练语言模型与知识图谱知识图谱补全与链接预测知识蒸馏与知识表示关系建模与图卷积上下文感知与参数生成规则学习与推理可解释性研究因果推理 知识图谱实践应用数据库…...
