当前位置： 首页 > news >正文

es快速扫描

news 2026/4/10 14:09:08

介绍

Elasticsearch简称es，一款开源的分布式全文检索引擎
可组建一套上百台的服务器集群，处理PB级别数据
可满足近实时的存储和检索

倒排索引

跟正排索引相对，正排索引是根据id进行索引，所以查询效率非常高，但是模糊查询效率低，因为要全表扫描，即便创建索引也不生效
倒排索引是先根据查询内容进行分词处理，根据每个词条创建索引，还会存储该词条出现的所有记录id，这样即使模糊查询也会命中索引，从而找到所有包含搜索项的记录id，再进行处理返回结果

如果选举master

对所有配置可以成为master的节点根据nodeId进行排序，默认排第一位的节点是master，所有分片都进行如此操作，最后票数达到半数以上的节点成为master节点

如何避免脑裂

可以配置最小master节点数参数来解决脑裂问题

写入原理

首先会根据docid进行hash找到合适的分片
然后开始写入，分两个阶段，refresh和flush阶段
refresh阶段：先将数据写到内存buffer中，然后每秒将数据向os cache中写入，生成新的segment，os cache中的数据可以进行查询
flush阶段：写入到os cache中的translog数据，默认每5秒刷盘一次，当translog足够大(512M)或者 每30分钟进行一次flush操作，将translog中所有内容全部刷盘，旧的translog将被删除

针对大数据如何进行聚合操作

使用elasticsearch提供的cardinality度量，它提供一个字段的基数，也就是该字段的distinct或者unique数目

如何保证读写一致性

使用版本号乐观并发控制

相关文章：

es快速扫描

介绍 Elasticsearch简称es，一款开源的分布式全文检索引擎 可组建一套上百台的服务器集群，处理PB级别数据 可满足近实时的存储和检索 倒排索引 跟正排索引相对，正排索引是根据id进行索引，所以查询效率非常高，但是模糊…...

编程日记 2024/12/25 6:11:16

前端对页面数据进行缓存

页面录入信息，退出且未提交状态下，前端对页面数据进行存储 前端做缓存，一般放在local、session和cookies里面，但是都有大小限制，如果页面东西多，比如有上传的图片、视频，浏览器会抛出一个Quota…...

编程日记 2024/12/25 6:09:14

leetCode322.零钱兑换

题目： 给你一个整数数组coins,表示不同面额的硬币；以及一个整数amount,表示总金额。 计算并返回可以凑成总金额所需的最少的硬币个数。如果没有任何一种硬币组合能组成总金额，返回-1。 你可以认为每种硬币的数量是无限的。 示例1&#xff1…...

编程日记 2024/12/25 6:07:12

jsp-servlet开发

STS中开发步骤 建普通jsp项目过程 1.建项目（非Maven项目） new----project----other----Web----Dynamic Web Project 2.下载包放到LIB目录中,如果是Maven项目可以自动导包（pom.xml中设置好） 3.设置工作空间，网页…...

编程日记 2024/12/25 6:06:11

从零玩转CanMV-K230（7）-I2C例程

文章目录 前言一、IIC API二、示例总结 前言 K230内部包含5个I2C硬件模块，支持标准100kb/s，快速400kb/s模式，高速模式3.4Mb/s。 通道输出IO配置参考IOMUX模块。 一、IIC API I2C类位于machine模块下。 i2c I2C(id, freq100000) 【参数】…...

编程日记 2024/12/25 6:05:10

n阶Legendre多项式正交性的证明

前言 在《n次Legendre(勒让德)多项式在区间(-1, 1)上根的分布及证明》这篇文章中，我们阐述了Legendre多项式在 [ − 1 , 1 ] [-1,1] [−1,1]上的根分布情况并给出了证明。本文将证明Legendre多项式在 [ − 1 , 1 ] [-1,1] [−1,1]上的正交性质。 正交多项式的定义…...

编程日记 2024/12/25 6:04:09

HarmonyOS NEXT - Dialog 和完全自定义弹框

demo 地址: https://github.com/iotjin/JhHarmonyDemo 组件对应代码实现地址 代码不定时更新，请前往github查看最新代码 在demo中这些组件和工具类都通过module实现了，具体可以参考HarmonyOS NEXT - 通过 module 模块化引用公共组件和utils HarmonyOS NE…...

编程日记 2024/12/25 6:03:08

内容与资讯API优质清单

作为开发者，拥有一套API合集是必不可少的。这个开发者必备的API合集汇集了各种实用的API资源，为你的开发工作提供了强大的支持！无论你是在构建网站、开发应用还是进行数据分析，这个合集都能满足你的需求。你可以通过这些免费API获…...

编程日记 2024/12/25 6:02:07

开源 JS PDF 库比较

原文查看：开源JavaScript PDF Library对比 对于需要高性能、复杂功能或强大支持处理复杂 PDF 的项目，建议选择商业​​ PDF 库, 如ComPDFKit for Web。但是，如果您的目标只是在 Web 应用程序中显示 PDF，则可以使用几个可靠的开源…...

编程日记 2024/12/25 5:57:02

AnaPico信号源在通信测试中的应用案例

AnaPico信号源在通信测试中的应用案例广泛，涉及多种通信技术和测试需求。以下是一些具体的应用实例： 1. APPH系列信号源分析仪（相位噪声分析仪） APPH系列是一款高性能相位噪声分析仪和VCO测试仪，其不同型号的频率范围…...

编程日记 2024/12/25 5:55:01

《智启新材：人工智能重塑分子结构设计蓝图》

在当今科技飞速发展的时代，新材料的研发宛如一场激烈的竞赛，而人工智能（AI）作为一匹黑马，正以前所未有的速度和力量驰骋于这片赛场，为新材料的分子结构设计带来了革命性的突破，成为推动行业发展…...

编程日记 2024/12/25 5:52:58

进阶岛-L2G5000

茴香豆：企业级知识库问答工具 茴香豆本地标准版搭建 环境搭建 安装茴香豆 知识库创建 测试知识助手 Gradio UI 界面测试...

编程日记 2024/12/25 5:51:56

单点登录平台Casdoor搭建与使用，集成gitlab同步创建删除账号

一，简介 一般来说，公司有很多系统使用，为了实现统一的用户名管理和登录所有系统（如 GitLab、Harbor 等），并在员工离职时只需删除一个主账号即可实现权限清除，可以采用 单点登录 (SSO) 和 集中式…...

编程日记 2024/12/25 5:50:56

PaddlePaddle飞桨Linux系统Docker版安装

PaddlePaddle飞桨Linux系统Docker版安装 最近学习和了解PP飞桨，一切从安装开始。官网的安装教程很详细： https://www.paddlepaddle.org.cn/install/quick?docurl/documentation/docs/zh/install/docker/linux-docker.html 记录我在安装过程中遇到的问题…...

编程日记 2024/12/25 5:49:55

一款基于.NET开发的简易高效的文件转换器

前言 今天大姚给大家分享一款基于.NET开发的免费（GPL-3.0 license）、简易、高效的文件转换器，允许用户通过Windows资源管理器的上下文菜单来转换和压缩一个或多个文件：FileConverter。 使用技术栈 ffmpeg：作为文件转换…...

编程日记 2024/12/25 5:46:52

Spring Boot教程之三十一：入门 Web

Spring Boot – 入门 Web 如今，大多数应用程序都需要模型-视图-控制器(MVC) 架构来满足各种需求，例如处理用户数据、提高应用程序效率、为应用程序提供动态特性。它主要用于构建桌面图形用户界面 (GUI)，但现在越来越流行用于构建基于 Web 的…...

编程日记 2024/12/25 5:45:52

青少年编程与数学 02-004 Go语言Web编程 20课题、单元测试

青少年编程与数学 02-004 Go语言Web编程 20课题、单元测试 一、单元测试（Unit Testing）二、集成测试（Integration Testing）三、区别四、Go Web单元测试使用testing包使用testify框架使用GoConvey框架 五、应用示例步骤 1: 创建HTT…...

编程日记 2024/12/25 5:44:50

概率论 期末 笔记

第一章 随机事件及其概率 利用“四大公式”求事件概率 全概率公式与贝叶斯公式 伯努利概型求概率 习题 推导 一维随机变量及其分布 离散型随机变量（R.V）求分布律 利用常见离散型分布求概率 连续型R.V相关计算 利用常见连续型分布的计算 均匀分布 正态…...

编程日记 2024/12/25 5:42:48

Typesense：开源的高速搜索引擎

在当今数据驱动的世界中，高效、快速且智能的搜索能力是任何应用程序和网站成功的关键因素之一。无论是电商平台、内容管理系统还是社交媒体，用户都希望能够迅速找到所需信息。Typesense，作为一款优秀的开源搜索引擎，旨在通过其卓越…...

编程日记 2024/12/25 5:40:46

【vue】圆环呼吸灯闪烁效果(模拟扭蛋机出口处灯光）

效果图先发&#xff1a; 页面部分&#xff1a; <div ref"round" class"round"><div class"light" ref"light"/><div class"box"></div></div>js部分(控制圆环生成&#xff09;; setRound…...

编程日记 2024/12/25 5:39:45

跨境电商研发团队文件外发安全管控

我有个朋友在深圳做跨境电商&#xff0c;主要卖智能家居产品到北美。上个月他跟我说了件差点让他丢大客户的事—— 他们的研发文件从来都是"谁需要找谁要"&#xff0c;邮件、微信、U盘&#xff0c;什么渠道都有。有一天&#xff0c;研发部把一批新款智能锁的固件代码…...

编程新知 2026/4/10 14:03:51

【人工智能】Codex Windows 离线安装（无需微软商店）完整教程

一、报错内容 直接从官网下载会提示异常，基本上是死循环 二、报错说明 下载方式错了、 三、问题解决 3.1 正确获取 Codex 离线包 打开 https://store.rg-adguard.net 粘贴链接：https://www.microsoft.com/store/productid/9plm9xgg6vks 勾选复选框，获取下载链接 下载最新…...

编程新知 2026/4/10 13:55:20

Wonder3D：2-3分钟从单张图片生成高质量3D模型的完整指南

Wonder3D&#xff1a;2-3分钟从单张图片生成高质量3D模型的完整指南 【免费下载链接】Wonder3D Single Image to 3D using Cross-Domain Diffusion for 3D Generation 项目地址: https://gitcode.com/gh_mirrors/wo/Wonder3D 单图生成3D模型一直是计算机视觉领域的挑战性…...

编程新知 2026/4/10 13:07:56

基于Visio的Qwen3-ASR系统架构设计图解

基于Visio的Qwen3-ASR系统架构设计图解 1. 引言 系统架构图是技术项目的重要沟通工具&#xff0c;它能直观展示组件关系、数据流向和整体设计思路。对于Qwen3-ASR这样的复杂语音识别系统&#xff0c;一个清晰的架构图能帮助团队成员快速理解系统全貌&#xff0c;减少沟通成本…...

编程新知 2026/4/10 11:34:35

如何高效解决TranslucentTB的Microsoft.VCLibs.140.00缺失错误：完整修复指南

如何高效解决TranslucentTB的Microsoft.VCLibs.140.00缺失错误&#xff1a;完整修复指南 【免费下载链接】TranslucentTB A lightweight utility that makes the Windows taskbar translucent/transparent. 项目地址: https://gitcode.com/gh_mirrors/tr/TranslucentTB …...

编程新知 2026/4/10 11:32:34

Windows 11 下 ML307R SDK 编译环境保姆级搭建指南（Python 3.12 + SCons 4.8.0）

Windows 11 下 ML307R SDK 编译环境保姆级搭建指南&#xff08;Python 3.12 SCons 4.8.0&#xff09; 在物联网开发领域&#xff0c;ML307R模组因其出色的性能和稳定性备受开发者青睐。然而&#xff0c;初次接触其SDK编译环境的开发者往往会遇到各种"水土不服"的问题…...

编程新知 2026/4/10 10:31:00

Jasminum：中文文献管理的终极解决方案，三步提升Zotero效率300%

Jasminum&#xff1a;中文文献管理的终极解决方案&#xff0c;三步提升Zotero效率300% 【免费下载链接】jasminum A Zotero add-on to retrive CNKI meta data. 一个简单的Zotero 插件&#xff0c;用于识别中文元数据 项目地址: https://gitcode.com/gh_mirrors/ja/jasminum …...

编程新知 2026/4/10 8:09:19

XUnity.AutoTranslator终极指南：如何为Unity游戏实现实时自动翻译

XUnity.AutoTranslator终极指南&#xff1a;如何为Unity游戏实现实时自动翻译 【免费下载链接】XUnity.AutoTranslator 项目地址: https://gitcode.com/gh_mirrors/xu/XUnity.AutoTranslator XUnity.AutoTranslator是一款功能强大的Unity游戏实时翻译插件&#xff0c;专…...

编程新知 2026/4/10 8:07:13

考生必看！阿里云ACP线下考场汇总

考点代码考点城市考点地址3484澳门MACAO澳門上海街175號中華總商會大廈7樓10號室, Room 10, Rua de Xangai 175, Edf. ACM, 7 andar, Macao,China3350北京BEIJING北京市大兴区亦庄经济开发区中航工业科技商务园一号楼二单元102室, Room 102, 1st Floor, Unit 2, Building 1, AV…...

编程新知 2026/4/10 7:52:04

值类型与引用类型：别再只背“栈和堆”了，看这 个实际影响颜

基础示例&#xff1a;单工作表 Excel 转 TXT 以下是将一个 Excel 文件中的第一个工作表转换为 TXT 的完整步骤&#xff1a; 1. 加载并读取Excel文件 from spire.xls import * from spire.xls.common import * workbook Workbook() workbook.LoadFromFile("示例.xlsx"…...

编程新知 2026/4/10 7:08:22