当前位置：首页 > article >正文

BitMap和RoaringBitmap：极致高效的大数据结构

article 2026/1/20 12:58:32

1、引言

2、BitMap：基础

2.1、核心原理

2.2、BitMap的优势

2.3、BitMap的局限性

3、RoaringBitmap：进化

3.1、分段策略

3.2、三种容器类型

3.2.1. ArrayContainer（数组容器）

3.2.2. BitMapContainer（位图容器）

3.2.3. RunContainer（行程容器）

3.3、行程长度编码的精妙之处

4、实现见解

5、性能比较

6、实际应用

6.1、集合操作

6.2、真实应用场景

7、进阶考虑

7.1、序列化

7.2、内存映射文件

7.3、并发访问

8、结论

1、引言

在大数据时代，高效的数据结构对于执行去重、计数和过滤大型数据集等操作至关重要。虽然传统的数据结构如数组和哈希表在处理中小型数据集时表现良好，但在处理海量数据时，它们往往在内存效率和性能方面遇到挑战。

在大数据场景中表现出色的两种数据结构是BitMap和RoaringBitmap。这些专门的结构可以在保持特定用例的高性能的同时显著减少内存消耗。本文深入探讨这两种结构，比较它们的原理、实现细节和实际应用。

BitMap和RoaringBitmap：极致高效的大数据结构

BitMap和RoaringBitmap：极致高效的大数据结构

目录 1、引言 2、BitMap：基础 2.1、核心原理 2.2、BitMap的优势 2.3、BitMap的局限性 3、RoaringBitmap：进化 3.1、分段策略 3.2、三种容器类型 3.2.1. ArrayContainer（数组容器） 3.2.2. BitMapContainer（位图容器） 3.2.3. RunContainer（行程容器） 3.3、行…...

编程日记 2026/1/15 4:22:48

【Java基础】Java集合遍历方式

前言在Java编程中，集合（Collection）是存储和操作对象的核心工具。遍历集合是开发者最频繁的操作之一，但不同场景下选择合适的遍历方式至关重要。一、基础遍历方式 1. 基本for循环适用场景：仅适用于List等有序集…...

编程日记 2025/11/28 3:43:26

Rust-引用借用规则

目录一、概述二、借用规则三、详细解释 3.1 第一条规则 3.2 第二条规则 3.3 第三条规则四、总结 Welcome to Code Blocks blog 本篇文章主要介绍了 [Rust-引用借用规则] ❤博主广交技术好友，喜欢文章的可以关注一下❤ 一、概述 Rust为确保程序在运行时不…...

编程日记 2026/1/17 12:57:10

如何保障企业数据的安全？软件开发中的数据安全防护措施

引言随着数字化转型的推进，数据已经成为企业最重要的资产之一。然而，随着数据量的增长，数据泄露、丢失和滥用的风险也不断增加。如何保障企业数据的安全，成为企业在进行软件开发时必须重点关注的问题。本文将介绍软件开发中的一些…...

编程日记 2026/1/18 1:49:27

Linux安装开源版MQTT Broker——EMQX服务器环境从零到一的详细搭建教程

零、EMQX各个版本的区别 EMQX各个版本的功能对比详情https://docs.emqx.com/zh/emqx/latest/getting-started/feature-comparison.html...

编程日记 2026/1/18 1:26:35

【软件工程大系】净室软件工程

净室软件工程（Cleanroom Software Engineering）是一种以缺陷预防（正确性验证）为核心的软件开发方法，旨在通过严格的工程规范和数学验证，在开发过程中避免缺陷的产生，而非依赖后期的测试和调试。…...

编程日记 2026/1/18 0:34:44

软考系统架构设计师系列知识点之杂项集萃（49）

接前一篇文章：软考系统架构设计师系列知识点之杂项集萃（48） 第76题某文件管理系统在磁盘上建立了位视图（bitmap），记录磁盘的使用情况。若磁盘上物理块的编号依次为：0、1、2、……&#xff1b…...

编程日记 2026/1/18 3:51:54

Day(21)--网络编程

网络编程在网络通信协议下，不同计算机上运行的程序，进行的数据传输应用场景：即使通信、网友对战、金融证券等等，不管是什么场景，都是计算机和计算机之间通过网络进行的数据传输 java.net 常见的软件架构 C/S&am…...

编程日记 2025/11/30 3:49:31

JVM 调优不再难：AI 工具自动生成内存优化方案

在 Java 应用程序的开发与运行过程中，Java 虚拟机（JVM）的性能调优一直是一项极具挑战性的任务，尤其是内存优化方面。不合适的 JVM 内存配置可能会导致应用程序出现性能瓶颈，甚至频繁抛出内存溢出异常，影响业…...

编程日记 2026/1/17 23:09:37

封装Tcp Socket

封装Tcp Socket 0. 前言1. Socket.hpp2. 简单的使用介绍 0. 前言本文中用到的Log.hpp在笔者的历史文章中都有涉及，这里就不再粘贴源码了，学习地址如下：https://blog.csdn.net/weixin_73870552/article/details/145434855?spm1001.2014.3001…...

编程日记 2026/1/20 11:28:44

5.1 GitHub订阅监控系统实战：FastAPI+SQLAlchemy高效架构设计与核心源码揭秘

GitHub Sentinel Agent 分析报告功能设计与实现关键词：订阅管理 API 设计、GitHub API 集成、SQLAlchemy ORM、JWT 认证、单元测试框架 1. 订阅管理功能架构设计订阅管理模块采用分层架构设计，通过 FastAPI 构建 RESTful 接口，结合 SQLAlchemy ORM 实现数据持久化： #me…...

编程日记 2025/11/29 22:23:50

2025年推荐使用的开源大语言模型top20：核心特性、选择指标和开源优势

李升伟编译随着人工智能技术的持续发展，开源大型语言模型（LLMs）正变得愈发强大，使最先进的AI能力得以普及。到2025年，开源生态系统中涌现出多个关键模型，它们在各类应用场景中展现出独特优势。大型语言…...

编程日记 2025/11/30 12:40:25

Linux 入门九：Linux 进程间通信

概述进程间通信（IPC，Inter-Process Communication）是指在不同进程之间传递数据和信息的机制。Linux 提供了多种 IPC 方式，包括管道、信号、信号量、消息队列、共享内存和套接字等。方式一、管道（Pipe&#xff09…...

编程日记 2026/1/19 21:30:10

Spark-SQL核心编程实战：自定义函数与聚合函数详解

在大数据处理领域，Spark-SQL是极为重要的工具。今天和大家分享一下在Spark-SQL开发中的自定义函数和聚合函数的使用，这些都是基于实际项目开发经验的总结。在Spark-SQL开发时，第一步是搭建开发环境。在IDEA中创建Spark-SQL子模块&#xff0c…...

编程日记 2025/11/30 13:48:00

[Mysql][Mybatis][Spring]配置文件未能正确给驱动赋值，.properties文件username值被替换

这是最初的.properties配置文件： drivercom.mysql.cj.jdbc.Driver urljdbc:mysql://localhost:3306/qykf usernameroot password123456 在Mybatis中引入后进行赋值： <environments default"development"><environment id"deve…...

编程日记 2026/1/10 2:10:48

go 指针接收者和值接收者的区别

go 指针接收者和值接收者的区别指针接收者和值接收者的区别主要有两点： Go 中函数传参是传值，因此指针接收者传递的是接收者的指针拷贝，值接收者传递的是接收者的拷贝---在方法中指针接收者的变量会被修改，而值接收者的成员变量…...

编程日记 2026/1/7 21:14:37

Redis之缓存更新策略

缓存更新策略文章目录缓存更新策略一、策略对比二、常见的缓存更新策略三、如何选择策略四、实际应用示例五、使用 Cache-Aside TTL 的方式，实现缓存商铺信息详情1.引入StringRedisTemplate2.将查询商铺信息加入缓存3.更新商铺信息时移除缓存总结六、注意事项一…...

编程日记 2026/1/19 2:19:05

【leetcode100】杨辉三角

1、题目描述给定一个非负整数 numRows，生成「杨辉三角」的前 numRows 行。在「杨辉三角」中，每个数是它左上方和右上方的数的和。示例 1: 输入: numRows 5 输出: [[1],[1,1],[1,2,1],[1,3,3,1],[1,4,6,4,1]]示例 2: 输入: numRows 1 输出: [[1]…...

编程日记 2026/1/20 0:01:26

git reset详解

一、git reset 的核心作用用于移动当前分支的 HEAD 指针到指定的提交，并可选择是否修改工作区和暂存区。 ⚠️ 注意：若提交已被推送到远程仓库，强制重置（--hard）后需谨慎操作，避免影响协作。二、三种模…...

编程日记 2026/1/19 7:48:06

Selenium2+Python自动化：利用JS解决click失效问题

文章目录前言一、遇到的问题二、点击父元素问题分析解决办法实现思路三、使用JS直接点击四、参考代码前言在使用Selenium2和Python进行自动化测试时，我们有时会遇到这样的情况：元素明明已经被成功定位，代码运行也没有报错，但…...

编程日记 2026/1/14 12:08:29

OpenStack Yoga版安装笔记（十九）启动一个实例（Self-service networks）

1、概述 1.1 官方文档 Launch an instancehttps://docs.openstack.org/install-guide/launch-instance.html 《OpenStack Yoga版安装笔记（十四）启动一个实例》文档中，已经按照Option1: Provider networks创建网络。本文按照Option2&#…...

编程日记 2026/1/12 13:36:11

数据结构（java）栈与队列

栈：（先进后出） 入栈: 1.普通栈一定要放、最小栈放的原则是: *如果最小栈是空的，那么放 *如果最小栈的栈顶元素没有当前的元素小，则放 2.如果要放的的元素小于等于最小栈栈顶元素可以放吗?放出栈: 需要…...

编程日记 2026/1/7 10:47:11

Flask+Plotly结合动态加载图形页面实践

1. DeepSeek帮我实践 1.1. 我的提问既设计方案原有如下主页：dashboard.html，现增加“预测模型学习”，对感知机神经网络描述如下： 1、输入与输出为固定值，例如输入层215，输出层48； 2、模型为回归神经网络； 3、中层是可动态调整的，例如定义如下：第二层，200，第三层…...

编程日记 2025/11/29 19:43:29

数学教学通讯杂志数学教学通讯杂志社数学教学通讯编辑部2025年第6期目录

课程教材教法 “课程思政”视域下的高中数学教学探索与实践——以“函数概念的发展历程”为例赵文博; 3-617 PBL教学模式下高中统计教学的探索与实践——以“随机抽样（第一课时）”为例陈沛余; 7-10 “三新”背景下的高中数学教学困境与应对…...

编程日记 2026/1/20 8:02:05

整活 kotlin + springboot3 + sqlite 配置一个 SQLiteCache

要实现一个 SQLiteCache 也是很简单的只需要创建一个 cacheManager Bean 即可 // 如果配置文件中 spring.cache.sqlite.enable false 则不启用 Bean("cacheManager") ConditionalOnProperty(name ["spring.cache.sqlite.enable"], havingValue "t…...

编程日记 2025/11/28 14:23:17

C#容器源码分析 --- Dictionary＜TKey,TValue＞

Dictionary<TKey, TValue> 是 System.Collections.Generic 命名空间下的高性能键值对集合，其核心实现基于哈希表和链地址法（Separate Chaining）。 .Net4.8 Dictionary<TKey,TValue>源码地址： dictionary…...

编程日记 2026/1/20 1:07:14