InfluxDB（一）——一个高效处理数据的时序数据库

目录一、什么是时序数据库InfluxDB关系型数据库行式存储是怎么存的时序数据库列式存储是怎么存的二、InfluxDB的特点1. 极致的写入性能2. 高效的存储压缩3. 独特的数据模型4. 强大的查询与分析能力5. 自动化的数据生命周期管理6. 版本特性7. 业务场景选型总结为什么选择 InfluxDB三、安装InfluxDB1. 拉取InfluxDB 2.x 镜像2. 创建数据持久化目录3. 启动InfluxDB4. 验证InfluxDB运行状态5. 访问InfluxDB Web UI四、总结一、什么是时序数据库InfluxDB先了解一个概念“时序”顾名思义就是按照时间序列排序的数据InfluxDB就是专门为高效存储、查询和分析这类带时间戳的海量数据而设计的时序数据库Time-Series Database这种数据在物联网、监控系统、金融分析等领域非常常见。生活中随处可见“按时间记录”的数据手机每小时的电量变化空调的实时温度小区充电桩的充电时长服务器的运行状态……这些按照时间顺序排列持续产生的数据被称为“时序数据”。随着数据越来越多面对海量时序数据时普通关系型数据库MySQL处理起来会显得力不从心甚至成为系统瓶颈。存在几个天然劣势写入性能不足当时序数据以每秒成千上万条的速度涌入设备运行数据高频上报MySQL的索引维护和事务锁机制导入写入速度急剧下降存储效率低为了支持灵活查询关系数据库的行存储结构在处理大量重复的时间戳和标签时占用空间远大于转为时序优化的列式存储这句话可能不好理解使用一个例子空调的温湿度传感器sensor_01每隔 1s上报一次数据。数据库字段有时间戳、设备SN(sensor_01)、温度值连续 5 秒的数据2026-03-25 10:00:01, sensor_01, 25.1 2026-03-25 10:00:02, sensor_01, 25.2 2026-03-25 10:00:03, sensor_01, 25.1 2026-03-25 10:00:04, sensor_01, 25.3 2026-03-25 10:00:05, sensor_01, 25.2 ……关系型数据库行式存储是怎么存的原理它把每一行数据当作一个完整的整体对象存进去。就像把每份文件单独装进一个信封。第1行[2026-03-25 10:00:01,sensor_01,25.1] - 存入磁盘第2行[2026-03-25 10:00:02,sensor_01,25.2] - 存入磁盘第3行[2026-03-25 10:00:03,sensor_01,25.1] - 存入磁盘...以此类推问题所在为什么效率低你会发现sensor_01这个标签在每一行里都重复存储了一遍。如果有 100 万个数据点sensor_01这个字符串就在磁盘上重复写了 100 万次时间戳虽然每秒在变但前缀年月日时也是大量重复的。结果大量的磁盘空间被用来存储重复的元数据标签和时间前缀而不是有价值的数值。这就像写文章时每一句话前面都强行加一遍作者的名字非常浪费纸张时序数据库列式存储是怎么存的原理它不按“行”存而是按“列”存。它把相同类型的数据放在一起。就像把图书馆的书按“作者”、“出版年份”、“书名”分开放在不同的架子上。它会这样处理上面的数据时间戳列(time)专门存时间。[01, 02, 03, 04, 05](它甚至只存差值比如 1, 1, 1极度压缩)标签列(Tag)专门存设备SN。[sensor_01, sensor_01, sensor_01, sensor_01, sensor_01]关键点因为这一列全是sensor_01压缩算法如游程编码 RLE会发现“哦连续 5 个都是同一个词”于是它只存一次sensor_01加上一个计数5。存储结果实际上只占用了极小的空间。数值列(Field)专门存温度。[25.1, 25.2, 25.1, 25.3, 25.2](使用专门针对浮点数的压缩算法如 Gorilla 编码利用相邻数值的相似性进行压缩)优势所在去重重复的标签只存一次或存一次计数。压缩连续的时间戳和相似的数值可以被压缩到极小通常能压缩到原始大小的 1/10 甚至 1/20。时间聚合查询慢当需要查询“过去一个月的平均问题”或“最近一小时的流量峰值”时MySQL需要扫描大量行并进行实时计算响应延迟高而InfluxDB内置了针对时间串口的预计算和压缩算法能毫秒级返回结果缺乏生命周期管理时序数据往往“越久越不值钱”需要自动过期删除。在MySQL中这需要编写复杂的定时任务而InfluxDB中只需要一个简单的保留策略Retention Policy即可自动完成从上就可以简单的了解时序数据库InfluxDBInfluxDB是一种开源的时序数据库由InfluxData公司开发。它专为高性能地存储、查询和分析时间序列数据而优化支持高写入和查询负载适用于实时监控、指标收集等场景。小记有人可能会联想MongoDB这种文档数据库曾经也使用过将物联网数据存储到MongoDB中可以先参考一下这篇时序数据库一哥 InfluxDB 的公司 InfluxData曾在 2018 年发表了一篇关于 InfluxDB vs MongoDB 的博客。文中使用 InfluxDB v1.7.2 和 MongoDB v4.0.4 做对比得出 InfluxDB 比 MongoDB 快 2.4 倍的结论。当然可信度有待考量先不赘述后面再详解MongoDB和时序数据库的区别可以自行了解二、InfluxDB的特点其核心特点可以概括为“高写入、高压缩、快查询、易管理”。以下是其详细的技术特点1. 极致的写入性能追加写模型(Append-Only)针对时序数据“只增不改”的特性InfluxDB 采用日志结构合并树LSM-Tree的变体数据直接顺序写入磁盘避免了传统关系型数据库的行锁竞争和随机 I/O 开销。高并发支持能够轻松应对每秒数百万甚至上千万个数据点的写入压力非常适合物联网传感器、服务器监控日志等高频数据流场景。2. 高效的存储压缩列式存储数据按列时间戳、标签、字段分别存储而非按行存储。这使得相同类型的数据如连续的温度值聚集在一起极大地提高了压缩效率。专用压缩算法时间戳使用差分编码只存时间差因为时间通常是均匀递增的。标签(Tags)使用游程编码因为元数据如设备ID在一段时间内是高度重复的。数值(Fields)使用Gorilla 压缩等算法处理浮点数。效果通常能将原始数据压缩至1/10 甚至 1/20的大小显著降低存储成本。3.独特的数据模型InfluxDB 将数据分为四类这种设计是其高性能的关键Measurement(测量)类似关系数据库中的“表”表示数据的类别如air_tem。Tag(标签)被索引的元数据如device_snsensor_01。Tag 用于快速过滤和分组查询是查询速度的核心。Field(字段)未被索引的实际数值如tempature0.25.1。Field 存储具体测量值支持各种聚合计算。Timestamp(时间戳)每条记录的主键精确到纳秒。先大概了解一下后续会仔细讲述InfluxDB 的数据模型概念和 RDBMS 稍有不同下面是和 MySQL 的概念对照表InfluxDBMySQL解释BucketsDatabase数据桶-数据库即存储数据的命名空间。MeasurementTable度量-表。PointRecord数据点-记录。FieldField未设置索引的字段。TagIndex设置了索引的字段。4. 强大的查询与分析能力双语言支持InfluxQL类 SQL 语法简单易学适合常规的时间范围查询和聚合。Flux一种功能更强大的函数式脚本语言类似 Python/Pandas支持复杂的数据转换、多源连接Join、自定义逻辑和跨时间窗口分析。内置时间函数原生支持降采样、插值、移动平均、异常检测等时间序列专用操作无需在应用层编写复杂代码。5. 自动化的数据生命周期管理保留策略可配置数据自动过期时间例如“只保留最近 7 天的原始数据”系统后台自动清理防止磁盘爆满。连续查询支持后台自动执行预定义的聚合任务将高频原始数据实时计算并存储为低频汇总数据如“每分钟平均值”实现冷热数据分层存储兼顾细节与历史趋势6. 版本特性先了解一下InfluxDB的版本有1.x、2.x和3.x特性维度InfluxDB 1.xInfluxDB 2.xInfluxDB 3.x (Core/Cloud)发布时间2016 - 2020 (主流)2020 - 2024 (主流)2024 - 至今 (最新)开发语言GoGoRust核心架构单体架构行式存储单体架构 (集成UI/API/Engine)行式存储云原生架构列式存储存算分离存储引擎TSM (Time Structured Merge Tree)TSM / TSMBApache Arrow (内存), Parquet (磁盘/对象存储)查询引擎自研引擎自研引擎Apache DataFusion (向量化执行)主要查询语言InfluxQL (类SQL)Flux (函数式脚本复杂但灵活)SQL (标准ANSI SQL), InfluxQL (兼容),不支持 Flux数据模型Measurement, Tag, Field, TimeBucket, Measurement, Tag, Field, TimeTable, Column (强类型), Time基数限制有 (高基数易导致 OOM)有 (虽优化但仍受限于内存)无限制 (支持无限基数/高势数据)存储后端本地磁盘本地磁盘本地磁盘 或 对象存储 (S3, GCS, Azure Blob)用户界面 (UI)简单需配合 Grafana内置强大 UI (可视化/告警/任务)简化 UI (侧重管理)推荐对接外部 BI/Grafana部署模式二进制/Docker (开源版无集群)二进制/Docker (开源版无集群企业版有集群)单节点高性能 (Core), 分布式集群 (Cloud/Enterprise)扩展性弱 (主要靠垂直扩展)中 (垂直扩展为主)极强 (水平扩展PB级数据支持)生态集成Grafana (黄金搭档)内置可视化支持 Grafana完美支持 SQL 工具 (DBeaver, Tableau等), Grafana适用场景传统监控、中小规模时序数据全栈监控、需要内置可视化的场景大规模物联网、金融分析、PB级日志、云原生环境当前状态维护模式 (不再新增功能)成熟稳定 (主流使用版本)快速迭代 (未来方向Core版免费开源)可以了解到常规监控、IoT 等中小规模场景优先选择稳定成熟、生态完善的 2.x 开源版新项目、海量时序数据、高基数设备、需要标准 SQL 或低成本对象存储的云原生场景直接选用架构更先进、性能与成本优势更明显的3.x 系列7. 业务场景选型可以根据业务场景选择关系数据库MySQL或时序数据库InfluxDB等等场景类型推荐方案原因物联网设备数据上报智能家居、工业传感器InfluxDB海量时序点、超高写入吞吐、自动过期策略、高压缩比、按时间聚合极快应用 / 服务器监控CPU、内存、接口耗时、QPSInfluxDB Grafana天然时序模型支持降采样 / 连续查询与可视化生态无缝对接日志时序检索、链路追踪指标InfluxDB写入量大、按时间筛选为主、标签索引高效不适合全文检索金融行情数据股票、币价、K 线InfluxDB 3.x/ 专业时序库高基数、高并发、列式存储支持类 SQL 查询适合时序行情金融交易流水、账户余额、核心账务MySQL / PostgreSQL必须强事务 ACID、对账精确、可回滚、多表关联、数据一致性优先用户订单、支付、商品、会员、权限MySQL / PostgreSQL业务关系复杂需要事务、联表查询、复杂条件更新配置信息、字典表、元数据MySQL数据量小、结构固定、随机查询 / 修改频繁后台管理系统、ERP、CRM、CMSMySQL通用关系型业务生态完善开发与运维成本低临时测试、小规模数据、个人项目两者皆可数据量小性能差异不明显按团队技术栈选择总结为什么选择 InfluxDB场景需求传统关系型数据库 (MySQL)InfluxDB写入速度慢受限于索引更新和事务极快顺序写无事务锁存储空间大行存冗余多极小列存高压缩时间查询需建立复杂索引慢原生支持毫秒级响应数据管理需手动删除旧数据自动过期自动降采样一句话总结InfluxDB 是通过牺牲通用事务能力不支持复杂 Join 和强事务换取了时序数据领域极致的写入性能、存储效率和查询速度三、安装InfluxDBinfluxDB支持MacOS、Windows、Linux、Docker等下载安装此处使用Docker安装可以在DcokerHub上查询核实的版本此处使用InfluxDB 2.x因为本人从事物联网行业当选文章选择InfluxDB 2.x可以根据上述自行选择Influx版本官方文档 https://docs.influxdata.com/influxdb/v2.7/建议获取2.0版本以上的自带监控UI1. 拉取InfluxDB 2.x 镜像推荐拉取稳定版如 2.7.x也可使用latest获取最新版# 拉取指定稳定版 docker pull influxdb:2.7.5 # 或拉取最新版 # docker pull influxdb:latest2. 创建数据持久化目录启动时自动创建管理员账号、组织、数据桶、Token无需手动初始化单机部署时需要挂载到本地文件夹下将数据持久化到宿主机删除容器不丢数据先在 Mac 本地创建数据 / 配置目录避免权限问题mkdir -p ~/dev/influxdb2/data mkdir -p ~/dev/influxdb2/config3. 启动InfluxDB可自行替换自定义参数用户名、密码、组织、桶名相当于Mysql的数据库名docker run -d \ --name influxdb2 \ --restart always \ -p 8086:8086 \ -v ~/dev/influxdb2/data:/var/lib/influxdb2 \ -v ~/dev/influxdb2/config:/etc/influxdb2 \ -e DOCKER_INFLUXDB_INIT_MODEsetup \ -e DOCKER_INFLUXDB_INIT_USERNAMEadmin \ -e DOCKER_INFLUXDB_INIT_PASSWORDAdmin123456 \ -e DOCKER_INFLUXDB_INIT_ORGechola-org \ -e DOCKER_INFLUXDB_INIT_BUCKETechola-bucket \ -e DOCKER_INFLUXDB_INIT_RETENTION30d \ influxdb:2.7.5 #简写一行 # docker run -d --name influxdb2 --restart always -p 8086:8086 -v ~/dev/influxdb2/data:/var/lib/influxdb2 -v ~/dev/influxdb2/config:/etc/influxdb2 -e DOCKER_INFLUXDB_INIT_MODEsetup -e DOCKER_INFLUXDB_INIT_USERNAMEadmin -e DOCKER_INFLUXDB_INIT_PASSWORDAdmin123456 -e DOCKER_INFLUXDB_INIT_ORGechola-org -e DOCKER_INFLUXDB_INIT_BUCKETechola-bucket -e DOCKER_INFLUXDB_INIT_RETENTION30d influxdb:2.7.5参数说明--restart alwaysDocker 重启时自动启动容器。-p8086:8086映射宿主机 8086 端口InfluxDB 默认端口InfluxData。-v挂载宿主机目录到容器实现数据持久化。DOCKER_INFLUXDB_INIT_RETENTION30d数据保留 30 天可自定义如1w1 周、0永久海量测试数据不建议长期保留4. 验证InfluxDB运行状态# 查看运行中的容器 docker ps # 查看容器日志排查问题 docker logs influxdb2容器管理# 停止容器 docker stop influxdb2 # 启动容器 docker start influxdb2 # 重启容器 docker restart influxdb2 # 删除容器先停止 docker rm influxdb25. 访问InfluxDB Web UI打开浏览器访问http://localhost:8086使用刚才配置的账号密码访问InfluxDB进入之后就是当前界面可以进行数据导入四、总结通过以上对 InfluxDB 从概念、特点到安装实践的逐步剖析可以清晰地看到时序数据库并非要取代传统关系型数据库而是为了解决特定领域时序数据的痛点而生。InfluxDB 的核心价值一句话总结InfluxDB 通过“列式存储 专用压缩 追加写模型 标签索引”四大支柱在时序数据领域实现了写入快 10 倍、存储省 90%、查询响应从秒级降至毫秒级。