当前位置: 首页 > news >正文

时序数据库是什么:概念、特点与分类简析

1f0161ffd33d762413483636d6f8b7b7.jpeg

时序数据与时序数据库的“保姆级”科普!

作为将数据价值转化为产能能效的“核心大脑”,数据库的发展依然处于加速期,面向不同数据类型的数据库类型也在不断增加。

在众多细分领域数据库类型中,伴随制造业数字化转型的行业趋势和多项政策推动,赋能智慧工业管理的时序数据库愈发受到关注。

对于数据库的概念大家应该并不陌生,但是‘时序’是什么?时序数据库有哪些特点,基本架构是什么,市面上又有哪些产品类型?

本文将一一为你解答上述问题。

01 什么是时序数据

时序数据库顾名思义,是“管理时序数据的数据库”,所以在了解时序数据库之前,首先需要了解什么是时序数据。

时序数据是按时间维度,记录系统、设备状态变化的数据类型。它的基本结构特点就是数据中自带数据产生的时间,也就是数据带有时间戳。在网络良好的情况下,时序数据是以时间顺序上报的。

87602bc135f8f2b31bfaf39969ac32ca.png

时序数据举例

物联网、工业物联网、金融、医疗等领域各种类型的设备和传感器网络都会产生海量的时序数据,时序数据的应用场景主要分为两个目的:

  • 降本:面向生产设备进行状态监控、实时告警、故障预测,降低系统运维成本与故障风险。

  • 增效:面向工艺步骤、生产流程展开深入分析,加快工艺改进,提高生产效率。

因此,时序数据为企业提供的新的利润增长点是非常可观的

以风机运行场景为例,测风仪可能随着环境因素(震动,腐蚀等)出现偏差,主控系统依据错误风向数据偏航导致迎风角错误,将会导致风机发电效率衰减,影响产能。

此时如果实现了对风机时序数据的全量存储与充分分析,及时判断是否需要对测风仪误差进行补偿,每台风机每年即可多发电数万元,每年可能为业主带来上亿元经济收益。

可以说,数字化的基础是对联网设备进行状态检测,而产生的时序数据就是机器设备的“心电图”

02 时序数据库的特点

时序数据库是一种专门用于存储、管理和处理时序数据的数据库管理系统。因为时序数据一般存在采样频次高、实时性强、数据量大等显著特点,导致写入要求高、存储代价大、处理难度高,一旦时序数据体量增加,单靠传统数据库可能力不从心。

而时序数据库在管理时序数据方面就存在很多性能优势,主要包括:

  • 高吞吐写入能力:时序数据往往体量庞大,并可能存在高频数据上报。时序数据库通过优化数据结构和存储机制,可以在高并发的情况下保持高效的写入性能。

  • 高压缩存储能力:使用传统方法的情况下,海量时序数据的存储往往占用空间大、存储成本高。而时序数据库可以通过时序数据处理的相关技术,来大幅减少存储空间。

  • 低延迟查询能力:时序数据时间属性强,时序数据库能够支持用户用更简单的代码逻辑,实时进行基于时间范围的多类查询,方便灵活地获取所需结果。

  • 支持多维数据分析和数据可视化:管理时序数据的目的是监控设备状态、优化生产流程。时序数据库通过工具/组件,支持数据大屏、报表等多形式的可视化成果,实现数据实时监控,并结合机器学习等前沿技术,进一步完成数据结果的深入分析。

  • 高可扩展性:工业场景中伴随业务发展,设备数量往往将不断增加。时序数据库底层架构易于扩展建模,以管理更多设备数据。

  • 灵活、安全的数据传输:工业场景中,设备一般在多个场站持续上报时序数据,在场站初步处理后,往往需要汇总至中心/集团侧进行进一步分析。同时,生产网、办公网可能相互隔离并搭建单向网闸,因此,支持灵活、简便、安全的数据同步方案对于时序数据库至关重要。

03 时序数据库中的基本概念

讲完时序数据库的整体侧重点,下面以时序数据库 IoTDB 为例,为大家介绍几个时序数据库数据模型的基本概念:

  • 设备/实体(Device/Entity):实际场景中拥有物理量的设备或装置,可以是一个物理设备、测量装置、传感器集合等。

  • 时间戳(Timestamp):代表数据点到来的时间。

  • 物理量/测点/字段(Measurement/Meter/Field):实际场景中设备所记录的测量维度,例如传感器上报的温度、湿度等,记录随时间戳而变化的数据。

  • 数据点(Data Point): 一个“时间戳-值”对,也就是一个时间点,一个设备上报的一个数据值,或重新二次计算的一个数据值,称为一个数据点。

可以看到,设备/实体上报的时序数据涵盖实时时间戳、多个物理量和不断变化的数据点,而多个时序数据可被高效管理于时序数据库中。

不同的时序数据库也可能根据自己的数据模型衍生出其他概念。比如 IoTDB 采用了树形模型,按照物联网实际管理层级(集团层-厂站层-实体层-物理量层)组织数据,以从根节点 ROOT 到物理量叶子节点的路径(Path)来命名一个时间序列,如 root.ln.wf01.wt01.status。IoTDB 也支持用户将任意前缀路径,比如 root.ln 设置成数据库(Database),方便数据的物理隔离。

e7ccff1b9bc996a69a87d7f023aff04e.png

IoTDB 树形模型

04 时序数据库的类型与产品

从 1999 年出现 RRDtool(Round Robin Database Tool)提出了专门面向时序数据存储、处理的方法开始,时序数据库发展至今已超过 20 年。

在没有专门管理时序数据的数据库之前,人们通常使用关系型数据库管理时序数据,因此部分时序数据库的架构是基于关系型数据库进行优化的。

还有一类基于 KV (key-value)存储的时序数据库,通过扩展 NoSQL 数据库实现时序数据存储,并使用分布式文件系统保障其扩展性。

随着大数据时代到来,2010 年之后,时序数据爆发式增长,时序数据库的发展走上了“快车道”。为了适应更多的场景,实现更好的性能,面向时序数据存储全新研发的原生时序数据库也越来越多。

目前,市场上已有多种时序数据库产品,对应上述的不同架构类型,典型代表列举如下:

  • TimescaleDB:TimescaleDB 基于 PostgreSQL 的时序数据库扩展,兼具关系型数据库和时序数据库的特点。通过在 PostgreSQL 的查询计划器、数据模型和执行引擎添加钩子,TimescaleDB 可以构建高度定制化的扩展层,并可以利用 PostgreSQL 丰富的第三方工具。

  • OpenTSDB:OpenTSDB 是一款基于 HBase 的分布式时序数据库,采用键值对的数据模型,运用针对写入密集的工作负载优化的 LSM-tree 结构,OpenTSDB 能够应对时序数据高通量写入的应用场景,并能保障扩展性。

  • InfluxDB:InfluxDB 在其类似 LSM-tree 的 TSM-tree 结构中,引入了 series-key 的概念,根据时间特征对数据进行分类,从而减少冗余存储,提高数据压缩率,并支持设置标签(Tag)和字段(Field),方便用户进行多维度查询。

  • IoTDB:IoTDB 是一款国产全自研、低成本、高可用的时序数据库产品。以自研的时序数据标准文件格式 Apache TsFile 为基底,合并乱序数据处理、时序大模型、端边云同步方案等多项技术,保障时序数据库的高吞吐、高压缩、低延迟查询性能,并提供丰富的数据分析功能与低流量、高安全性的数据同步功能。同时,IoTDB 实现了单机版、分布式版、边缘版等多类形态部署,数据模型具有高扩展性,能够有效满足企业在多种计算资源条件下、多种终端配置下,构建物联网时序数据管理解决方案的需要。

05 总结

作为全面数字化、服务转型升级的基础,时序数据管理对于工业、金融等领域至关重要。由于时序数据的特性与管理难点,时序数据库成为了构建智能化、一体化时序数据解决方案的重要一环。

随着物联网、云计算、大数据等技术的发展,时序数据库在未来将迎来更多的发展机会和挑战。在实时数据处理、智能分析、跨平台兼容性、数据安全性等方面,时序数据库还在持续创新。

之前的文字中,我们对于时序数据库的发展过程选型指标分类对比都进行了详细梳理,并归纳了时序数据库 IoTDB 的主要功能,欢迎各位扩展阅读并和我们讨论!

规上企业应用实例

能源电力:中核武汉|国网信通产业集团|华润电力|大唐先一|上海电气国轩|清安储能|某储能厂商|太极股份

航天航空:中航机载共性|北邮一号卫星

钢铁冶炼:宝武钢铁|中冶赛迪

交通运输:中车四方|长安汽车|城建智控|德国铁路

智慧工厂与物联:PCB 龙头企业|博世力士乐|德国宝马|京东|昆仑数据|怡养科技|绍兴安瑞思

ee331b0e01da95f89d49c140c764ffc8.gif

60af234d0d1874585d46691f3225bdac.jpeg

acf5da03f0333debdc829026be94abff.jpeg

1f2c5b056bdcf3d8f87dc0cffaf8a5aa.jpeg

相关文章:

时序数据库是什么:概念、特点与分类简析

时序数据与时序数据库的“保姆级”科普! 作为将数据价值转化为产能能效的“核心大脑”,数据库的发展依然处于加速期,面向不同数据类型的数据库类型也在不断增加。 在众多细分领域数据库类型中,伴随制造业数字化转型的行业趋势和多…...

大数据上岗.入职.就业面试题

1.海量日志数据,提取出某日访问阿里次数最多的那个IP   首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到ip是32位的,最多有个2^32个ip。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,在找出每个小文件中出现频率…...

2016年7月和8月NASA的气候成像(ATom)-1飞行活动期间测量的黑碳(BC)质量混合比(单位为ng BC / kg空气)

目录 简介 摘要 代码 引用 网址推荐 知识星球 机器学习 简介 ATom: Black Carbon Mass Mixing Ratios from ATom-1 Flights 该数据集提供了在2016年7月和8月NASA的气候成像(ATom)-1飞行活动期间测量的黑碳(BC)质量混合比&…...

python opencv3

三、图像预处理2 1、图像滤波 为图像滤波通过滤波器得到另一个图像。也就是加深图像之间的间隙,增强视觉效果;也可以模糊化间隙,造成图像的噪点被抹平。 2、卷积核 在深度学习中,卷积核越大,看到的信息越多&#xff0…...

git原理与上传

言: git是一个软件,gitee/github是一个网站,这里有什么联系吗?我们身为一个程序员不可能不知道github,但是毕竟这是外国的网站,我们不翻墙的情况下,是无法访问的(或者就是太慢了,或…...

LeetCode:633. 平方数之和(Java)

633. 平方数之和 题目描述: 给定一个非负整数 c ,你要判断是否存在两个整数 a 和 b,使得 a2 b2 c 。 示例 1: 输入:c 5 输出:true 解释:1 * 1 2 * 2 5示例 2: 输入&#xf…...

linux查看端口状态的命令合集

linux查看端口状态的命令合集 直接使用 netstat 命令 如果你不需要超级用户权限,可以直接运行 netstat 命令: netstat -tuln 使用 ss 命令 ss 是一个更现代的工具,通常不需要超级用户权限就能查看端口信息。你可以尝试使用 ss 命令&#xff…...

幼儿园篮球游戏

题目描述: 幼儿园里有一个放倒的圆桶,它是一个 线性结构,允许在桶的右边将篮球放入,可以在桶的左边和右边将篮球取出。每个篮球有单独的编号,老师可以连续放入一个或多个篮球,小朋友可以在桶左边或右边将篮…...

Android编译环境构建(二)(可用于物理机、虚拟机、容器化Jenkins环境)

文章目录 需求环境要求文件下载Gradle Version:7.5cmdline-tools至此普通物理环境的Android编译环境已部署完毕 部署maven(可选)Jenkins配置Android构建环境 说明: 物理环境:物理机、虚拟机等 容器化环境:docker等 需求 Gradle Version:7.5 …...

Web服务器(实验)

目录 nginx实验1(快速建站)实验2(更换默认网页目录)实验3(内网穿透花生壳)实验4(综合nginx)实验5(基于不同IP的虚拟主机网站)实验6(基于不同端口号…...

【湖南-常德】《市级信息化建设项目初步设计方案编制规范和支出预算编制标准(试行)》-省市费用标准解读系列05

《市级信息化建设项目初步设计方案编制规范和支出预算编制标准(试行)》(常行审 〔2023〕7号)标准是湖南省常德市行政审批服务局、常德市财政局2023年12月29日发布的费用标准(了解更多可直接关注我们咨询)。…...

微信小程序 https://pcapi-xiaotuxian-front-devtest.itheima.net 不在以下 request 合法域名

微信小程序在调用接口的时候出现以上报错,接口没有问题,是因为小程序自动校验了合法域名 打开本地设置: 勾选不校验合法域名,即可 效果如下:...

vue什么时候渲染旧的VDOM,什么时候渲染新的VDOM

在 Vue 中,决定渲染旧的 VDOM 还是新的 VDOM 的关键在于组件的数据变化和 Vue 的响应式系统。一些常见的情况可以帮助理解这个过程: 1. 渲染新 VDOM 的情况 数据变化:当组件的响应式数据(如 data、props 或计算属性)发…...

【Qwen2技术报告分析】从模型架构 数据构建和模型评估出发

目录 前言 一、Tokenizer 二、模型结构 dense模型 MoE模型 模型参数设置 三、Pre-Training Pre-Training DATA LONG-CONTEXT TRAINING 四、Post-Training Post-Training DATA 人工数据注释(collaborative data annotation) 自动数据合成&a…...

Naive UI 选择器 Select 的:render-option怎么使用(Vue3 + TS)(鼠标悬停该条数据的时候展示全部内容)

项目场景&#xff1a; 在渲染select选择器后&#xff0c;当文字过长的时候&#xff0c;多出来的部分会显示成省略号&#xff0c;这使我们不能很清晰的看到该条数据的完整信息&#xff0c;就需要加一个鼠标悬停展示完整内容。 解决方案&#xff1a; vue代码&#xff1a; <n…...

使用Mac如何才能提高OCR与翻译的效率

OCR与截图大家都不陌生&#xff0c;或许有的朋友对于这两项功能用到的不多&#xff0c;但是如果经常会用到的话&#xff0c;那你就该看看了 iOCR&#xff0c;快捷键唤出翻译窗口&#xff0c;不论是截图翻译、划词翻译、输入翻译、剪切板翻译&#xff0c;统统快捷键完成&#x…...

QML----复制指定下标的ListModel数据

我现在有一个写好的listmodel,我需要从里边抽取35个数据作为展示 头文件 #ifndef GETONEPAGESIZEMEMBERLISTMODEL_H #define GETONEPAGESIZEMEMBERLISTMODEL_H#include <QObject> #include <QAbstractListModel> #include <QDebug> #include "mylistm…...

CSS Text(文本)

CSS Text(文本) CSS Text 是一种用于控制网页中文本显示样式的技术。通过使用 CSS Text 属性,开发者可以轻松地调整文本的字体、大小、颜色、对齐方式等,从而实现更加美观和个性化的网页设计。本文将详细介绍 CSS Text 的各种属性及其应用方法。 一、字体属性 1. font-fam…...

聊一聊Spring中的@Transactional注解【下】【注解失效场景】

前言 尽管 Transactional 注解在 Spring 中提供了方便的事务管理功能&#xff0c;我们在使用过程中却常常面临其失效的问题。事务失效可能导致意想不到的数据状态和错误&#xff0c;影响应用的稳定性和可靠性。本文将探讨一些常见的 Transactional 失效场景&#xff0c;包括异常…...

对称加密与非堆成加密

http通信有一些什么问题 窃听 - 对称加密传递密钥 - 非对称加密安全速度 - 非对称加密 对称加密中间人攻击 - 证书证书伪造 - 消息摘要摘要伪造 - 数字签名 可能被窃听 http本身不具备加密功能&#xff0c;http报文使用明文方式发送 还可能存在验证问题 无法确认发送到的…...

Vue 组态化管道流动效果:从零构建现代化流体模拟系统

1. 为什么需要管道流动模拟系统 在工业自动化和教学演示领域&#xff0c;可视化管道系统是一个常见需求。想象一下化工厂的液体输送管道、城市供水系统或者实验室的流体实验装置&#xff0c;这些场景都需要直观展示流体在管道中的流动状态。传统做法是使用静态图片或简单动画&a…...

Qwen-Edit-2509多角度切换技术:如何用单张图片生成全视角内容?

Qwen-Edit-2509多角度切换技术&#xff1a;如何用单张图片生成全视角内容&#xff1f; 【免费下载链接】Qwen-Edit-2509-Multiple-angles 项目地址: https://ai.gitcode.com/hf_mirrors/dx8152/Qwen-Edit-2509-Multiple-angles 在视觉创作领域&#xff0c;你是否曾为拍…...

探索GetQzonehistory:永久保存QQ空间记忆的数字时光机

探索GetQzonehistory&#xff1a;永久保存QQ空间记忆的数字时光机 【免费下载链接】GetQzonehistory 获取QQ空间发布的历史说说 项目地址: https://gitcode.com/GitHub_Trending/ge/GetQzonehistory 在数字时代&#xff0c;我们的记忆分散在各个社交平台&#xff0c;而Q…...

Java八股文实践篇:从理论到DeOldify项目中的设计模式应用

Java八股文实践篇&#xff1a;从理论到DeOldify项目中的设计模式应用 每次面试被问到设计模式&#xff0c;是不是都只能背出“单例模式确保一个类只有一个实例”这样的标准答案&#xff1f;背得滚瓜烂熟&#xff0c;但一上手写代码&#xff0c;还是觉得这些模式离自己很远&…...

为什么你的Polars 2.0清洗脚本在1TB数据下突然卡死?——Lazy Execution陷阱、Chunking边界与并发泄漏三重真相

第一章&#xff1a;为什么你的Polars 2.0清洗脚本在1TB数据下突然卡死&#xff1f;——Lazy Execution陷阱、Chunking边界与并发泄漏三重真相Lazy Execution的隐式延迟引爆内存雪崩 Polars 2.0 默认启用 LazyFrame 模式&#xff0c;所有操作仅构建执行计划&#xff0c;直到调用…...

Gitee:数字化转型浪潮中企业项目管理的战略级解决方案

在数字经济成为全球经济增长新引擎的背景下&#xff0c;企业数字化转型已从"选择题"变为"必答题"。项目管理工具作为数字化转型的基础设施&#xff0c;其重要性日益凸显。根据IDC最新预测&#xff0c;到2025年&#xff0c;中国数字经济规模将突破80万亿元&…...

YOLO12快速部署指南:Gradio界面已配好,启动就能用

YOLO12快速部署指南&#xff1a;Gradio界面已配好&#xff0c;启动就能用 1. 为什么选择YOLO12镜像 YOLO12作为2025年最新发布的目标检测模型&#xff0c;带来了革命性的注意力为中心架构。这个预配置好的镜像让您无需任何复杂操作&#xff0c;就能立即体验最先进的目标检测技…...

保姆级教程:在Ubuntu 24.04上用QEMU桥接网络,让虚拟机秒连外网

在Ubuntu 24.04上实现QEMU虚拟机与宿主机网络互通的终极指南 对于需要在本地环境测试国产操作系统或运行隔离开发环境的开发者来说&#xff0c;QEMU虚拟化方案因其轻量高效而备受青睐。但让虚拟机与宿主机网络互通往往成为新手的第一道门槛。本文将彻底解决这个问题——通过桥接…...

动态间隙精准诊断:NHJX-13 型底盘间隙仪机动车底盘安全检测全方案

动态间隙精准诊断&#xff1a;NHJX-13 型底盘间隙仪机动车底盘安全检测全方案在机动车安全环保检测体系中&#xff0c;底盘间隙仪是诊断车辆转向机构、悬挂系统、传动部件间隙状况的核心设备&#xff0c;尤其对大中型客车、重中型货车等营运车辆&#xff0c;其性能直接决定底盘…...

ConvNeXt 改进 :ConvNeXt添加可变形卷积(DCNv2,CVPR 2018),实现高效涨点,二次创新CNBlock结构 ,独家首发

本文教的是方法,也给出几种改进方法,二次创新结构,百变不离其宗,一文带你改进自己模型,科研路上少走弯路。 前言 DCNv2对原始的DCNv1进行了改进,可变形卷积网络的卓越性能源于其适应对象几何变化的能力。通过对其自适应行为的检查,虽然对其神经特征的空间支持比常规的Co…...