当前位置: 首页 > news >正文

分布式时序数据库TimeLyre 9.2发布:原生多模态、高性能计算、极速时序回放分析

在当今数据驱动的世界中,多模态数据已经成为企业的重要资产。随着数据规模和多样性的不断增加,企业不仅需要高效存储和处理这些数据,更需要从中提取有价值的洞察。工业领域在处理海量设备时序数据的同时,还需要联动分析警报信息、设备关系、组织信息等关系数据或图数据;金融领域除了常见的行情和订单流时序数据外,还会采用地理信息、实时新闻、气象数据等多种类型的数据辅助决策。然而,要充分挖掘和利用这些多模态数据,传统单一模型的时序数据库已显得力不从心,无法满足现代多元应用场景中企业对数据使用的复杂需求。

Transwarp TimeLyre是星环科技自主研发的企业级分布式时序数据库,具备高吞吐实时写入、时序精准查询、超高数据压缩率等特点,可以支持海量时序数据的存储、查询、分析,有效支撑能源、制造、金融领域等多种时序数据业务场景。

近日,TimeLyre正式发布V9.2版本,支持海量时序数据的同时,具备原生的多模态数据混合存储能力,能够整合和处理不同类型的数据,帮助企业实现数据的多维分析。同时提供高性能分析、热温冷数据分层存储、极速时序数据回放分析等新功能,可以有效支撑大规模时序数据湖、投研一体化平台、时序数据中台等新场景,充分满足企业对多模态数据存储分析的需求,助力企业发挥数据深层价值。

原生多模态架构,支持时序数据与关系数据模型混合存储

TimeLyreV9.2采用原生多模态架构,来自多种数据源的时序和关系数据经由统一的接口以批量或实时的方式存入统一的存储引擎中,通过统一的高性能计算引擎Quark进行读取和分析,支撑上层模型加工、批处理、在线分析、高性能读取等场景,助力企业更全面、更多维度的数据分析应用。

不同于传统方案为不同类型的数据单独部署和使用不同的数据库产品,TimeLyre以原生的多模态架构高效实现了多种数据模型的转化流转与关联分析,具有复杂度低、开发和运维成本低、数据处理效率高等优势

图片

高性能C++计算引擎,向量化计算,显著提升数据分析性能

依托于星环科技统一的多模型数据管理平台架构,TimeLyre在计算引擎中纳入了高性能C++计算引擎技术,通过使用向量化计算,充分利用了现代CPU的SIMD指令集,借助列式扫描减少了IO开销。同时采用高性能数据传输格式,实现了数据零拷贝,减少了序列化和反序列化的开销,并借助列式存储和高压缩率,减少了网络传输的数据量,便于数据更快速地接入高性能C++分析引擎。通过采用高性能分析计算引擎,可以帮助用户显著提高数据处理能力和效率,更快获取分析结果,加速决策过程,降低能耗和硬件成本,帮助用户在数据驱动的商业环境中保持领先。

热温冷数据自动分层存储,降低存储成本,优化资源配置

TimeLyre提供全新的热温冷数据分层存储方案,统一接收外部应用的数据写入和数据查询,内部按时间或指定条件将热数据、温数据和冷数据进行自动转换。对于热数据,可以实现毫秒级查询性能,提供5倍以上数据压缩率;温数据支持百毫秒查询性能,提供15倍以上压缩率;冷数据提供30倍以上数据压缩率,满足数据批量加工需求。热温冷数据的分层仅需在建表时通过DDL指定,无需后期运维,即可实现定期后台自动分层。同时支持指定数据存储在不同的存储介质上,进一步降低综合存储成本,优化资源配置。

图片

支撑分布式极速时序回放分析引擎TransMatrix,助力时序数据回放分析

TransMatrix是星环研发的分布式投研系统,用户可以将多种数据结构、多种频率(高、中、低频)的数据按照时间顺序进行回访;支持原生多模态数据源回放,可以从星环TDH中直接读取和加工数据源,除了时序和关系数据之外,还支持文本数据、图数据、图片数据等,同时允许用户借助Python开源生态对多模态数据进行加工和分析;内置丰富的时序算子库,支持自定义算子开发与共享;采用事件驱动的编程范式,提供生成式算子开发接口;提供算子拼接接口与丰富的内置表达式,支持用户自定义表达式;通过分布式任务实现多租户负载均衡、提供分布式任务配置接口,可实现任务拆分、批量运行、大规模采样等大型任务。

新场景:大规模时序数据湖引擎,助力企业应对海量时序数据

用户可以基于TimeLyre构建大规模时序数据湖,海量时序数据通过流式引擎进入数据湖内,依托TimeLyre完成ODS层、DW层、维度层数据加载与处理,通过丰富的API接口和开源生态接口支撑上层应用开发、风险识别、模型训练、实时展示、数据智能、时序分析等业务场景。以TimeLyre为核心构建时序数据湖,充分利用了产品对海量实时数据的存储与查询分析能力,实时写入性能可达每节点千万测点,实时查询性能可达每节点10000QPS。结合流、批计算引擎,满足业务对端到端秒级时效性的要求。同时支持时序数据与关系数据高效关联分析、提供完善的SQL支持与灵活可变的Schema定义,为用户提供全面、高效、灵活的数据管理分析平台。

图片

新场景:投研一体化平台技术底座,搭建分布式投研框架

面向金融投研场景,TimeLyre可以作为投研一体化平台的技术底座,助力企业搭建分布式投研框架。底层依托时序数据库TimeLyre及其内置的分布式投研计算引擎TransMatrix构建投研平台核心技术底座,通过标准数据接口、因子开发接口、策略开发接口和分布式任务开发接口对接上层业务模型,助力企业在一体化平台内实现数据泰索、因子研究、策略回测等应用开发。

图片

新场景:投研数据中台数据底座,实现多源数据分层管理

依托TimeLyre构建投研数据中台,参考标准数据分层结构,可将数据分为数据源层、基础数据层、投研标准层、业务模型层与收益报表层。在数据源层负责从数据厂商、交易所数据、用户因子数据等外部数据源同步数据,可以做到将原始的行情或因子数据以完全一致的形式同步入投研数据中台;基础数据层负责完成数据的校验、清洗与加工,生成干净的基础投研数据;投研标准层负责将这些数据统一成面向投研过程的标准表模型以及数据结构模型,为用户屏蔽掉不同来源数据在字段名、字段类型等方面的差异;业务模型层负责生成面向特定研究过程的因子与数据;收益报表层负责生成面向投研收益评价的因子与数据,可以将策略的研究结果、投研结果以报表的形式存在时序模型或关系模型中。

图片

依托TimeLyre构建投研数据中台可以对接丰富的外部数据源,实现多层次外部数据录入,支持以投研领域常见的文件形式加载数据、从主流数据库(MySQL、Oracle等)进行数据同步、通过类似SQL的API接收交易所实时行情、通过Kafka统一接受数据等多种数据接入方式。同时为了应对数据实时和批量更新的需求,提供专业的ETL工具,可以实现数据的一键重入,开启一键重入即可自动触发多层次数据加工,实现投研数据的自动更新,并通过统一的API提供给业务人员进行研究使用。

图片

赋能业务:TimeLyre助力某光伏企业打造批流一体时序数据湖方案

某光伏企业为解决数据孤岛问题,依托星环科技分布式时序数据库TimeLyre构建批流一体的时序数据湖。首先通过数采设备从数据源系统中获取原始数据,统一经由Kafka消息系统汇入数仓平台的数据接入区,并通过TimeLyre自带的流处理引擎Slipstream将数据加载到内部的贴源层,实现时序数据、关系数据等多模态数据的统一存储。数仓内部通过统一的计算引擎和SQL引擎将数据加工到不同的层次,包括标准表DWD层、中间表MID层、模型表DWS层、维度表DIM层和业务宽表ADS层等,用以支撑上层业务报告、BI报表、数据智能、实时分析对比、三维展示等应用场景。值得注意的是数仓平台以TimeLyre为核心,仅通过TimeLyre一个数据库,就实现了时序数据、关系数据从贴源层到应用层的加工、分析和查询

图片

项目基于星环大数据技术实现了光伏数据的统一接入,包括设备测点数据的实时接入以及管理数据、巡检图片、运行日志等数据的全量接入,目前已实现基地3300多台设备、近30万测点数据的秒级入库。并且方案具备水平扩展能力,未来增加硬件资源,也可顺利接入新建场站数据。

同时依托星环科技时序数据库、批处理引擎和分析库构建的光伏数据底座,可以实现各类数据的存储和数仓模型加工,通过统一的计算引擎和统一的数据接口,支撑各类可视化数据应用的构建,方便光伏实验实证分析人员利用大数据技术开展数据对比分析、设备性能查询、运行曲线查看等日常工作

此外基于星环一体化平台与数据资产管理,实现了全平台数据的统一授权、开发、治理、开放、审计,让各部门的开发人员,可以快速便利的获得所需的数据资源,并基于高性能的时序数据湖平台进行数据分析

相关文章:

分布式时序数据库TimeLyre 9.2发布:原生多模态、高性能计算、极速时序回放分析

在当今数据驱动的世界中,多模态数据已经成为企业的重要资产。随着数据规模和多样性的不断增加,企业不仅需要高效存储和处理这些数据,更需要从中提取有价值的洞察。工业领域在处理海量设备时序数据的同时,还需要联动分析警报信息、…...

PMP考试题库每日五题+答案解析

第1题(单选题)某技术开发项目正在开展,目前项目所用成本还在预算范围内,但是已经落后项目进度计划三周。项目集经理在最近的项目状态报告中了解到这一项目信息,他要求项目经理必须在计划的交付日期之前完成可交付成果。…...

机器学习用python还是R,哪个更好?

目录 1. 语言特点 1.1 Python的语言特点 1.2 R的语言特点 2. 库支持 2.1 Python的库支持 2.2 R的库支持 3. 性能 3.1 Python的性能 3.2 R的性能 4. 社区支持 4.1 Python的社区支持 4.2 R的社区支持 5. 学习曲线 5.1 Python的学习曲线 5.2 R的学习曲线 6. 实际应…...

【数据结构】mapset详解

🍁1. Set系列集合 Set接口是一种不包含重复元素的集合。它继承自Collection接口,所以可以使用Collection所拥有的方法,Set接口的实现类主要有HashSet、LinkedHashSet、TreeSet等,它们各自以不同的方式存储元素,但都遵…...

数据结构(邓俊辉)学习笔记】词典 02—— 散列函数

文章目录 1. 冲突难免2. 何为优劣3. 整除留余4. 以禅为师5. M A D6. 平方取中7. 折叠汇总8. 伪随机数9. 多项式10. Vorldmort 1. 冲突难免 好,接下来的这一节我们就来介绍散列策略中的第一项,也是最重要的技术,散列函数的设计与定制。 在上…...

Python学习(1):使用Python的Dask库实现并行计算

目录 一、Dask介绍 二、使用说明 安装 三、测试 1、单个文件中实现功能 2、运行多个可执行文件 最近在写并行计算相关部分,用到了python的Dask库。 Dask官网:Dask | Scale the Python tools you love 一、Dask介绍 Dask是一个灵活的并行和分布式…...

数据结构 - 哈希表

文章目录 前言一、哈希思想二、哈希表概念三、哈希函数1、哈希函数设计原则2、常用的哈希函数 四、哈希冲突1、什么是哈希冲突2、解决哈希冲突闭散列开散列 五、哈希表的性能分析时间复杂度分析空间复杂度分析 前言 一、哈希思想 哈希思想(Hashing)是计…...

电商选品这几点没做好,等于放弃80%的流量!

在竞争激烈的电商领域,选品是决定店铺命运的核心环节。到底是哪些关键要点能够帮助我们在选品时抢占流量高地,稳步出单呢? 一、深入了解市场需求 选品的第一步是对市场进行深入调研。要关注当前的消费趋势、热门品类以及潜在的需求缺口。通…...

【教程】最新可用!Docker国内镜像源列表

转载请注明出处:小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你,欢迎[点赞、收藏、关注]哦~ 目录 镜像加速器地址 用法示例 一、自动配置地址 二、配置单次地址 镜像加速器地址 Docker镜像加速站https://hub.uuuadc.top/docker.1panel.live…...

使用RabbitMQ在Spring Boot入门实现简单的消息的发送与接收

文章目录 要引入spring-boot-starter-amqp依赖才能开始后续操作 1. 配置RabbitMQ地址2. 编写消息发送测试类3. 实现消息接收 在本文中,我们将介绍如何在Spring Boot应用中使用RabbitMQ实现消息的发送与接收。我们将创建两个服务,一个用于发送消息&#x…...

基于物联网的水质监测系统设计与实现:React前端、Node.js后端与TCP/IP协议的云平台集成(代码示例)

一、项目概述 随着环境保护意识的增强,水质监测在水资源管理和污染防治中变得尤为重要。本项目旨在设计一个基于物联网的水质监测系统,能够实时监测水中的pH值、溶解氧、电导率和浊度等参数,并将数据传输至云端,以便进行分析和可…...

Vcpkg安装指定版本包或自定义安装包

在使用 vcpkg 安装特定版本的包或自定义包时&#xff0c;你可以按照以下步骤进行操作&#xff1a; 安装特定版本的包 列出可用的版本&#xff1a; 使用以下命令列出特定包的所有可用版本&#xff1a; vcpkg search <package-name>安装特定版本&#xff1a; 使用 vcpkg …...

【C++深度探索】红黑树实现Set与Map的封装

&#x1f525; 个人主页&#xff1a;大耳朵土土垚 &#x1f525; 所属专栏&#xff1a;C从入门至进阶 这里将会不定期更新有关C/C的内容&#xff0c;欢迎大家点赞&#xff0c;收藏&#xff0c;评论&#x1f973;&#x1f973;&#x1f389;&#x1f389;&#x1f389; 文章目录…...

终于有人把客户成功讲明白了

作者&#xff1a;沈建明 对ToB企业来说&#xff0c;只有客户成功才能带来持久增长&#xff0c;在SaaS企业下行大背景下&#xff0c;客户成功是唯一的救命稻草。大家是不是都听过这样的说法&#xff1f; ToB和SaaS企业的老客户贡献对于企业至关重要。因为获取新客户的成本是留…...

[新械专栏] 肾动脉射频消融仪及一次性使用网状肾动脉射频消融导管获批上市

近日&#xff0c;国家药品监督管理局批准了上海魅丽纬叶医疗科技有限公司“肾动脉射频消融仪”和“一次性使用网状肾动脉射频消融导管”两个创新产品注册申请。 肾动脉射频消融仪由主机、脚踏开关、主机连接线、中性电极连接线以及电源线组成。一次性使用网状肾动脉射频消融导…...

leetcode-119-杨辉三角II

原理&#xff1a; 1、初始化每行一维数组nums[1]&#xff1b; 2、从第2行开始&#xff0c;在nums的头插入0&#xff08;因为杨辉三角每行的第一个1相当于是上一行的1与其前面的0相加之和&#xff09;后进行相加操作。 代码&#xff1a;...

【第八节】python正则表达式

目录 一、python中的re模块 1.1 基本匹配和搜索 1.2 替换和分割 1.3 编译正则表达式 二、正则表达式对象 2.1 re.RegexObject 和 re.MatchObject 2.2 正则表达式修饰符 - 可选标志 2.3 正则表达式模式 2.4 正则表达式实例 一、python中的re模块 正则表达式是一种独特的…...

三大浏览器Google Chrome、Edge、Firefox内存占用对比

问题 Chrome、Edg、Firefox三家究竟谁的占用少 结论 打开一个页面内存占用 Firefox>Edge>Chrome 打开打量页面内存占用 Firefox>Chrome>Edge 从监视器可以看到Edge增加一个页面增加一个页面不到100M而其它浏览器需要150M左右;Firefox浏览器主线程内存占用800M比…...

【wiki知识库】08.添加用户登录功能--后端SpringBoot部分

目录 一、今日目标 二、SpringBoot后端实现 2.1 新增UserLoginParam 2.2 修改UserController 2.3 UserServiceImpl代码 2.4 创建用户上下文工具类 2.5 通过token校验用户&#xff08;重要&#xff09; 2.6 创建WebMvcConfig 2.7 用户权限校验拦截器 一、今日目标 上篇…...

vue中nextTick的作用

nextTick是Vue.js提供的一个非常有用的方法&#xff0c;其主要作用是在DOM更新之后执行延迟回调函数。以下是nextTick的具体作用及其实现原理的详细解析&#xff1a; nextTick的作用 确保DOM更新完成&#xff1a; 当Vue实例的数据发生变化时&#xff0c;Vue会异步地更新DOM。…...

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…...

React Native 开发环境搭建(全平台详解)

React Native 开发环境搭建&#xff08;全平台详解&#xff09; 在开始使用 React Native 开发移动应用之前&#xff0c;正确设置开发环境是至关重要的一步。本文将为你提供一份全面的指南&#xff0c;涵盖 macOS 和 Windows 平台的配置步骤&#xff0c;如何在 Android 和 iOS…...

基础测试工具使用经验

背景 vtune&#xff0c;perf, nsight system等基础测试工具&#xff0c;都是用过的&#xff0c;但是没有记录&#xff0c;都逐渐忘了。所以写这篇博客总结记录一下&#xff0c;只要以后发现新的用法&#xff0c;就记得来编辑补充一下 perf 比较基础的用法&#xff1a; 先改这…...

数据链路层的主要功能是什么

数据链路层&#xff08;OSI模型第2层&#xff09;的核心功能是在相邻网络节点&#xff08;如交换机、主机&#xff09;间提供可靠的数据帧传输服务&#xff0c;主要职责包括&#xff1a; &#x1f511; 核心功能详解&#xff1a; 帧封装与解封装 封装&#xff1a; 将网络层下发…...

ElasticSearch搜索引擎之倒排索引及其底层算法

文章目录 一、搜索引擎1、什么是搜索引擎?2、搜索引擎的分类3、常用的搜索引擎4、搜索引擎的特点二、倒排索引1、简介2、为什么倒排索引不用B+树1.创建时间长,文件大。2.其次,树深,IO次数可怕。3.索引可能会失效。4.精准度差。三. 倒排索引四、算法1、Term Index的算法2、 …...

IoT/HCIP实验-3/LiteOS操作系统内核实验(任务、内存、信号量、CMSIS..)

文章目录 概述HelloWorld 工程C/C配置编译器主配置Makefile脚本烧录器主配置运行结果程序调用栈 任务管理实验实验结果osal 系统适配层osal_task_create 其他实验实验源码内存管理实验互斥锁实验信号量实验 CMISIS接口实验还是得JlINKCMSIS 简介LiteOS->CMSIS任务间消息交互…...

python爬虫——气象数据爬取

一、导入库与全局配置 python 运行 import json import datetime import time import requests from sqlalchemy import create_engine import csv import pandas as pd作用&#xff1a; 引入数据解析、网络请求、时间处理、数据库操作等所需库。requests&#xff1a;发送 …...

CVPR2025重磅突破:AnomalyAny框架实现单样本生成逼真异常数据,破解视觉检测瓶颈!

本文介绍了一种名为AnomalyAny的创新框架&#xff0c;该方法利用Stable Diffusion的强大生成能力&#xff0c;仅需单个正常样本和文本描述&#xff0c;即可生成逼真且多样化的异常样本&#xff0c;有效解决了视觉异常检测中异常样本稀缺的难题&#xff0c;为工业质检、医疗影像…...

DeepSeek源码深度解析 × 华为仓颉语言编程精粹——从MoE架构到全场景开发生态

前言 在人工智能技术飞速发展的今天&#xff0c;深度学习与大模型技术已成为推动行业变革的核心驱动力&#xff0c;而高效、灵活的开发工具与编程语言则为技术创新提供了重要支撑。本书以两大前沿技术领域为核心&#xff0c;系统性地呈现了两部深度技术著作的精华&#xff1a;…...

Java求职者面试指南:Spring、Spring Boot、Spring MVC与MyBatis技术解析

Java求职者面试指南&#xff1a;Spring、Spring Boot、Spring MVC与MyBatis技术解析 一、第一轮基础概念问题 1. Spring框架的核心容器是什么&#xff1f;它的作用是什么&#xff1f; Spring框架的核心容器是IoC&#xff08;控制反转&#xff09;容器。它的主要作用是管理对…...