分布式时序数据库TimeLyre 9.2发布:原生多模态、高性能计算、极速时序回放分析
在当今数据驱动的世界中,多模态数据已经成为企业的重要资产。随着数据规模和多样性的不断增加,企业不仅需要高效存储和处理这些数据,更需要从中提取有价值的洞察。工业领域在处理海量设备时序数据的同时,还需要联动分析警报信息、设备关系、组织信息等关系数据或图数据;金融领域除了常见的行情和订单流时序数据外,还会采用地理信息、实时新闻、气象数据等多种类型的数据辅助决策。然而,要充分挖掘和利用这些多模态数据,传统单一模型的时序数据库已显得力不从心,无法满足现代多元应用场景中企业对数据使用的复杂需求。
Transwarp TimeLyre是星环科技自主研发的企业级分布式时序数据库,具备高吞吐实时写入、时序精准查询、超高数据压缩率等特点,可以支持海量时序数据的存储、查询、分析,有效支撑能源、制造、金融领域等多种时序数据业务场景。
近日,TimeLyre正式发布V9.2版本,支持海量时序数据的同时,具备原生的多模态数据混合存储能力,能够整合和处理不同类型的数据,帮助企业实现数据的多维分析。同时提供高性能分析、热温冷数据分层存储、极速时序数据回放分析等新功能,可以有效支撑大规模时序数据湖、投研一体化平台、时序数据中台等新场景,充分满足企业对多模态数据存储分析的需求,助力企业发挥数据深层价值。
原生多模态架构,支持时序数据与关系数据模型混合存储
TimeLyreV9.2采用原生多模态架构,来自多种数据源的时序和关系数据经由统一的接口以批量或实时的方式存入统一的存储引擎中,通过统一的高性能计算引擎Quark进行读取和分析,支撑上层模型加工、批处理、在线分析、高性能读取等场景,助力企业更全面、更多维度的数据分析应用。
不同于传统方案为不同类型的数据单独部署和使用不同的数据库产品,TimeLyre以原生的多模态架构高效实现了多种数据模型的转化流转与关联分析,具有复杂度低、开发和运维成本低、数据处理效率高等优势。
高性能C++计算引擎,向量化计算,显著提升数据分析性能
依托于星环科技统一的多模型数据管理平台架构,TimeLyre在计算引擎中纳入了高性能C++计算引擎技术,通过使用向量化计算,充分利用了现代CPU的SIMD指令集,借助列式扫描减少了IO开销。同时采用高性能数据传输格式,实现了数据零拷贝,减少了序列化和反序列化的开销,并借助列式存储和高压缩率,减少了网络传输的数据量,便于数据更快速地接入高性能C++分析引擎。通过采用高性能分析计算引擎,可以帮助用户显著提高数据处理能力和效率,更快获取分析结果,加速决策过程,降低能耗和硬件成本,帮助用户在数据驱动的商业环境中保持领先。
热温冷数据自动分层存储,降低存储成本,优化资源配置
TimeLyre提供全新的热温冷数据分层存储方案,统一接收外部应用的数据写入和数据查询,内部按时间或指定条件将热数据、温数据和冷数据进行自动转换。对于热数据,可以实现毫秒级查询性能,提供5倍以上数据压缩率;温数据支持百毫秒查询性能,提供15倍以上压缩率;冷数据提供30倍以上数据压缩率,满足数据批量加工需求。热温冷数据的分层仅需在建表时通过DDL指定,无需后期运维,即可实现定期后台自动分层。同时支持指定数据存储在不同的存储介质上,进一步降低综合存储成本,优化资源配置。
支撑分布式极速时序回放分析引擎TransMatrix,助力时序数据回放分析
TransMatrix是星环研发的分布式投研系统,用户可以将多种数据结构、多种频率(高、中、低频)的数据按照时间顺序进行回访;支持原生多模态数据源回放,可以从星环TDH中直接读取和加工数据源,除了时序和关系数据之外,还支持文本数据、图数据、图片数据等,同时允许用户借助Python开源生态对多模态数据进行加工和分析;内置丰富的时序算子库,支持自定义算子开发与共享;采用事件驱动的编程范式,提供生成式算子开发接口;提供算子拼接接口与丰富的内置表达式,支持用户自定义表达式;通过分布式任务实现多租户负载均衡、提供分布式任务配置接口,可实现任务拆分、批量运行、大规模采样等大型任务。
新场景:大规模时序数据湖引擎,助力企业应对海量时序数据
用户可以基于TimeLyre构建大规模时序数据湖,海量时序数据通过流式引擎进入数据湖内,依托TimeLyre完成ODS层、DW层、维度层数据加载与处理,通过丰富的API接口和开源生态接口支撑上层应用开发、风险识别、模型训练、实时展示、数据智能、时序分析等业务场景。以TimeLyre为核心构建时序数据湖,充分利用了产品对海量实时数据的存储与查询分析能力,实时写入性能可达每节点千万测点,实时查询性能可达每节点10000QPS。结合流、批计算引擎,满足业务对端到端秒级时效性的要求。同时支持时序数据与关系数据高效关联分析、提供完善的SQL支持与灵活可变的Schema定义,为用户提供全面、高效、灵活的数据管理分析平台。
新场景:投研一体化平台技术底座,搭建分布式投研框架
面向金融投研场景,TimeLyre可以作为投研一体化平台的技术底座,助力企业搭建分布式投研框架。底层依托时序数据库TimeLyre及其内置的分布式投研计算引擎TransMatrix构建投研平台核心技术底座,通过标准数据接口、因子开发接口、策略开发接口和分布式任务开发接口对接上层业务模型,助力企业在一体化平台内实现数据泰索、因子研究、策略回测等应用开发。
新场景:投研数据中台数据底座,实现多源数据分层管理
依托TimeLyre构建投研数据中台,参考标准数据分层结构,可将数据分为数据源层、基础数据层、投研标准层、业务模型层与收益报表层。在数据源层负责从数据厂商、交易所数据、用户因子数据等外部数据源同步数据,可以做到将原始的行情或因子数据以完全一致的形式同步入投研数据中台;基础数据层负责完成数据的校验、清洗与加工,生成干净的基础投研数据;投研标准层负责将这些数据统一成面向投研过程的标准表模型以及数据结构模型,为用户屏蔽掉不同来源数据在字段名、字段类型等方面的差异;业务模型层负责生成面向特定研究过程的因子与数据;收益报表层负责生成面向投研收益评价的因子与数据,可以将策略的研究结果、投研结果以报表的形式存在时序模型或关系模型中。
依托TimeLyre构建投研数据中台可以对接丰富的外部数据源,实现多层次外部数据录入,支持以投研领域常见的文件形式加载数据、从主流数据库(MySQL、Oracle等)进行数据同步、通过类似SQL的API接收交易所实时行情、通过Kafka统一接受数据等多种数据接入方式。同时为了应对数据实时和批量更新的需求,提供专业的ETL工具,可以实现数据的一键重入,开启一键重入即可自动触发多层次数据加工,实现投研数据的自动更新,并通过统一的API提供给业务人员进行研究使用。
赋能业务:TimeLyre助力某光伏企业打造批流一体时序数据湖方案
某光伏企业为解决数据孤岛问题,依托星环科技分布式时序数据库TimeLyre构建批流一体的时序数据湖。首先通过数采设备从数据源系统中获取原始数据,统一经由Kafka消息系统汇入数仓平台的数据接入区,并通过TimeLyre自带的流处理引擎Slipstream将数据加载到内部的贴源层,实现时序数据、关系数据等多模态数据的统一存储。数仓内部通过统一的计算引擎和SQL引擎将数据加工到不同的层次,包括标准表DWD层、中间表MID层、模型表DWS层、维度表DIM层和业务宽表ADS层等,用以支撑上层业务报告、BI报表、数据智能、实时分析对比、三维展示等应用场景。值得注意的是数仓平台以TimeLyre为核心,仅通过TimeLyre一个数据库,就实现了时序数据、关系数据从贴源层到应用层的加工、分析和查询。
项目基于星环大数据技术实现了光伏数据的统一接入,包括设备测点数据的实时接入以及管理数据、巡检图片、运行日志等数据的全量接入,目前已实现基地3300多台设备、近30万测点数据的秒级入库。并且方案具备水平扩展能力,未来增加硬件资源,也可顺利接入新建场站数据。
同时依托星环科技时序数据库、批处理引擎和分析库构建的光伏数据底座,可以实现各类数据的存储和数仓模型加工,通过统一的计算引擎和统一的数据接口,支撑各类可视化数据应用的构建,方便光伏实验实证分析人员利用大数据技术开展数据对比分析、设备性能查询、运行曲线查看等日常工作。
此外基于星环一体化平台与数据资产管理,实现了全平台数据的统一授权、开发、治理、开放、审计,让各部门的开发人员,可以快速便利的获得所需的数据资源,并基于高性能的时序数据湖平台进行数据分析。
相关文章:

分布式时序数据库TimeLyre 9.2发布:原生多模态、高性能计算、极速时序回放分析
在当今数据驱动的世界中,多模态数据已经成为企业的重要资产。随着数据规模和多样性的不断增加,企业不仅需要高效存储和处理这些数据,更需要从中提取有价值的洞察。工业领域在处理海量设备时序数据的同时,还需要联动分析警报信息、…...

PMP考试题库每日五题+答案解析
第1题(单选题)某技术开发项目正在开展,目前项目所用成本还在预算范围内,但是已经落后项目进度计划三周。项目集经理在最近的项目状态报告中了解到这一项目信息,他要求项目经理必须在计划的交付日期之前完成可交付成果。…...
机器学习用python还是R,哪个更好?
目录 1. 语言特点 1.1 Python的语言特点 1.2 R的语言特点 2. 库支持 2.1 Python的库支持 2.2 R的库支持 3. 性能 3.1 Python的性能 3.2 R的性能 4. 社区支持 4.1 Python的社区支持 4.2 R的社区支持 5. 学习曲线 5.1 Python的学习曲线 5.2 R的学习曲线 6. 实际应…...

【数据结构】mapset详解
🍁1. Set系列集合 Set接口是一种不包含重复元素的集合。它继承自Collection接口,所以可以使用Collection所拥有的方法,Set接口的实现类主要有HashSet、LinkedHashSet、TreeSet等,它们各自以不同的方式存储元素,但都遵…...

数据结构(邓俊辉)学习笔记】词典 02—— 散列函数
文章目录 1. 冲突难免2. 何为优劣3. 整除留余4. 以禅为师5. M A D6. 平方取中7. 折叠汇总8. 伪随机数9. 多项式10. Vorldmort 1. 冲突难免 好,接下来的这一节我们就来介绍散列策略中的第一项,也是最重要的技术,散列函数的设计与定制。 在上…...

Python学习(1):使用Python的Dask库实现并行计算
目录 一、Dask介绍 二、使用说明 安装 三、测试 1、单个文件中实现功能 2、运行多个可执行文件 最近在写并行计算相关部分,用到了python的Dask库。 Dask官网:Dask | Scale the Python tools you love 一、Dask介绍 Dask是一个灵活的并行和分布式…...

数据结构 - 哈希表
文章目录 前言一、哈希思想二、哈希表概念三、哈希函数1、哈希函数设计原则2、常用的哈希函数 四、哈希冲突1、什么是哈希冲突2、解决哈希冲突闭散列开散列 五、哈希表的性能分析时间复杂度分析空间复杂度分析 前言 一、哈希思想 哈希思想(Hashing)是计…...

电商选品这几点没做好,等于放弃80%的流量!
在竞争激烈的电商领域,选品是决定店铺命运的核心环节。到底是哪些关键要点能够帮助我们在选品时抢占流量高地,稳步出单呢? 一、深入了解市场需求 选品的第一步是对市场进行深入调研。要关注当前的消费趋势、热门品类以及潜在的需求缺口。通…...
【教程】最新可用!Docker国内镜像源列表
转载请注明出处:小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你,欢迎[点赞、收藏、关注]哦~ 目录 镜像加速器地址 用法示例 一、自动配置地址 二、配置单次地址 镜像加速器地址 Docker镜像加速站https://hub.uuuadc.top/docker.1panel.live…...
使用RabbitMQ在Spring Boot入门实现简单的消息的发送与接收
文章目录 要引入spring-boot-starter-amqp依赖才能开始后续操作 1. 配置RabbitMQ地址2. 编写消息发送测试类3. 实现消息接收 在本文中,我们将介绍如何在Spring Boot应用中使用RabbitMQ实现消息的发送与接收。我们将创建两个服务,一个用于发送消息&#x…...
基于物联网的水质监测系统设计与实现:React前端、Node.js后端与TCP/IP协议的云平台集成(代码示例)
一、项目概述 随着环境保护意识的增强,水质监测在水资源管理和污染防治中变得尤为重要。本项目旨在设计一个基于物联网的水质监测系统,能够实时监测水中的pH值、溶解氧、电导率和浊度等参数,并将数据传输至云端,以便进行分析和可…...
Vcpkg安装指定版本包或自定义安装包
在使用 vcpkg 安装特定版本的包或自定义包时,你可以按照以下步骤进行操作: 安装特定版本的包 列出可用的版本: 使用以下命令列出特定包的所有可用版本: vcpkg search <package-name>安装特定版本: 使用 vcpkg …...

【C++深度探索】红黑树实现Set与Map的封装
🔥 个人主页:大耳朵土土垚 🔥 所属专栏:C从入门至进阶 这里将会不定期更新有关C/C的内容,欢迎大家点赞,收藏,评论🥳🥳🎉🎉🎉 文章目录…...

终于有人把客户成功讲明白了
作者:沈建明 对ToB企业来说,只有客户成功才能带来持久增长,在SaaS企业下行大背景下,客户成功是唯一的救命稻草。大家是不是都听过这样的说法? ToB和SaaS企业的老客户贡献对于企业至关重要。因为获取新客户的成本是留…...

[新械专栏] 肾动脉射频消融仪及一次性使用网状肾动脉射频消融导管获批上市
近日,国家药品监督管理局批准了上海魅丽纬叶医疗科技有限公司“肾动脉射频消融仪”和“一次性使用网状肾动脉射频消融导管”两个创新产品注册申请。 肾动脉射频消融仪由主机、脚踏开关、主机连接线、中性电极连接线以及电源线组成。一次性使用网状肾动脉射频消融导…...

leetcode-119-杨辉三角II
原理: 1、初始化每行一维数组nums[1]; 2、从第2行开始,在nums的头插入0(因为杨辉三角每行的第一个1相当于是上一行的1与其前面的0相加之和)后进行相加操作。 代码:...

【第八节】python正则表达式
目录 一、python中的re模块 1.1 基本匹配和搜索 1.2 替换和分割 1.3 编译正则表达式 二、正则表达式对象 2.1 re.RegexObject 和 re.MatchObject 2.2 正则表达式修饰符 - 可选标志 2.3 正则表达式模式 2.4 正则表达式实例 一、python中的re模块 正则表达式是一种独特的…...

三大浏览器Google Chrome、Edge、Firefox内存占用对比
问题 Chrome、Edg、Firefox三家究竟谁的占用少 结论 打开一个页面内存占用 Firefox>Edge>Chrome 打开打量页面内存占用 Firefox>Chrome>Edge 从监视器可以看到Edge增加一个页面增加一个页面不到100M而其它浏览器需要150M左右;Firefox浏览器主线程内存占用800M比…...

【wiki知识库】08.添加用户登录功能--后端SpringBoot部分
目录 一、今日目标 二、SpringBoot后端实现 2.1 新增UserLoginParam 2.2 修改UserController 2.3 UserServiceImpl代码 2.4 创建用户上下文工具类 2.5 通过token校验用户(重要) 2.6 创建WebMvcConfig 2.7 用户权限校验拦截器 一、今日目标 上篇…...
vue中nextTick的作用
nextTick是Vue.js提供的一个非常有用的方法,其主要作用是在DOM更新之后执行延迟回调函数。以下是nextTick的具体作用及其实现原理的详细解析: nextTick的作用 确保DOM更新完成: 当Vue实例的数据发生变化时,Vue会异步地更新DOM。…...

理想汽车5月交付40856辆,同比增长16.7%
6月1日,理想汽车官方宣布,5月交付新车40856辆,同比增长16.7%。截至2025年5月31日,理想汽车历史累计交付量为1301531辆。 官方表示,理想L系列智能焕新版在5月正式发布,全系产品力有显著的提升,每…...

联邦学习带宽资源分配
带宽资源分配是指在网络中如何合理分配有限的带宽资源,以满足各个通信任务和用户的需求,尤其是在多用户共享带宽的情况下,如何确保各个设备或用户的通信需求得到高效且公平的满足。带宽是网络中的一个重要资源,通常指的是单位时间…...
Asp.net Core 通过依赖注入的方式获取用户
思路:Web项目中,需要根据当前登陆的用户,查询当前用户所属的数据、添加并标识对象等。根据请求头Authorization 中token,获取Redis中存储的用户对象。 本做法需要完成 基于StackExchange.Redis 配置,参考:…...
python打卡第48天
知识点回顾: 随机张量的生成:torch.randn函数卷积和池化的计算公式(可以不掌握,会自动计算的)pytorch的广播机制:加法和乘法的广播机制 ps:numpy运算也有类似的广播机制,基本一致 **…...
软件测试—学习Day11
今天学习下兼容性 1.App兼容性常见问题 以下是关于 App 兼容性问题的常见举例,涵盖界面展示、操作逻辑、性能差异三大维度,涉及不同系统、设备及网络环境的兼容性场景: 一、界面展示问题 界面展示兼容性问题主要由操作系统版本差异、屏幕…...

正则持续学习呀
源匹配为 (.*): (.*)$ 替换匹配为 "$1": "$2", 可将headers改为字典 参考 【爬虫军火库】如何优雅地复制请求头 - 知乎...

Orthanc:轻量级PACS服务器与DICOMweb支持的技术详解
🧑 博主简介:CSDN博客专家、CSDN平台优质创作者,高级开发工程师,数学专业,10年以上C/C++, C#, Java等多种编程语言开发经验,拥有高级工程师证书;擅长C/C++、C#等开发语言,熟悉Java常用开发技术,能熟练应用常用数据库SQL server,Oracle,mysql,postgresql等进行开发应用…...

Android设备推送traceroute命令进行网络诊断
文章目录 工作原理下载traceroute for android推送到安卓设备执行traceroutetraceroute www.baidu.com Traceroute(追踪路由) 是一个用于网络诊断的工具,主要用于追踪数据包从源主机到目标主机所经过的路由路径,以及每一跳&#x…...

6.Pandas 数据可视化图-1
第三章 数据可视化 文章目录 目录 第三章 数据可视化 文章目录 前言 一、数据可视化 二、使用步骤 1.pyplot 1.1引入库 1.2 设置汉字字体 1.3 数据准备 1.4 设置索引列 编辑 1.5 调用绘图函数 2.使用seaborn绘图 2.1 安装导入seaborn 2.2 设置背景风格 2.3 调用绘图方法 2.…...
OD 算法题 B卷【水果摊小买卖】
文章目录 水果摊小买卖 水果摊小买卖 小王手里有点闲钱,想做点水果买卖,给出两个数组m, n, m[i]表示第i个水果的成本价,n[i]表示第i个水果能卖出的价格;假如现在有本钱k,试问最后最多能赚多少钱࿱…...