8月《中国数据库行业分析报告》已发布,聚焦数据仓库、首发【全球数据仓库产业图谱】
为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况,从2022年4月起,墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》,持续传播数据技术知识、努力促进技术创新与行业生态发展,目前已更至第十六期,并发布了共计122页的2022年度分析报告。
墨天轮8月《中国数据库行业分析报告》已正式发布(点击即可跳转,欢迎大家下载查阅),本期报盘点了墨天轮“中国数据库流行度排行”、新品发布、投融资等业内资讯,以此展现当前数据库市场发展前沿动态。
本期报告重点聚焦数据仓库,详细介绍其架构演进、技术原理,并盘点总结五大技术特性与六大发展趋势,首发【全球数据仓库产业图谱】,最后精选国内外典型的数据仓库产品案例介绍其原理特性,以期带领大家更加全面、深入地掌握数仓技术相关知识点与应用实践。
一、数据库排行榜及前沿动态
本章节目录
- 8月中国数据库流行度排名分析
2023年8月的墨天轮中国数据库流行度排行榜共286个数据库参与排名,本月排行榜前十中,头部变动加剧。其中,OceanBase 连续九个月夺魁,TiDB 排名较上月上升一位至第二名,阿里云 PolarDB 连续两个月排名持续攀升本月已至第四名。
本月排行榜中一批有潜力的产品排名较上月有所上升,在第10-50名这一赛段不少数据库势不可挡冲进赛场。诸如百度自研并开源的 OLAP 数据库 Apache Doris 排名较上月上升一位至第16名;阿里云 Hologres 是8月新增参与排名的数据库,其排名直逼前二十来到第22名;星环科技打造的分布式关系型数据库 KunDB 本月排名上升3位至第28名;北京大学王选所数据管理实验室研发的面向 RDF 知识图谱的开源原生图数据库系统 gStore 本月排名上升至第31名;贝格迈思(Bigmath)自主设计研发采用C++开发的新型智能数据库 AiSQL 产品 BigInsights ,本月排名较上月迅速攀升63名,现位列第33名等。
- 数据库行业发展动态
报告整理了近期业内较受关注的投融资、新品发布等资讯。其中,2023年8月,财政部会同工业和信息化部研究起草了关于数据库、操作系统、通用服务器、杀毒软件、中间件、便携式计算机、台式计算机、一体式计算机、工作站等政府采购需求标准,数据库政府采购需求标准分别包括分布式数据库和集中式数据库两类。此外,星环科技自主研发的企业级交互式数据检索统计分析平台 Transwarp Scope 2.5版本发布,报告对其特性功能进行了解读;数据库初创公司 Neon 获得 4600 万美元融资;Oracle 宣布全面推出 MySQL HeatWave Lakehouse,使客户能够像查询数据库内的数据一样快速地查询对象存储中的数据。此处因篇幅所限仅截取部分图片,具体内容可查阅报告。
二、数据仓库概述及技术演进
本章节目录
- 数据仓库基本概述
在没有数据仓库的时代,数据分析人员需要收集、清洗、整合来自多个数据源的数据,并为每个决策支持环境做部分数据复制,过程耗时长并且准确率低。且由于系统迭代更新快,数据源通常是已经下线的旧业务系统,这为数据分析工作增添了难度。在此发展背景下,数据仓库(Data Warehouse) 应运而生。
报告第二章具体介绍了数据仓库的起源、分层架构、基本特征以及架构的演变、发展历程。数据仓库是来自一个或多个不同来源的集成数据的中央存储库,将当前和历史数据存储在一个位置,用于为整个企业的员工创建分析报告,具有面向主题、集成性、非易失性、时变性等特性。
而从1990年 Inmon 提出数据仓库概念至今,数仓的架构也经历了多次演进,已由最初的传统数仓架构——离线数仓库——离线大数据架构、Lambda 架构、Kappa 架构以及 Flink 的火热带出的流批一体架构,不断方便用户能以最自然、最小的成本完成实时计算。
此外,报告还总结了数仓从萌芽探索到全企业集成时代、企业数据集成时代、混乱时代–“数据仓库之父”间的论战、理论模型确认时代以及数据仓库产品百家争鸣时代的发展历程坐标轴,望帮助读者纵向掌握其发展脉络,具体内容可查阅报告。
- 数据仓库技术解析
报告通过架构图展示了数据仓库的核心组件:中央数据库、ETL(提取、转换、加载)工具、元数据和访问工具,并详细解析了数据仓库的五大关键技术:查询优化器、MPP架构、向量化、列式存储和数据压缩。
查询优化器的主要目标是选择最优的执行计划,以最小化查询的执行成本,从而提高查询性能;而MPP架构可以加速对来自多个源的数据进行预处理操作,以便将数据整理成适合分析的形式;向量化可以提高数据分析的效率,故被广泛应用于数据加载、转换、数据分析、复杂查询等操作中;列式存储相比行式存储压缩率更高、读写效率更快,且能处理质量更高的数据;在数据仓库中,通常采用行和列相结合的方式进行压缩,以提高存储效率。此处仅简单罗列并截图展示了部分特性,欲了解具体内容查阅报告。
数字化转型浪潮卷起各种概念席卷而来,为帮助大家梳理区分,本章最后也介绍了数据湖、湖仓一体、智能湖仓等一些与常常易与数据仓库混淆的相关术语的概念,感兴趣的朋友可以下载报告查阅。
三、数据仓库现状及未来趋势
本章节目录
报告第三章则从发展层面对数据仓库的现状、发展趋势进行了分析。目前中国数据仓库市场仍然存在厂商发展历史较短、市场规模较少、上云进程较美国相对滞后等问题。但中国企业的数字化场景更加丰富,数字化的需求也更加迫切。整体来看,中国数据仓库市场的发展潜力十分巨大,在未来较长时间内将经历快速增长。IDC预测,到2027年,中国数据仓库软件市场规模将达到27.3亿美元,2022-2027的5年市场年复合增长率(CAGR)为25.7%。
面对新技术的层出不穷,数据仓库未来会朝着实时分析、云原生Serverless、湖仓一体、HTAP、数智融合以及流式数仓等方向发展,报告对这六类发展趋势均进行了具体解读,此处因篇幅所限并未作详尽截图展示,大家可下载报告查阅。
最后,报告整理发布了【全球数据仓库产业图谱】,以开源与商业、中国与国外两个维度对全球数仓产品进行区分,望帮助大家深入掌握数仓产业发展,下载报告可查看高清版。
四、数据库产品典型案例分析
报告最后一章选取了国内外较为典型的数据仓库产品作为案例,介绍其核心架构、功能特性与应用实践等。
其中国外产品包含弹性数据仓库 Snowflake,具备完整的SQL支持和半结构化和schema-less数据模式支持,是一种多租户、事务性、安全、高度可扩展的弹性系统;数据仓库市场的奠基者 Teradata,主要适用于构建大规模数据仓库应用程序,其已于2023年正式宣布将逐步结束在中国的直接运营;谷歌的完全托管的企业数据仓库 BigQuery 可帮助用户通过机器学习、地理空间分析和商业智能等内置功能来管理和分析数据,利用云数据仓库助力数据驱动型创新。
国内产品包含面向实时分析的现代化数据仓库 Apache Doris,是一款基于 MPP 架构的高性能、实时的分析型数据库,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景;分布式逻辑数据仓库 GBase 8a,其主要市场是商业分析和商业智能市场,可应用于政府、党委、安全敏感部门、国防、统计等拥有海量业务数据的行业;华为云企业级云分布式数据仓库服务 GaussDB(DWS) 是一种基于云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的服务;最后介绍了星环研发的助力企业构建一站式实时数仓 ArgoDB 以及阿里云研发的一站式实时数据仓库引擎 Hologres。此处仅展示本章节中部分内容,大家可以下载报告获取更多内容。
本文仅对8月《中国数据库行业分析报告》的部分内容进行了摘录、整理,更多完整、详细内容大家可以下载报告全文了解,也欢迎各位数据行业同道交流、讨论、建言献策,我们一同见证、共同助力中国数据库产业的发展壮大!
报告全文下载地址:https://www.modb.pro/doc/116039
往期报告下载
- 2022年4月-2023年8月中国数据库行业分析报告合辑
- 2022年中国数据库行业年度分析报告
更多精彩内容尽在墨天轮数据社区,围绕数据人的学习成长提供一站式的全面服务,持续促进数据领域的知识传播和技术创新。添加社区墨天轮小助手(VX:modb666)可获取更多技术干货。
相关文章:

8月《中国数据库行业分析报告》已发布,聚焦数据仓库、首发【全球数据仓库产业图谱】
为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况,从2022年4月起,墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》,持续传播数据技术知识、努力促进技术创新与行业生…...

TikTok Shop|如何成为定邀卖家?
TikTok在商品售卖资质和商家资质上做了很多限制,比如我们熟知的珠宝类目,今天我们结合TikTok Shop规则中心8月30号发布的《如何申请成为“定邀”卖家》和关于“定邀”商品的政策进行分析,看看如何成为“定邀”卖家。 定邀商品/类目有哪些&am…...

C++二级题目6
数字放大 #include<iostream> #include<string.h> #include<stdio.h> #include<iomanip> #include<cmath> #include<bits/stdc.h> int a[2000][2000]; int b[2000]; char c[2000]; long long n; using namespace std; int main() {int x;…...

南方科技大学博士研究生奖助学金,深圳大学
目录 南方科技大学 中南大学 南京大学 厦门大学 苏州大学 中南财经政法大学 深圳大学 南方科技大学 https://ocean.sustech.edu.cn/ocean/public/upload/download/3/2.pdf 南方科技大学的在读研究生,每人每年都会得到40000元的补助,这40000块钱分…...

QT 使用信号与槽实现界面跳转
一、创建一个新的页面 1 > 在原有工程上新建一个页面 2 > 选择Qt - Qt 设计师界面类 - choose 3 > 选择Widget模板 - 下一步 4 > 输入自定义类名 - 下一步 会自动生成其同名的.h .cpp .ui文件 5 > 最终效果 Headers存放.h文件 Soueces存放.cpp文件 Forms存放.u…...

Burp插件HaE与Authz用法
HaE与Authz均为BurpSuite插件生态的一员,两者搭配可以避免“越权”、“未授权”两类漏洞的重复测试行为。(适用于业务繁杂,系统模块功能多的场景) 两个插件都可以在store里安装 安装完后,点击Filter Settings勾选Sho…...

element+vue table表格全部数据和已选数据联动
1.组件TableChoose <template><div class"tableChooseBox"><div class"tableRow"><div class"tableCard"><div class"tableHeadTip">全部{{ labelTitle }}</div><slot name"body" …...

vue 防抖与节流用法
一、html <template><button click"getData">获取数据</button> </template>二、JS import { throttle } from "/utils/common"; export default {methods:{getData: throttle(async function(params){console.log(”获取接口数…...

IntelliJ IDEA创建Web项目并使用Web服务器----Tomcat
🏆IntelliJ IDEA创建Web项目并使用Web服务器----Tomcat 以下是本篇文章正文内容,下面案例可供参考(提示:本篇文章属于原创,请转发或者引用时注明出处。),大家记得支持一下!ÿ…...

rk3399 linux 5.10 usb 2.0设备上电概率性注册失败
多次开关机,发现usb hub和4G都通信失败了,这就有点奇怪了,按理说usb驱动是没啥问题的 先查看usb log rootlinaro-alip:/# dmesg | grep usb [ 1.723797] usbcore: registered new interface driver usbfs [ 1.723828] usbcore: regis…...

OpenHarmony 4.0 源码编译hb 问题排查记录
OS:Ubuntu 22.04 x86_64 下载好Openharmony 4.0Beta2 的源码 $ pip3 install ohos-build $ cd openharmony-4.0b2 $ hb set Traceback (most recent call last):File "/home/loongson/.local/bin/hb", line 8, in <module>sys.exit(main())File "/home/…...

Ubuntu20 安装 带cuda的opencv遇到的问题
问题1: CUDA 12.2 fp16 dnn 编译错误 错误 C2666: operator !: 具有类似的转换重载函数 解决: CUDA 12.2 fp16 dnn compilation error Issue #23893 opencv/opencv GitHub Solution: I "solved" this by using static_cast. You want …...

【每日运维】U盘启动盘安装 ESXi 6.7.0 安装卡在 loading /bnxtroce.v00
问题描述 ● ESXi 6.7.0 安装进度卡在loading /bnxtroce.v00 进度处 处理方法 ● 重新制作启动盘,写入方式改为:【USB-ZIPv2】 ● 设置服务器的 bios设置,启动方式改为【UEFI】 ● 重启开机安装即可...

Linux的服务器日志分析及性能调优
作为网络安全和数据传输的重要环节,代理服务器在现代互联网中扮演着至关重要的角色。然而,在高负载情况下,代理服务器可能面临性能瓶颈和效率问题。本文将介绍如何利用Linux系统对代理服务器进行日志分析,并提供一些实用技巧来优化…...

java 浅谈ThreadLocal底层源码(通俗易懂)
目录 一、ThreadLocal类基本介绍 1.概述 : 2.作用及特定 : 二、ThreadLocal类源码解读 1.代码准备 : 1.1 图示 1.2 数据对象 1.3 测试类 1.4 运行测试 2.源码分析 : 2.1 set方法解读 2.2 get方法解读 一、ThreadLocal类基本介绍 1.概述 : (1) ThreadLocal,本…...

前端实习day37~day38
昨晚太累了,就没有写博客,今天一起写好了,在昨天和今天的努力下,终于把业务模型的基本版本跑通了,明天再补充一下小接口,然后再把一些异常情况判断一下,争取明天弄完,然后早点下班&a…...

题目:2635.转换数组中的每个元素
题目来源: leetcode题目,网址:2635. 转换数组中的每个元素 - 力扣(LeetCode) 解题思路: 按要求模拟即可。 解题代码: /*** param {number[]} arr* param {Function} fn* return {number[]}…...

Docker Compose具体应用
文章目录 介绍安装和配置编写docker-compose.yml文件docker-compose执行时注意事项常用命令和操作高级特性和扩展总结 介绍 Docker Compose的概述 Docker Compose是一个用于定义和运行多容器Docker应用程序的工具。它使用YAML文件来配置应用程序需要的服务、网络和卷等资源。 …...

FastAPI 参数的作用
FastAPI是一个现代化的Python web框架,其参数具有重要的作用。在FastAPI中,参数被用于接收HTTP请求中的数据及其它相关信息。 FastAPI支持的参数类型包括: 查询参数(query parameters) 查询参数是指将参数附加到URL末…...

国内免费无限制的chatgpt导航和ai画画
非常实用的AI网址导航,其实际使用体验非常便捷。该导航系统不仅提供了全面的网站分类和搜索功能,还对每个网站进行了精准的评估和排序。推荐高质量的网站资源,并实时检测网站的安全性,保障用户的上网安全。 总的来说:…...

【USRP】集成化仪器系列2 :示波器,基于labview实现
USRP 示波器 1、设备IP地址:默认为192.168.10.2,请勿 修改,运行阶段无法修改。 2、中心频率:当需要生成不同频率单载波的 时候请直接修改中心频率,在运行的时候您 也可以直接修改中心频率。 3、接收增益:…...

Linux map type uncache 和 write combine区别
文章目录 前言一、定义二、隐含区别总结 前言 这段时间被Map Cache Type坑了一次。 GPU的PCI bar地址map成uncache 的还是 write combine? 一、定义 uncache(uc) : map后,CPU读写不经过Cache write combine(wb): map后,CPU读写同…...

【业务功能篇93】微服务-springcloud-多线程-异步处理-异步编排-CompletableFutrue-实战运用
异步处理编排 我们可以在商品详细信息查询的位置实现CompletableFuture的异步编排处理。 根据业务分析:3.4.5数据接口的入参信息需要来源于1数据接口的返回信息,也就是skuid 所以可以设计 1 3 4 5 串行线程 ,而 3 4 5依赖1 ,需要等…...

哈希的应用——位图
文章目录 前言1. 面试题思考2. 位图2.1 位图的概念2.2 思路讲解及代码实现结构定义构造函数set和reset接口实现set和reset测试观察test接口实现test接口测试思考 3. 位图的应用习题1习题2习题3 4. 总结5. 源码5.1 bitset.h5.2 Test.c 前言 前面的文章里我们学习了哈希表&#x…...

2023开学礼《乡村振兴战略下传统村落文化旅游设计》许少辉八一新书对外经济贸易大学图书馆
2023开学礼《乡村振兴战略下传统村落文化旅游设计》许少辉八一新书对外经济贸易大学图书馆...

合并两个有序链表(每日一题)
“路虽远,行则将至” ❤️主页:小赛毛 ☕今日份刷题:合并两个有序链表 题目描述: 将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例1: 输入:l1 …...

React Hooks总览
总览 hooks 功能分类具体 hooks具体功能React v18新特性跨端支持数据更新驱动useState定义要在页面中渲染的数据❌✔useReducer定义要在页面中渲染的数据,且这个数据有多种处理逻辑❌✔useSyncExternalStoreconcurrent 模式下,订阅外部 store 的行为&am…...

风向变了!智能汽车何以「降本」
随着软件定义汽车的概念逐步落地,以及底盘、动力、座舱、智驾、车身等不同域(分布式或者混合式)的功能更新迭代和融合,汽车行业正在意识到:底层硬件架构重构的迫切性。 事实上,早在2016年,作为传…...

后端面试话术集锦第 十五 篇:java线程面试话术
这是后端面试集锦第十五篇博文——java线程面试话术❗❗❗ 1. 创建线程的方式 首先呢,Thread类本质上是实现了Runnable接口,代表一个线程的实例。 所以,我们可以编写一个类,继承Thread类,或者直接实现Runnable接口。然后,再重写下~run方法就行了。启动线程的方式就是调…...

cocos creator配置终端调试
在launch.json里添加"preLaunchTask":“CocosCreator compile” 在cocos creator里选择开发者,visual studio code工作流,选择添加编译任务。 添加 settings.json {"files.exclude":{"**/.git": true,"**/.DS_Sto…...