8月《中国数据库行业分析报告》已发布,聚焦数据仓库、首发【全球数据仓库产业图谱】
为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况,从2022年4月起,墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》,持续传播数据技术知识、努力促进技术创新与行业生态发展,目前已更至第十六期,并发布了共计122页的2022年度分析报告。
墨天轮8月《中国数据库行业分析报告》已正式发布(点击即可跳转,欢迎大家下载查阅),本期报盘点了墨天轮“中国数据库流行度排行”、新品发布、投融资等业内资讯,以此展现当前数据库市场发展前沿动态。
本期报告重点聚焦数据仓库,详细介绍其架构演进、技术原理,并盘点总结五大技术特性与六大发展趋势,首发【全球数据仓库产业图谱】,最后精选国内外典型的数据仓库产品案例介绍其原理特性,以期带领大家更加全面、深入地掌握数仓技术相关知识点与应用实践。

一、数据库排行榜及前沿动态

本章节目录
- 8月中国数据库流行度排名分析
2023年8月的墨天轮中国数据库流行度排行榜共286个数据库参与排名,本月排行榜前十中,头部变动加剧。其中,OceanBase 连续九个月夺魁,TiDB 排名较上月上升一位至第二名,阿里云 PolarDB 连续两个月排名持续攀升本月已至第四名。


本月排行榜中一批有潜力的产品排名较上月有所上升,在第10-50名这一赛段不少数据库势不可挡冲进赛场。诸如百度自研并开源的 OLAP 数据库 Apache Doris 排名较上月上升一位至第16名;阿里云 Hologres 是8月新增参与排名的数据库,其排名直逼前二十来到第22名;星环科技打造的分布式关系型数据库 KunDB 本月排名上升3位至第28名;北京大学王选所数据管理实验室研发的面向 RDF 知识图谱的开源原生图数据库系统 gStore 本月排名上升至第31名;贝格迈思(Bigmath)自主设计研发采用C++开发的新型智能数据库 AiSQL 产品 BigInsights ,本月排名较上月迅速攀升63名,现位列第33名等。

- 数据库行业发展动态
报告整理了近期业内较受关注的投融资、新品发布等资讯。其中,2023年8月,财政部会同工业和信息化部研究起草了关于数据库、操作系统、通用服务器、杀毒软件、中间件、便携式计算机、台式计算机、一体式计算机、工作站等政府采购需求标准,数据库政府采购需求标准分别包括分布式数据库和集中式数据库两类。此外,星环科技自主研发的企业级交互式数据检索统计分析平台 Transwarp Scope 2.5版本发布,报告对其特性功能进行了解读;数据库初创公司 Neon 获得 4600 万美元融资;Oracle 宣布全面推出 MySQL HeatWave Lakehouse,使客户能够像查询数据库内的数据一样快速地查询对象存储中的数据。此处因篇幅所限仅截取部分图片,具体内容可查阅报告。



二、数据仓库概述及技术演进

本章节目录
- 数据仓库基本概述
在没有数据仓库的时代,数据分析人员需要收集、清洗、整合来自多个数据源的数据,并为每个决策支持环境做部分数据复制,过程耗时长并且准确率低。且由于系统迭代更新快,数据源通常是已经下线的旧业务系统,这为数据分析工作增添了难度。在此发展背景下,数据仓库(Data Warehouse) 应运而生。
报告第二章具体介绍了数据仓库的起源、分层架构、基本特征以及架构的演变、发展历程。数据仓库是来自一个或多个不同来源的集成数据的中央存储库,将当前和历史数据存储在一个位置,用于为整个企业的员工创建分析报告,具有面向主题、集成性、非易失性、时变性等特性。

而从1990年 Inmon 提出数据仓库概念至今,数仓的架构也经历了多次演进,已由最初的传统数仓架构——离线数仓库——离线大数据架构、Lambda 架构、Kappa 架构以及 Flink 的火热带出的流批一体架构,不断方便用户能以最自然、最小的成本完成实时计算。

此外,报告还总结了数仓从萌芽探索到全企业集成时代、企业数据集成时代、混乱时代–“数据仓库之父”间的论战、理论模型确认时代以及数据仓库产品百家争鸣时代的发展历程坐标轴,望帮助读者纵向掌握其发展脉络,具体内容可查阅报告。
- 数据仓库技术解析
报告通过架构图展示了数据仓库的核心组件:中央数据库、ETL(提取、转换、加载)工具、元数据和访问工具,并详细解析了数据仓库的五大关键技术:查询优化器、MPP架构、向量化、列式存储和数据压缩。
查询优化器的主要目标是选择最优的执行计划,以最小化查询的执行成本,从而提高查询性能;而MPP架构可以加速对来自多个源的数据进行预处理操作,以便将数据整理成适合分析的形式;向量化可以提高数据分析的效率,故被广泛应用于数据加载、转换、数据分析、复杂查询等操作中;列式存储相比行式存储压缩率更高、读写效率更快,且能处理质量更高的数据;在数据仓库中,通常采用行和列相结合的方式进行压缩,以提高存储效率。此处仅简单罗列并截图展示了部分特性,欲了解具体内容查阅报告。



数字化转型浪潮卷起各种概念席卷而来,为帮助大家梳理区分,本章最后也介绍了数据湖、湖仓一体、智能湖仓等一些与常常易与数据仓库混淆的相关术语的概念,感兴趣的朋友可以下载报告查阅。
三、数据仓库现状及未来趋势

本章节目录
报告第三章则从发展层面对数据仓库的现状、发展趋势进行了分析。目前中国数据仓库市场仍然存在厂商发展历史较短、市场规模较少、上云进程较美国相对滞后等问题。但中国企业的数字化场景更加丰富,数字化的需求也更加迫切。整体来看,中国数据仓库市场的发展潜力十分巨大,在未来较长时间内将经历快速增长。IDC预测,到2027年,中国数据仓库软件市场规模将达到27.3亿美元,2022-2027的5年市场年复合增长率(CAGR)为25.7%。

面对新技术的层出不穷,数据仓库未来会朝着实时分析、云原生Serverless、湖仓一体、HTAP、数智融合以及流式数仓等方向发展,报告对这六类发展趋势均进行了具体解读,此处因篇幅所限并未作详尽截图展示,大家可下载报告查阅。



最后,报告整理发布了【全球数据仓库产业图谱】,以开源与商业、中国与国外两个维度对全球数仓产品进行区分,望帮助大家深入掌握数仓产业发展,下载报告可查看高清版。

四、数据库产品典型案例分析
报告最后一章选取了国内外较为典型的数据仓库产品作为案例,介绍其核心架构、功能特性与应用实践等。
其中国外产品包含弹性数据仓库 Snowflake,具备完整的SQL支持和半结构化和schema-less数据模式支持,是一种多租户、事务性、安全、高度可扩展的弹性系统;数据仓库市场的奠基者 Teradata,主要适用于构建大规模数据仓库应用程序,其已于2023年正式宣布将逐步结束在中国的直接运营;谷歌的完全托管的企业数据仓库 BigQuery 可帮助用户通过机器学习、地理空间分析和商业智能等内置功能来管理和分析数据,利用云数据仓库助力数据驱动型创新。
国内产品包含面向实时分析的现代化数据仓库 Apache Doris,是一款基于 MPP 架构的高性能、实时的分析型数据库,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景;分布式逻辑数据仓库 GBase 8a,其主要市场是商业分析和商业智能市场,可应用于政府、党委、安全敏感部门、国防、统计等拥有海量业务数据的行业;华为云企业级云分布式数据仓库服务 GaussDB(DWS) 是一种基于云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的服务;最后介绍了星环研发的助力企业构建一站式实时数仓 ArgoDB 以及阿里云研发的一站式实时数据仓库引擎 Hologres。此处仅展示本章节中部分内容,大家可以下载报告获取更多内容。



本文仅对8月《中国数据库行业分析报告》的部分内容进行了摘录、整理,更多完整、详细内容大家可以下载报告全文了解,也欢迎各位数据行业同道交流、讨论、建言献策,我们一同见证、共同助力中国数据库产业的发展壮大!
报告全文下载地址:https://www.modb.pro/doc/116039
往期报告下载
- 2022年4月-2023年8月中国数据库行业分析报告合辑
- 2022年中国数据库行业年度分析报告
更多精彩内容尽在墨天轮数据社区,围绕数据人的学习成长提供一站式的全面服务,持续促进数据领域的知识传播和技术创新。添加社区墨天轮小助手(VX:modb666)可获取更多技术干货。
相关文章:
8月《中国数据库行业分析报告》已发布,聚焦数据仓库、首发【全球数据仓库产业图谱】
为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况,从2022年4月起,墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》,持续传播数据技术知识、努力促进技术创新与行业生…...
TikTok Shop|如何成为定邀卖家?
TikTok在商品售卖资质和商家资质上做了很多限制,比如我们熟知的珠宝类目,今天我们结合TikTok Shop规则中心8月30号发布的《如何申请成为“定邀”卖家》和关于“定邀”商品的政策进行分析,看看如何成为“定邀”卖家。 定邀商品/类目有哪些&am…...
C++二级题目6
数字放大 #include<iostream> #include<string.h> #include<stdio.h> #include<iomanip> #include<cmath> #include<bits/stdc.h> int a[2000][2000]; int b[2000]; char c[2000]; long long n; using namespace std; int main() {int x;…...
南方科技大学博士研究生奖助学金,深圳大学
目录 南方科技大学 中南大学 南京大学 厦门大学 苏州大学 中南财经政法大学 深圳大学 南方科技大学 https://ocean.sustech.edu.cn/ocean/public/upload/download/3/2.pdf 南方科技大学的在读研究生,每人每年都会得到40000元的补助,这40000块钱分…...
QT 使用信号与槽实现界面跳转
一、创建一个新的页面 1 > 在原有工程上新建一个页面 2 > 选择Qt - Qt 设计师界面类 - choose 3 > 选择Widget模板 - 下一步 4 > 输入自定义类名 - 下一步 会自动生成其同名的.h .cpp .ui文件 5 > 最终效果 Headers存放.h文件 Soueces存放.cpp文件 Forms存放.u…...
Burp插件HaE与Authz用法
HaE与Authz均为BurpSuite插件生态的一员,两者搭配可以避免“越权”、“未授权”两类漏洞的重复测试行为。(适用于业务繁杂,系统模块功能多的场景) 两个插件都可以在store里安装 安装完后,点击Filter Settings勾选Sho…...
element+vue table表格全部数据和已选数据联动
1.组件TableChoose <template><div class"tableChooseBox"><div class"tableRow"><div class"tableCard"><div class"tableHeadTip">全部{{ labelTitle }}</div><slot name"body" …...
vue 防抖与节流用法
一、html <template><button click"getData">获取数据</button> </template>二、JS import { throttle } from "/utils/common"; export default {methods:{getData: throttle(async function(params){console.log(”获取接口数…...
IntelliJ IDEA创建Web项目并使用Web服务器----Tomcat
🏆IntelliJ IDEA创建Web项目并使用Web服务器----Tomcat 以下是本篇文章正文内容,下面案例可供参考(提示:本篇文章属于原创,请转发或者引用时注明出处。),大家记得支持一下!ÿ…...
rk3399 linux 5.10 usb 2.0设备上电概率性注册失败
多次开关机,发现usb hub和4G都通信失败了,这就有点奇怪了,按理说usb驱动是没啥问题的 先查看usb log rootlinaro-alip:/# dmesg | grep usb [ 1.723797] usbcore: registered new interface driver usbfs [ 1.723828] usbcore: regis…...
OpenHarmony 4.0 源码编译hb 问题排查记录
OS:Ubuntu 22.04 x86_64 下载好Openharmony 4.0Beta2 的源码 $ pip3 install ohos-build $ cd openharmony-4.0b2 $ hb set Traceback (most recent call last):File "/home/loongson/.local/bin/hb", line 8, in <module>sys.exit(main())File "/home/…...
Ubuntu20 安装 带cuda的opencv遇到的问题
问题1: CUDA 12.2 fp16 dnn 编译错误 错误 C2666: operator !: 具有类似的转换重载函数 解决: CUDA 12.2 fp16 dnn compilation error Issue #23893 opencv/opencv GitHub Solution: I "solved" this by using static_cast. You want …...
【每日运维】U盘启动盘安装 ESXi 6.7.0 安装卡在 loading /bnxtroce.v00
问题描述 ● ESXi 6.7.0 安装进度卡在loading /bnxtroce.v00 进度处 处理方法 ● 重新制作启动盘,写入方式改为:【USB-ZIPv2】 ● 设置服务器的 bios设置,启动方式改为【UEFI】 ● 重启开机安装即可...
Linux的服务器日志分析及性能调优
作为网络安全和数据传输的重要环节,代理服务器在现代互联网中扮演着至关重要的角色。然而,在高负载情况下,代理服务器可能面临性能瓶颈和效率问题。本文将介绍如何利用Linux系统对代理服务器进行日志分析,并提供一些实用技巧来优化…...
java 浅谈ThreadLocal底层源码(通俗易懂)
目录 一、ThreadLocal类基本介绍 1.概述 : 2.作用及特定 : 二、ThreadLocal类源码解读 1.代码准备 : 1.1 图示 1.2 数据对象 1.3 测试类 1.4 运行测试 2.源码分析 : 2.1 set方法解读 2.2 get方法解读 一、ThreadLocal类基本介绍 1.概述 : (1) ThreadLocal,本…...
前端实习day37~day38
昨晚太累了,就没有写博客,今天一起写好了,在昨天和今天的努力下,终于把业务模型的基本版本跑通了,明天再补充一下小接口,然后再把一些异常情况判断一下,争取明天弄完,然后早点下班&a…...
题目:2635.转换数组中的每个元素
题目来源: leetcode题目,网址:2635. 转换数组中的每个元素 - 力扣(LeetCode) 解题思路: 按要求模拟即可。 解题代码: /*** param {number[]} arr* param {Function} fn* return {number[]}…...
Docker Compose具体应用
文章目录 介绍安装和配置编写docker-compose.yml文件docker-compose执行时注意事项常用命令和操作高级特性和扩展总结 介绍 Docker Compose的概述 Docker Compose是一个用于定义和运行多容器Docker应用程序的工具。它使用YAML文件来配置应用程序需要的服务、网络和卷等资源。 …...
FastAPI 参数的作用
FastAPI是一个现代化的Python web框架,其参数具有重要的作用。在FastAPI中,参数被用于接收HTTP请求中的数据及其它相关信息。 FastAPI支持的参数类型包括: 查询参数(query parameters) 查询参数是指将参数附加到URL末…...
国内免费无限制的chatgpt导航和ai画画
非常实用的AI网址导航,其实际使用体验非常便捷。该导航系统不仅提供了全面的网站分类和搜索功能,还对每个网站进行了精准的评估和排序。推荐高质量的网站资源,并实时检测网站的安全性,保障用户的上网安全。 总的来说:…...
深度学习嵌入操作优化与DAE架构实践
1. 嵌入操作与DAE架构的核心挑战在深度学习推荐系统和图神经网络中,嵌入操作(Embedding Operations)占据了超过60%的计算时间。这类操作本质上是一种特殊的稀疏-密集张量乘法(SpMM),其计算模式具有两个显著…...
ENVI 5.6 + COSI-Corr插件整合指南:搞定地表形变分析的第一步
ENVI 5.6 COSI-Corr插件整合指南:搞定地表形变分析的第一步 对于地质测绘领域的研究人员和工程师来说,地表形变监测是理解地质灾害、评估基础设施安全的重要技术手段。在众多遥感分析方法中,COSI-Corr(Co-registration of Optic…...
QT开发避坑指南:用setWindowFlags搞定自定义标题栏,别再为窗口移动发愁了
QT自定义标题栏实战:从事件重写到优雅封装的完整解决方案 当开发者决定为QT应用打造一套独特的视觉风格时,第一个拦路虎往往是系统默认标题栏的去除与自定义实现。这看似简单的需求背后,隐藏着窗口管理、事件处理、用户体验等一系列技术挑战。…...
别再手动画图表了!用这套Figma可视化组件库7.0,5分钟搞定大屏设计稿
别再手动画图表了!用这套Figma可视化组件库7.0,5分钟搞定大屏设计稿 凌晨3点的设计工作室里,咖啡杯已经空了第三轮。李然盯着屏幕上那个反复修改了7次却始终不够"科技感"的柱状图,突然意识到——设计师的时间不该浪费在…...
【2026最新】应对维普算法升级,5大降AI工具横测,一次稳降至25%(附手改秘籍)
知网和维普的AIGC检测系统又更新了! 在当下的关口,如何在不牺牲质量的前提下,优化初稿表达,安全地降低AI痕迹,成了所有小伙伴们必须解决的一个问题。网络上各种“降AI神器”铺天盖地,这些工具到底靠不靠谱…...
WinCC报表数据老丢?可能是全局动作的锅!一个标识变量搞定设备运行数据可靠存储
WinCC报表数据丢失的根源分析与高可靠存储方案 在工业自动化系统中,WinCC作为监控和数据采集(SCADA)的核心平台,其报表数据的完整性直接关系到生产运营分析和设备管理决策的准确性。许多工程师都遇到过这样的困扰:明明设备状态变化已经触发&…...
团队协作福音:如何用EasyYapi插件统一SpringBoot项目的接口文档风格?
团队协作福音:如何用EasyYapi插件统一SpringBoot项目的接口文档风格? 在微服务架构盛行的今天,一个SpringBoot项目往往由多个团队协作开发。当接口数量突破三位数时,文档风格不统一、字段说明缺失等问题会让协作效率直线下降。上周…...
实战解析:如何通过显卡频率优化解决CUDA/TensorRT推理速度骤降问题
1. 从异常现象到问题定位 最近在部署一个基于YOLOv5的工业检测系统时,遇到了一个让人头疼的问题:当系统从连续检测模式切换到条件触发模式后,原本飞快的CUDA推理速度突然下降了近5倍。更诡异的是,降低相机帧率后,推理…...
CCPD车牌数据集预处理避坑指南:透视变换原理详解与OpenCV实战
CCPD车牌数据集预处理避坑指南:透视变换原理详解与OpenCV实战 车牌识别系统中,数据预处理的质量直接影响模型性能。CCPD作为目前最全面的中文车牌数据集,其四点标注特性为透视变换提供了基础,但也暗藏诸多陷阱。本文将手把手带您穿…...
终极指南:Windows平台APK安装器如何让安卓应用无缝运行
终极指南:Windows平台APK安装器如何让安卓应用无缝运行 【免费下载链接】APK-Installer An Android Application Installer for Windows 项目地址: https://gitcode.com/GitHub_Trending/ap/APK-Installer 在Windows电脑上运行安卓应用曾经是一个技术难题&am…...
