当前位置： 首页 > news >正文

数仓选型对比

news 2025/9/14 16:03:01

1、数仓选型对比如下(先列举表格，后续逐个介绍)

数仓应用目标产品特点适用于 适用数据类型数据处理速度性能拓展 实施难度运维难度性能优化成本
传统数仓

(SQLServer、Oracle

等关系型数据库)		面向主题设计的，为
分析数据而设计		基于Oracle、
SQLServer、MySQL
等关系型数据		在复杂关联、汇总、
  事务处理方面能力
强，适合数据量小、
高可靠、数据价值密
度高的应用		多适用于结构化数据利用处理过程的中间
表，分析查询速度可
比原有速度提高3~5倍		单表上亿，性能断崖
式下跌，拓展性能差		难度普通，
技术比较成熟		相对简单优化的大致原理有2个：
一是数据分块存储，便
于数据的存储和管理；
二是中间处理，提高数
据提供的速度。		软件费用+实施费用，
成本较低
MPP数仓

(以GreenPlum为例)		在传统数仓之上搭建
并行数据库系统。充
  分发挥计算机的优
势，提高数据库系统

的整体性能		MPP架构、TB级处
理，支持大量运算；
关系型数据库		适合结构化数据的深
度分析、复杂查询以
及多变的自助分析类
  应用、数据集市等		关系数据方面有优
势，比较适合比如电
信、银行这类数据主
要以结构化存储的企

业或组织		相比传统数仓，速度
为几倍至几十倍		性能可随着硬件的扩
容呈线性增加，拥有
非常好的可扩展性，
扩展上限为几百		难度中等，
较成熟		中等技术角度：模型优化、
查询执行计划。业务角
度：全量刷新改增量刷
新，减少计算量；充分
利用已计算的指标		每2~3TB一个节点，
硬件配置不用太高，
GP产品免费，但实
施优化单价较高，成
本中等
Hadoop数仓分布式数据库系统主
要目的在于实现场地
自治和数据的全局透
明共享，而不要求利
用网络中的各个节点
来提高系统处理性能		Hadoop架构、
HDFS、MR和
Hive,支持海量运
算；非关系型数据
库；TB或更大数据
量，并发多的场景		适合海量数据存储查
询、批量数据ETL、
非结构化数据分析等		可以基于Hadoop

开发处理结构或非结
构化数据的应用，适
用于互联网领域		相比传统Oracle数
仓，速度为几倍至几
十倍(瓶颈阈值高于
MPP数仓)		  支持量高的动态扩
容，扩展上限为几千		实施难度高，
要求较高		较难Hadoop性能调优不
仅涉及Hadoop本身
的性能调优，还涉及更
底层的硬件、操作系统
  和Java虚拟机等系统
的调优		需要大量的节点支
持，实施人员需要专
业对口，同时需要对
应的非通用sql支
持，成本较高

相关文章：

数仓选型对比

1、数仓选型对比如下(先列举表格，后续逐个介绍) 数仓应用目标产品特点适用于 适用数据类型数据处理速度性能拓展 实施难度运维难度性能优化成本传统数仓(SQLServer、Oracle等关系型数据库)面向主题设计的，为 分析数据而设计基于Oracle、 SQLServer、MyS…...

编程日记 2023/5/31 13:42:05

二叉树的遍历（前序、中序、后序）Java详解与代码实现

递归遍历 前序，中序，后序 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNode(int val, Tree…...

编程日记 2023/5/31 19:03:04

如何找出消耗CPU最多的线程？

如何找出消耗CPU最多的线程？ 1.使用 top -c 找出所有当前进程的运行列表 top -c 2.按P(Shiftp)对所有进程按CPU使用率进行排序，找出消耗最高的线程PID ​​​ 显示Java进程 PID 为 136 的java进程消耗最 3.使用 top -Hp PID，查出里面消…...

编程日记 2023/5/31 11:28:49

【论文笔记】Attention Augmented Convolutional Networks(ICCV 2019 入选文章)

目录 一、摘要 二、介绍 三、相关工作 卷积网络Convolutional networks： 网络中注意力机制Attention mechanisms in networks： 四、方法 1. 图像的自注意力Self-attention over images： 二维位置嵌入Two-dimensional Positional Enco…...

编程日记 2023/5/31 14:24:20

虚幻图文笔记：Character Creator 4角色通过AutoSetup For Unreal Engine插件导入UE5.1的过程笔记

在UE5端安装AutoSetup For Unreal Engine插件 AutoSetup For Unreal Engine是Reallusion官方提供的免费插件，官方下载地址，下载到的是一个可执行文件，点击安装，记住安装的位置⬇ 看装完毕后会打开一个文件夹，这里就是对…...

编程日记 2023/5/31 12:15:09

JAVAWeb04-DOM

1. DOM 1.1 概述 1.1.1 官方文档 地址: https://www.w3school.com.cn/js/js_htmldom.asp 1.1.2 DOM 介绍 DOM 全称是 Document Object Model 文档对象模型就是把文档中的标签，属性，文本，转换成为对象来管理 1.2 HTML DOM（文档…...

编程日记 2023/5/31 12:26:16

C++内存管理基础知识

C 内存管理 C内存管理是一个重要的主题，因为它涉及到程序运行时资源的分配和释放。它可以分为三种类型：静态内存、栈内存和堆内存。 静态内存 静态内存（Static Memory）：静态内存用于存储全局变量、静态变量和常量。这…...

编程日记 2023/5/31 12:37:22

命令执行漏洞概述

命令执行漏洞概述 命令执行定义命令执行条件命令执行成因命令执行漏洞带来的危害远程命令执行漏洞相关函数assert()preg_replace()call_user_func() a ( a( a(b)可变函数远程命令执行漏洞的利用系统命令执行漏洞相关函数system()exec()shell_exec()passthru（&#x…...

编程日记 2023/5/31 12:54:08

【初试复试第一】脱产在家二战上岸——上交819考研经验

笔者来自通信考研小马哥23上交819全程班学员 先介绍一下自己，我今年初试426并列第一，加上复试之后总分600，电子系第一。 我本科上交，本科期间虽然没有挂科但是成绩排名处于中下游水平。参加过全国电子设计大赛，虽然拿…...

编程日记 2023/5/31 13:00:21

PTA：C课程设计（7）

山东大学（威海）2022级大一下C习题集（7） 函数题7-6-1 递增的整数序列链表的插入7-6-2 查找学生链表7-6-3 统计专业人数7-6-4 建立学生信息链表 编程题7-7-1 查找书籍7-7-2 找出总分最高的学生 函数题 7-6-1 递增的整数序列链表的插…...

编程日记 2023/5/31 10:42:34

POSTGRESQL LINUX 与 PG有关的内存参释义

开头还是介绍一下群，如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，在新加的朋友会分到2群（共…...

编程日记 2023/5/31 13:30:31

Docker的常见命令

前言:使用Docker得学会的几个常见命令 常见命令前置学习: docker --help这个命令必须得会因为,很多命令是记不住的,得使用他们的官方help下面是一些实例 docker load --help常见命令集合: 一: docker images #查看全部镜像 docker rmi #删除某个镜像(例如:docker rmi redis…...

编程日记 2023/5/31 14:10:24

详细介绍性能测试的方法（含文档）

性能测试是软件测试中的一个重要环节，其目的是评估系统在不同负荷下的性能表现，包括响应时间、吞吐量、并发数等指标。通常可以通过以下几种方法进行性能测试： 1、负载测试 负载测试是模拟多用户同时访问系统，测试系统在高并发、…...

编程日记 2023/5/31 13:58:06

深入剖析 Qt QHash ：原理、应用与技巧

目录标题 引言QHash 基础用法基础用法示例基础用法综合示例 QHash 的高级用法迭代器：遍历 QHash 中的元素（Iterators: Traversing Elements in QHash ）QHash和其他容器的对比QHash 和 std::unordered\_map QHash的底层原理和内存管理QHash 的…...

编程日记 2023/5/31 14:05:44

技术分享 | MySQL级联复制下进行大表的字段扩容

作者：雷文霆 爱可生华东交付服务部 DBA 成员，主要负责Mysql故障处理及相关技术支持。爱好看书，电影。座右铭，每一个不曾起舞的日子，都是对生命的辜负。 本文来源：原创投稿 *爱可生开源社区出品，…...

编程日记 2023/5/31 16:07:55

工业互联网业务知识

文章目录 背景第四次工业革命带动制造业产业升级主要工业大国不同路径 架构ISA95体系架构变革趋势基础通用架构数据采集平台 工业互联网应用软件工业互联网全要素连接产品视角：产销服务企业的业务流程企业数字化改造：车间级全要素连接 工业互联网的产品体…...

编程日记 2023/5/31 16:55:33

jsp+java自行车租赁租借和买卖系统

自行车租借和买卖系统 系统包括四个模块。1，系统模块，2，车辆管理模块，3.租借车管理模块，4，买卖车管理模块。 1，系统模块包括: 连接数据库，工作人员登录，退出。 2&#…...

编程日记 2023/5/31 17:19:35

Python3 字符串

Python3 字符串 字符串是 Python 中最常用的数据类型。我们可以使用引号( 或 " )来创建字符串。 创建字符串很简单，只要为变量分配一个值即可。例如： var1 Hello World! var2 "Runoob" Python 访问字符串中的值 Python 不支持单字符…...

编程日记 2023/5/31 20:54:26

Day943.持续集成流水线 -系统重构实战

持续集成流水线 Hi，我是阿昌，今天学习记录的是关于持续集成流水线的内容。 从团队协作的角度上来看，在版本发布过程中，经常出现测试依赖开发手工生成制品、版本发布也从开发本地出版本的问题。而且项目架构如果从单体演进至组件…...

编程日记 2023/5/31 22:39:21

How to use CCS to debug a running M4F core that was started by Linux?

参考FAQ:AM62x & AM64x: How to use CCS to debug a running M4F core that was started by Linux? 问题记录： 1.使用SD卡启动模式，板上运行Linux。 当Linux系统启动后，9表示M4F core： am64xx-evm login: root rootam64xx…...

编程日记 2023/5/31 16:32:45

第19节 Node.js Express 框架

Express 是一个为Node.js设计的web开发框架，它基于nodejs平台。 Express 简介 Express是一个简洁而灵活的node.js Web应用框架, 提供了一系列强大特性帮助你创建各种Web应用，和丰富的HTTP工具。 使用Express可以快速地搭建一个完整功能的网站。 Expre…...

编程新知 2025/9/14 10:15:00

地震勘探——干扰波识别、井中地震时距曲线特点

目录 干扰波识别反射波地震勘探的干扰波 井中地震时距曲线特点 干扰波识别 有效波：可以用来解决所提出的地质任务的波；干扰波：所有妨碍辨认、追踪有效波的其他波。 地震勘探中，有效波和干扰波是相对的。例如，在反射波…...

编程新知 2025/9/4 3:02:33

React第五十七节 Router中RouterProvider使用详解及注意事项

前言 在 React Router v6.4 中&#xff0c;RouterProvider 是一个核心组件&#xff0c;用于提供基于数据路由&#xff08;data routers&#xff09;的新型路由方案。 它替代了传统的 <BrowserRouter>&#xff0c;支持更强大的数据加载和操作功能&#xff08;如 loader 和…...

编程新知 2025/9/9 10:11:43

Linux简单的操作

ls ls 查看当前目录 ll 查看详细内容 ls -a 查看所有的内容 ls --help 查看方法文档 pwd pwd 查看当前路径 cd cd 转路径 cd .. 转上一级路径 cd 名 转换路径 …...

编程新知 2025/9/11 13:56:27

CSS设置元素的宽度根据其内容自动调整

width: fit-content 是 CSS 中的一个属性值&#xff0c;用于设置元素的宽度根据其内容自动调整&#xff0c;确保宽度刚好容纳内容而不会超出。 效果对比 默认情况&#xff08;width: auto&#xff09;&#xff1a; 块级元素&#xff08;如 <div>&#xff09;会占满父容器…...

编程新知 2025/6/20 15:09:15

HDFS分布式存储 zookeeper

hadoop介绍 狭义上hadoop是指apache的一款开源软件 用java语言实现开源框架&#xff0c;允许使用简单的变成模型跨计算机对大型集群进行分布式处理&#xff08;1.海量的数据存储 2.海量数据的计算&#xff09;Hadoop核心组件 hdfs&#xff08;分布式文件存储系统&#xff09;&a…...

编程新知 2025/9/14 9:37:20

免费数学几何作图web平台

光锐软件免费数学工具&#xff0c;maths,数学制图&#xff0c;数学作图&#xff0c;几何作图&#xff0c;几何&#xff0c;AR开发,AR教育,增强现实,软件公司,XR,MR,VR,虚拟仿真,虚拟现实,混合现实,教育科技产品,职业模拟培训,高保真VR场景,结构互动课件,元宇宙http://xaglare.c…...

编程新知 2025/9/12 15:03:05

day36-多路IO复用

一、基本概念 &#xff08;服务器多客户端模型&#xff09; 定义&#xff1a;单线程或单进程同时监测若干个文件描述符是否可以执行IO操作的能力 作用&#xff1a;应用程序通常需要处理来自多条事件流中的事件&#xff0c;比如我现在用的电脑&#xff0c;需要同时处理键盘鼠标…...

编程新知 2025/9/3 17:15:14

redis和redission的区别

Redis 和 Redisson 是两个密切相关但又本质不同的技术&#xff0c;它们扮演着完全不同的角色&#xff1a; Redis: 内存数据库/数据结构存储 本质&#xff1a; 它是一个开源的、高性能的、基于内存的 键值存储数据库。它也可以将数据持久化到磁盘。 核心功能&#xff1a; 提供丰…...

编程新知 2025/8/4 8:15:54

uni-app学习笔记三十五--扩展组件的安装和使用

由于内置组件不能满足日常开发需要&#xff0c;uniapp官方也提供了众多的扩展组件供我们使用。由于不是内置组件&#xff0c;需要安装才能使用。 一、安装扩展插件 安装方法&#xff1a; 1.访问uniapp官方文档组件部分&#xff1a;组件使用的入门教程 | uni-app官网 点击左侧…...

编程新知 2025/9/7 8:46:33