当前位置： 首页 > news >正文

数仓选型对比

news 2025/7/12 21:21:10

1、数仓选型对比如下(先列举表格，后续逐个介绍)

数仓应用目标产品特点适用于 适用数据类型数据处理速度性能拓展 实施难度运维难度性能优化成本
传统数仓

(SQLServer、Oracle

等关系型数据库)		面向主题设计的，为
分析数据而设计		基于Oracle、
SQLServer、MySQL
等关系型数据		在复杂关联、汇总、
  事务处理方面能力
强，适合数据量小、
高可靠、数据价值密
度高的应用		多适用于结构化数据利用处理过程的中间
表，分析查询速度可
比原有速度提高3~5倍		单表上亿，性能断崖
式下跌，拓展性能差		难度普通，
技术比较成熟		相对简单优化的大致原理有2个：
一是数据分块存储，便
于数据的存储和管理；
二是中间处理，提高数
据提供的速度。		软件费用+实施费用，
成本较低
MPP数仓

(以GreenPlum为例)		在传统数仓之上搭建
并行数据库系统。充
  分发挥计算机的优
势，提高数据库系统

的整体性能		MPP架构、TB级处
理，支持大量运算；
关系型数据库		适合结构化数据的深
度分析、复杂查询以
及多变的自助分析类
  应用、数据集市等		关系数据方面有优
势，比较适合比如电
信、银行这类数据主
要以结构化存储的企

业或组织		相比传统数仓，速度
为几倍至几十倍		性能可随着硬件的扩
容呈线性增加，拥有
非常好的可扩展性，
扩展上限为几百		难度中等，
较成熟		中等技术角度：模型优化、
查询执行计划。业务角
度：全量刷新改增量刷
新，减少计算量；充分
利用已计算的指标		每2~3TB一个节点，
硬件配置不用太高，
GP产品免费，但实
施优化单价较高，成
本中等
Hadoop数仓分布式数据库系统主
要目的在于实现场地
自治和数据的全局透
明共享，而不要求利
用网络中的各个节点
来提高系统处理性能		Hadoop架构、
HDFS、MR和
Hive,支持海量运
算；非关系型数据
库；TB或更大数据
量，并发多的场景		适合海量数据存储查
询、批量数据ETL、
非结构化数据分析等		可以基于Hadoop

开发处理结构或非结
构化数据的应用，适
用于互联网领域		相比传统Oracle数
仓，速度为几倍至几
十倍(瓶颈阈值高于
MPP数仓)		  支持量高的动态扩
容，扩展上限为几千		实施难度高，
要求较高		较难Hadoop性能调优不
仅涉及Hadoop本身
的性能调优，还涉及更
底层的硬件、操作系统
  和Java虚拟机等系统
的调优		需要大量的节点支
持，实施人员需要专
业对口，同时需要对
应的非通用sql支
持，成本较高

相关文章：

数仓选型对比

1、数仓选型对比如下(先列举表格，后续逐个介绍) 数仓应用目标产品特点适用于 适用数据类型数据处理速度性能拓展 实施难度运维难度性能优化成本传统数仓(SQLServer、Oracle等关系型数据库)面向主题设计的，为 分析数据而设计基于Oracle、 SQLServer、MyS…...

编程日记 2023/5/31 13:42:05

二叉树的遍历（前序、中序、后序）Java详解与代码实现

递归遍历 前序，中序，后序 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNode(int val, Tree…...

编程日记 2023/5/31 19:03:04

如何找出消耗CPU最多的线程？

如何找出消耗CPU最多的线程？ 1.使用 top -c 找出所有当前进程的运行列表 top -c 2.按P(Shiftp)对所有进程按CPU使用率进行排序，找出消耗最高的线程PID ​​​ 显示Java进程 PID 为 136 的java进程消耗最 3.使用 top -Hp PID，查出里面消…...

编程日记 2023/5/31 11:28:49

【论文笔记】Attention Augmented Convolutional Networks(ICCV 2019 入选文章)

目录 一、摘要 二、介绍 三、相关工作 卷积网络Convolutional networks： 网络中注意力机制Attention mechanisms in networks： 四、方法 1. 图像的自注意力Self-attention over images： 二维位置嵌入Two-dimensional Positional Enco…...

编程日记 2023/5/31 14:24:20

虚幻图文笔记：Character Creator 4角色通过AutoSetup For Unreal Engine插件导入UE5.1的过程笔记

在UE5端安装AutoSetup For Unreal Engine插件 AutoSetup For Unreal Engine是Reallusion官方提供的免费插件，官方下载地址，下载到的是一个可执行文件，点击安装，记住安装的位置⬇ 看装完毕后会打开一个文件夹，这里就是对…...

编程日记 2023/5/31 12:15:09

JAVAWeb04-DOM

1. DOM 1.1 概述 1.1.1 官方文档 地址: https://www.w3school.com.cn/js/js_htmldom.asp 1.1.2 DOM 介绍 DOM 全称是 Document Object Model 文档对象模型就是把文档中的标签，属性，文本，转换成为对象来管理 1.2 HTML DOM（文档…...

编程日记 2023/5/31 12:26:16

C++内存管理基础知识

C 内存管理 C内存管理是一个重要的主题，因为它涉及到程序运行时资源的分配和释放。它可以分为三种类型：静态内存、栈内存和堆内存。 静态内存 静态内存（Static Memory）：静态内存用于存储全局变量、静态变量和常量。这…...

编程日记 2023/5/31 12:37:22

命令执行漏洞概述

命令执行漏洞概述 命令执行定义命令执行条件命令执行成因命令执行漏洞带来的危害远程命令执行漏洞相关函数assert()preg_replace()call_user_func() a ( a( a(b)可变函数远程命令执行漏洞的利用系统命令执行漏洞相关函数system()exec()shell_exec()passthru（&#x…...

编程日记 2023/5/31 12:54:08

【初试复试第一】脱产在家二战上岸——上交819考研经验

笔者来自通信考研小马哥23上交819全程班学员 先介绍一下自己，我今年初试426并列第一，加上复试之后总分600，电子系第一。 我本科上交，本科期间虽然没有挂科但是成绩排名处于中下游水平。参加过全国电子设计大赛，虽然拿…...

编程日记 2023/5/31 13:00:21

PTA：C课程设计（7）

山东大学（威海）2022级大一下C习题集（7） 函数题7-6-1 递增的整数序列链表的插入7-6-2 查找学生链表7-6-3 统计专业人数7-6-4 建立学生信息链表 编程题7-7-1 查找书籍7-7-2 找出总分最高的学生 函数题 7-6-1 递增的整数序列链表的插…...

编程日记 2023/5/31 10:42:34

POSTGRESQL LINUX 与 PG有关的内存参释义

开头还是介绍一下群，如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，在新加的朋友会分到2群（共…...

编程日记 2023/5/31 13:30:31

Docker的常见命令

前言:使用Docker得学会的几个常见命令 常见命令前置学习: docker --help这个命令必须得会因为,很多命令是记不住的,得使用他们的官方help下面是一些实例 docker load --help常见命令集合: 一: docker images #查看全部镜像 docker rmi #删除某个镜像(例如:docker rmi redis…...

编程日记 2023/5/31 14:10:24

详细介绍性能测试的方法（含文档）

性能测试是软件测试中的一个重要环节，其目的是评估系统在不同负荷下的性能表现，包括响应时间、吞吐量、并发数等指标。通常可以通过以下几种方法进行性能测试： 1、负载测试 负载测试是模拟多用户同时访问系统，测试系统在高并发、…...

编程日记 2023/5/31 13:58:06

深入剖析 Qt QHash ：原理、应用与技巧

目录标题 引言QHash 基础用法基础用法示例基础用法综合示例 QHash 的高级用法迭代器：遍历 QHash 中的元素（Iterators: Traversing Elements in QHash ）QHash和其他容器的对比QHash 和 std::unordered\_map QHash的底层原理和内存管理QHash 的…...

编程日记 2023/5/31 14:05:44

技术分享 | MySQL级联复制下进行大表的字段扩容

作者：雷文霆 爱可生华东交付服务部 DBA 成员，主要负责Mysql故障处理及相关技术支持。爱好看书，电影。座右铭，每一个不曾起舞的日子，都是对生命的辜负。 本文来源：原创投稿 *爱可生开源社区出品，…...

编程日记 2023/5/31 16:07:55

工业互联网业务知识

文章目录 背景第四次工业革命带动制造业产业升级主要工业大国不同路径 架构ISA95体系架构变革趋势基础通用架构数据采集平台 工业互联网应用软件工业互联网全要素连接产品视角：产销服务企业的业务流程企业数字化改造：车间级全要素连接 工业互联网的产品体…...

编程日记 2023/5/31 16:55:33

jsp+java自行车租赁租借和买卖系统

自行车租借和买卖系统 系统包括四个模块。1，系统模块，2，车辆管理模块，3.租借车管理模块，4，买卖车管理模块。 1，系统模块包括: 连接数据库，工作人员登录，退出。 2&#…...

编程日记 2023/5/31 17:19:35

Python3 字符串

Python3 字符串 字符串是 Python 中最常用的数据类型。我们可以使用引号( 或 " )来创建字符串。 创建字符串很简单，只要为变量分配一个值即可。例如： var1 Hello World! var2 "Runoob" Python 访问字符串中的值 Python 不支持单字符…...

编程日记 2023/5/31 20:54:26

Day943.持续集成流水线 -系统重构实战

持续集成流水线 Hi，我是阿昌，今天学习记录的是关于持续集成流水线的内容。 从团队协作的角度上来看，在版本发布过程中，经常出现测试依赖开发手工生成制品、版本发布也从开发本地出版本的问题。而且项目架构如果从单体演进至组件…...

编程日记 2023/5/31 22:39:21

How to use CCS to debug a running M4F core that was started by Linux?

参考FAQ:AM62x & AM64x: How to use CCS to debug a running M4F core that was started by Linux? 问题记录： 1.使用SD卡启动模式，板上运行Linux。 当Linux系统启动后，9表示M4F core： am64xx-evm login: root rootam64xx…...

编程日记 2023/5/31 16:32:45

stm32G473的flash模式是单bank还是双bank？

今天突然有人stm32G473的flash模式是单bank还是双bank？由于时间太久，我真忘记了。搜搜发现，还真有人和我一样。见下面的链接：https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...

编程新知 2025/7/12 19:20:44

【人工智能】神经网络的优化器optimizer（二）：Adagrad自适应学习率优化器

一.自适应梯度算法Adagrad概述 Adagrad（Adaptive Gradient Algorithm）是一种自适应学习率的优化算法，由Duchi等人在2011年提出。其核心思想是针对不同参数自动调整学习率，适合处理稀疏数据和不同参数梯度差异较大的场景。Adagrad通…...

编程新知 2025/7/9 13:08:48

Cesium1.95中高性能加载1500个点

一、基本方式&#xff1a; 图标使用.png比.svg性能要好 <template><div id"cesiumContainer"></div><div class"toolbar"><button id"resetButton">重新生成点</button><span id"countDisplay&qu…...

编程新知 2025/7/8 4:49:22

高防服务器能够抵御哪些网络攻击呢？

高防服务器作为一种有着高度防御能力的服务器&#xff0c;可以帮助网站应对分布式拒绝服务攻击&#xff0c;有效识别和清理一些恶意的网络流量&#xff0c;为用户提供安全且稳定的网络环境&#xff0c;那么&#xff0c;高防服务器一般都可以抵御哪些网络攻击呢&#xff1f;下面…...

编程新知 2025/7/9 4:02:41

Xen Server服务器释放磁盘空间

disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...

编程新知 2025/6/21 10:27:51

ZYNQ学习记录FPGA(一)ZYNQ简介

一、知识准备 1.一些术语,缩写和概念&#xff1a; 1&#xff09;ZYNQ全称&#xff1a;ZYNQ7000 All Pgrammable SoC 2&#xff09;SoC:system on chips(片上系统)&#xff0c;对比集成电路的SoB&#xff08;system on board&#xff09; 3&#xff09;ARM&#xff1a;处理器…...

编程新知 2025/7/12 11:42:03

Linux 下 DMA 内存映射浅析

序 系统 I/O 设备驱动程序通常调用其特定子系统的接口为 DMA 分配内存&#xff0c;但最终会调到 DMA 子系统的dma_alloc_coherent()/dma_alloc_attrs() 等接口。 关于 dma_alloc_coherent 接口详细的代码讲解、调用流程&#xff0c;可以参考这篇文章&#xff0c;我觉得写的非常…...

编程新知 2025/7/10 10:40:33

Vue 3 + WebSocket 实战：公司通知实时推送功能详解

&#x1f4e2; Vue 3 WebSocket 实战&#xff1a;公司通知实时推送功能详解 &#x1f4cc; 收藏 点赞 关注&#xff0c;项目中要用到推送功能时就不怕找不到了&#xff01; 实时通知是企业系统中常见的功能&#xff0c;比如&#xff1a;管理员发布通知后&#xff0c;所有用户…...

编程新知 2025/7/6 16:42:10

JS红宝书笔记 - 3.3 变量

要定义变量&#xff0c;可以使用var操作符&#xff0c;后跟变量名 ES实现变量初始化&#xff0c;因此可以同时定义变量并设置它的值 使用var操作符定义的变量会成为包含它的函数的局部变量。 在函数内定义变量时省略var操作符&#xff0c;可以创建一个全局变量 如果需要定义…...

编程新知 2025/7/9 5:10:50

Docker、Wsl 打包迁移环境

电脑需要开启wsl2 可以使用wsl -v 查看当前的版本 wsl -v WSL 版本&#xff1a; 2.2.4.0 内核版本&#xff1a; 5.15.153.1-2 WSLg 版本&#xff1a; 1.0.61 MSRDC 版本&#xff1a; 1.2.5326 Direct3D 版本&#xff1a; 1.611.1-81528511 DXCore 版本&#xff1a; 10.0.2609…...

编程新知 2025/6/21 6:42:16