当前位置： 首页 > news >正文

数仓选型对比

news 2026/2/8 22:17:22

1、数仓选型对比如下(先列举表格，后续逐个介绍)

数仓应用目标产品特点适用于 适用数据类型数据处理速度性能拓展 实施难度运维难度性能优化成本
传统数仓

(SQLServer、Oracle

等关系型数据库)		面向主题设计的，为
分析数据而设计		基于Oracle、
SQLServer、MySQL
等关系型数据		在复杂关联、汇总、
  事务处理方面能力
强，适合数据量小、
高可靠、数据价值密
度高的应用		多适用于结构化数据利用处理过程的中间
表，分析查询速度可
比原有速度提高3~5倍		单表上亿，性能断崖
式下跌，拓展性能差		难度普通，
技术比较成熟		相对简单优化的大致原理有2个：
一是数据分块存储，便
于数据的存储和管理；
二是中间处理，提高数
据提供的速度。		软件费用+实施费用，
成本较低
MPP数仓

(以GreenPlum为例)		在传统数仓之上搭建
并行数据库系统。充
  分发挥计算机的优
势，提高数据库系统

的整体性能		MPP架构、TB级处
理，支持大量运算；
关系型数据库		适合结构化数据的深
度分析、复杂查询以
及多变的自助分析类
  应用、数据集市等		关系数据方面有优
势，比较适合比如电
信、银行这类数据主
要以结构化存储的企

业或组织		相比传统数仓，速度
为几倍至几十倍		性能可随着硬件的扩
容呈线性增加，拥有
非常好的可扩展性，
扩展上限为几百		难度中等，
较成熟		中等技术角度：模型优化、
查询执行计划。业务角
度：全量刷新改增量刷
新，减少计算量；充分
利用已计算的指标		每2~3TB一个节点，
硬件配置不用太高，
GP产品免费，但实
施优化单价较高，成
本中等
Hadoop数仓分布式数据库系统主
要目的在于实现场地
自治和数据的全局透
明共享，而不要求利
用网络中的各个节点
来提高系统处理性能		Hadoop架构、
HDFS、MR和
Hive,支持海量运
算；非关系型数据
库；TB或更大数据
量，并发多的场景		适合海量数据存储查
询、批量数据ETL、
非结构化数据分析等		可以基于Hadoop

开发处理结构或非结
构化数据的应用，适
用于互联网领域		相比传统Oracle数
仓，速度为几倍至几
十倍(瓶颈阈值高于
MPP数仓)		  支持量高的动态扩
容，扩展上限为几千		实施难度高，
要求较高		较难Hadoop性能调优不
仅涉及Hadoop本身
的性能调优，还涉及更
底层的硬件、操作系统
  和Java虚拟机等系统
的调优		需要大量的节点支
持，实施人员需要专
业对口，同时需要对
应的非通用sql支
持，成本较高

相关文章：

数仓选型对比

1、数仓选型对比如下(先列举表格，后续逐个介绍) 数仓应用目标产品特点适用于 适用数据类型数据处理速度性能拓展 实施难度运维难度性能优化成本传统数仓(SQLServer、Oracle等关系型数据库)面向主题设计的，为 分析数据而设计基于Oracle、 SQLServer、MyS…...

编程日记 2023/5/31 13:42:05

二叉树的遍历（前序、中序、后序）Java详解与代码实现

递归遍历 前序，中序，后序 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNode(int val, Tree…...

编程日记 2023/5/31 19:03:04

如何找出消耗CPU最多的线程？

如何找出消耗CPU最多的线程？ 1.使用 top -c 找出所有当前进程的运行列表 top -c 2.按P(Shiftp)对所有进程按CPU使用率进行排序，找出消耗最高的线程PID ​​​ 显示Java进程 PID 为 136 的java进程消耗最 3.使用 top -Hp PID，查出里面消…...

编程日记 2023/5/31 11:28:49

【论文笔记】Attention Augmented Convolutional Networks(ICCV 2019 入选文章)

目录 一、摘要 二、介绍 三、相关工作 卷积网络Convolutional networks： 网络中注意力机制Attention mechanisms in networks： 四、方法 1. 图像的自注意力Self-attention over images： 二维位置嵌入Two-dimensional Positional Enco…...

编程日记 2023/5/31 14:24:20

虚幻图文笔记：Character Creator 4角色通过AutoSetup For Unreal Engine插件导入UE5.1的过程笔记

在UE5端安装AutoSetup For Unreal Engine插件 AutoSetup For Unreal Engine是Reallusion官方提供的免费插件，官方下载地址，下载到的是一个可执行文件，点击安装，记住安装的位置⬇ 看装完毕后会打开一个文件夹，这里就是对…...

编程日记 2023/5/31 12:15:09

JAVAWeb04-DOM

1. DOM 1.1 概述 1.1.1 官方文档 地址: https://www.w3school.com.cn/js/js_htmldom.asp 1.1.2 DOM 介绍 DOM 全称是 Document Object Model 文档对象模型就是把文档中的标签，属性，文本，转换成为对象来管理 1.2 HTML DOM（文档…...

编程日记 2023/5/31 12:26:16

C++内存管理基础知识

C 内存管理 C内存管理是一个重要的主题，因为它涉及到程序运行时资源的分配和释放。它可以分为三种类型：静态内存、栈内存和堆内存。 静态内存 静态内存（Static Memory）：静态内存用于存储全局变量、静态变量和常量。这…...

编程日记 2023/5/31 12:37:22

命令执行漏洞概述

命令执行漏洞概述 命令执行定义命令执行条件命令执行成因命令执行漏洞带来的危害远程命令执行漏洞相关函数assert()preg_replace()call_user_func() a ( a( a(b)可变函数远程命令执行漏洞的利用系统命令执行漏洞相关函数system()exec()shell_exec()passthru（&#x…...

编程日记 2023/5/31 12:54:08

【初试复试第一】脱产在家二战上岸——上交819考研经验

笔者来自通信考研小马哥23上交819全程班学员 先介绍一下自己，我今年初试426并列第一，加上复试之后总分600，电子系第一。 我本科上交，本科期间虽然没有挂科但是成绩排名处于中下游水平。参加过全国电子设计大赛，虽然拿…...

编程日记 2023/5/31 13:00:21

PTA：C课程设计（7）

山东大学（威海）2022级大一下C习题集（7） 函数题7-6-1 递增的整数序列链表的插入7-6-2 查找学生链表7-6-3 统计专业人数7-6-4 建立学生信息链表 编程题7-7-1 查找书籍7-7-2 找出总分最高的学生 函数题 7-6-1 递增的整数序列链表的插…...

编程日记 2023/5/31 10:42:34

POSTGRESQL LINUX 与 PG有关的内存参释义

开头还是介绍一下群，如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，在新加的朋友会分到2群（共…...

编程日记 2023/5/31 13:30:31

Docker的常见命令

前言:使用Docker得学会的几个常见命令 常见命令前置学习: docker --help这个命令必须得会因为,很多命令是记不住的,得使用他们的官方help下面是一些实例 docker load --help常见命令集合: 一: docker images #查看全部镜像 docker rmi #删除某个镜像(例如:docker rmi redis…...

编程日记 2023/5/31 14:10:24

详细介绍性能测试的方法（含文档）

性能测试是软件测试中的一个重要环节，其目的是评估系统在不同负荷下的性能表现，包括响应时间、吞吐量、并发数等指标。通常可以通过以下几种方法进行性能测试： 1、负载测试 负载测试是模拟多用户同时访问系统，测试系统在高并发、…...

编程日记 2023/5/31 13:58:06

深入剖析 Qt QHash ：原理、应用与技巧

目录标题 引言QHash 基础用法基础用法示例基础用法综合示例 QHash 的高级用法迭代器：遍历 QHash 中的元素（Iterators: Traversing Elements in QHash ）QHash和其他容器的对比QHash 和 std::unordered\_map QHash的底层原理和内存管理QHash 的…...

编程日记 2023/5/31 14:05:44

技术分享 | MySQL级联复制下进行大表的字段扩容

作者：雷文霆 爱可生华东交付服务部 DBA 成员，主要负责Mysql故障处理及相关技术支持。爱好看书，电影。座右铭，每一个不曾起舞的日子，都是对生命的辜负。 本文来源：原创投稿 *爱可生开源社区出品，…...

编程日记 2023/5/31 16:07:55

工业互联网业务知识

文章目录 背景第四次工业革命带动制造业产业升级主要工业大国不同路径 架构ISA95体系架构变革趋势基础通用架构数据采集平台 工业互联网应用软件工业互联网全要素连接产品视角：产销服务企业的业务流程企业数字化改造：车间级全要素连接 工业互联网的产品体…...

编程日记 2023/5/31 16:55:33

jsp+java自行车租赁租借和买卖系统

自行车租借和买卖系统 系统包括四个模块。1，系统模块，2，车辆管理模块，3.租借车管理模块，4，买卖车管理模块。 1，系统模块包括: 连接数据库，工作人员登录，退出。 2&#…...

编程日记 2023/5/31 17:19:35

Python3 字符串

Python3 字符串 字符串是 Python 中最常用的数据类型。我们可以使用引号( 或 " )来创建字符串。 创建字符串很简单，只要为变量分配一个值即可。例如： var1 Hello World! var2 "Runoob" Python 访问字符串中的值 Python 不支持单字符…...

编程日记 2023/5/31 20:54:26

Day943.持续集成流水线 -系统重构实战

持续集成流水线 Hi，我是阿昌，今天学习记录的是关于持续集成流水线的内容。 从团队协作的角度上来看，在版本发布过程中，经常出现测试依赖开发手工生成制品、版本发布也从开发本地出版本的问题。而且项目架构如果从单体演进至组件…...

编程日记 2023/5/31 22:39:21

How to use CCS to debug a running M4F core that was started by Linux?

参考FAQ:AM62x & AM64x: How to use CCS to debug a running M4F core that was started by Linux? 问题记录： 1.使用SD卡启动模式，板上运行Linux。 当Linux系统启动后，9表示M4F core： am64xx-evm login: root rootam64xx…...

编程日记 2023/5/31 16:32:45

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明：假设每台服务器已…...

编程新知 2026/2/8 1:53:29

Python｜GIF 解析与构建（5）：手搓截屏和帧率控制

目录 Python｜GIF 解析与构建（5）：手搓截屏和帧率控制 一、引言 二、技术实现：手搓截屏模块 2.1 核心原理 2.2 代码解析：ScreenshotData类 2.2.1 截图函数：capture_screen 三、技术实现&…...

编程新知 2025/11/14 3:06:30

第19节 Node.js Express 框架

Express 是一个为Node.js设计的web开发框架，它基于nodejs平台。 Express 简介 Express是一个简洁而灵活的node.js Web应用框架, 提供了一系列强大特性帮助你创建各种Web应用，和丰富的HTTP工具。 使用Express可以快速地搭建一个完整功能的网站。 Expre…...

编程新知 2026/2/8 6:37:43

vscode里如何用git

打开vs终端执行如下： 1 初始化 Git 仓库（如果尚未初始化） git init 2 添加文件到 Git 仓库 git add . 3 使用 git commit 命令来提交你的更改。确保在提交时加上一个有用的消息。 git commit -m "备注信息" 4 …...

编程新知 2025/8/24 20:45:38

云原生核心技术 (7/12): K8s 核心概念白话解读(上)：Pod 和 Deployment 究竟是什么？

大家好，欢迎来到《云原生核心技术》系列的第七篇！ 在上一篇，我们成功地使用 Minikube 或 kind 在自己的电脑上搭建起了一个迷你但功能完备的 Kubernetes 集群。现在，我们就像一个拥有了一块崭新数字土地的农场主，是时…...

编程新知 2025/12/14 22:32:59

Linux 文件类型，目录与路径，文件与目录管理

文件类型 后面的字符表示文件类型标志 普通文件：-（纯文本文件，二进制文件，数据格式文件） 如文本文件、图片、程序文件等。 目录文件：d（directory） 用来存放其他文件或子目录。 设备…...

编程新知 2026/2/8 20:42:46

Linux相关概念和易错知识点（42）（TCP的连接管理、可靠性、面临复杂网络的处理）

目录 1.TCP的连接管理机制（1）三次握手①握手过程②对握手过程的理解 （2）四次挥手（3）握手和挥手的触发（4）状态切换①挥手过程中状态的切换②握手过程中状态的切换 2.TCP的可靠性&…...

编程新知 2026/1/30 0:09:51

优选算法第十二讲：队列 + 宽搜 优先级队列

优选算法第十二讲：队列 宽搜 && 优先级队列 1.N叉树的层序遍历2.二叉树的锯齿型层序遍历3.二叉树最大宽度4.在每个树行中找最大值5.优先级队列 -- 最后一块石头的重量6.数据流中的第K大元素7.前K个高频单词8.数据流的中位数 1.N叉树的层序遍历 2.二叉树的锯…...

编程新知 2026/1/20 17:18:59

使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台

🎯 使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台 📌 项目背景 随着大语言模型（LLM）的广泛应用，开发者常面临多个挑战： 各大模型（OpenAI、Claude、Gemini、Ollama）接口风格不统一；缺乏一个统一平台进行模型调用与测试；本地模型 Ollama 的集成与前…...

编程新知 2026/1/25 3:31:07

微软PowerBI考试 PL300-在 Power BI 中清理、转换和加载数据

微软PowerBI考试 PL300-在 Power BI 中清理、转换和加载数据 Power Query 具有大量专门帮助您清理和准备数据以供分析的功能。 您将了解如何简化复杂模型、更改数据类型、重命名对象和透视数据。 您还将了解如何分析列，以便知晓哪些列包含有价值的数据，…...

编程新知 2026/1/30 9:51:12