数仓选型对比
1、数仓选型对比如下(先列举表格，后续逐个介绍)
| 数仓 | 应用目标 | 产品特点 | 适用于 | 适用数据类型 | 数据处理速度 | 性能拓展 | 实施难度 | 运维难度 | 性能优化 | 成本 |
| 传统数仓 (SQLServer、Oracle 等关系型数据库) | 面向主题设计的，为 分析数据而设计 | 基于Oracle、 SQLServer、MySQL 等关系型数据 | 在复杂关联、汇总、 事务处理方面能力 强，适合数据量小、 高可靠、数据价值密 度高的应用 | 多适用于结构化数据 | 利用处理过程的中间 表，分析查询速度可 比原有速度提高3~5倍 | 单表上亿，性能断崖 式下跌，拓展性能差 | 难度普通， 技术比较成熟 | 相对简单 | 优化的大致原理有2个： 一是数据分块存储，便 于数据的存储和管理； 二是中间处理，提高数 据提供的速度。 | 软件费用+实施费用， 成本较低 |
| MPP数仓 (以GreenPlum为例) | 在传统数仓之上搭建 并行数据库系统。充 分发挥计算机的优 势，提高数据库系统 的整体性能 | MPP架构、TB级处 理，支持大量运算； 关系型数据库 | 适合结构化数据的深 度分析、复杂查询以 及多变的自助分析类 应用、数据集市等 | 关系数据方面有优 势，比较适合比如电 信、银行这类数据主 要以结构化存储的企 业或组织 | 相比传统数仓，速度 为几倍至几十倍 | 性能可随着硬件的扩 容呈线性增加，拥有 非常好的可扩展性， 扩展上限为几百 | 难度中等， 较成熟 | 中等 | 技术角度：模型优化、 查询执行计划。业务角 度：全量刷新改增量刷 新，减少计算量；充分 利用已计算的指标 | 每2~3TB一个节点， 硬件配置不用太高， GP产品免费，但实 施优化单价较高，成 本中等 |
| Hadoop数仓 | 分布式数据库系统主 要目的在于实现场地 自治和数据的全局透 明共享，而不要求利 用网络中的各个节点 来提高系统处理性能 | Hadoop架构、 HDFS、MR和 Hive,支持海量运 算；非关系型数据 库；TB或更大数据 量，并发多的场景 | 适合海量数据存储查 询、批量数据ETL、 非结构化数据分析等 | 可以基于Hadoop 开发处理结构或非结 构化数据的应用，适 用于互联网领域 | 相比传统Oracle数 仓，速度为几倍至几 十倍(瓶颈阈值高于 MPP数仓) | 支持量高的动态扩 容，扩展上限为几千 | 实施难度高， 要求较高 | 较难 | Hadoop性能调优不 仅涉及Hadoop本身 的性能调优，还涉及更 底层的硬件、操作系统 和Java虚拟机等系统 的调优 | 需要大量的节点支 持，实施人员需要专 业对口，同时需要对 应的非通用sql支 持，成本较高 |
相关文章：
数仓选型对比
1、数仓选型对比如下(先列举表格，后续逐个介绍) 数仓应用目标产品特点适用于 适用数据类型数据处理速度性能拓展 实施难度运维难度性能优化成本传统数仓(SQLServer、Oracle等关系型数据库)面向主题设计的，为 分析数据而设计基于Oracle、 SQLServer、MyS…...
二叉树的遍历（前序、中序、后序）Java详解与代码实现
递归遍历 前序，中序，后序 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode() {}* TreeNode(int val) { this.val val; }* TreeNode(int val, Tree…...
如何找出消耗CPU最多的线程？
如何找出消耗CPU最多的线程？ 1.使用 top -c 找出所有当前进程的运行列表 top -c 2.按P(Shiftp)对所有进程按CPU使用率进行排序，找出消耗最高的线程PID 显示Java进程 PID 为 136 的java进程消耗最 3.使用 top -Hp PID，查出里面消…...
【论文笔记】Attention Augmented Convolutional Networks(ICCV 2019 入选文章)
目录 一、摘要 二、介绍 三、相关工作 卷积网络Convolutional networks： 网络中注意力机制Attention mechanisms in networks： 四、方法 1. 图像的自注意力Self-attention over images： 二维位置嵌入Two-dimensional Positional Enco…...
虚幻图文笔记：Character Creator 4角色通过AutoSetup For Unreal Engine插件导入UE5.1的过程笔记
在UE5端安装AutoSetup For Unreal Engine插件 AutoSetup For Unreal Engine是Reallusion官方提供的免费插件，官方下载地址，下载到的是一个可执行文件，点击安装，记住安装的位置⬇ 看装完毕后会打开一个文件夹，这里就是对…...
JAVAWeb04-DOM
1. DOM 1.1 概述 1.1.1 官方文档 地址: https://www.w3school.com.cn/js/js_htmldom.asp 1.1.2 DOM 介绍 DOM 全称是 Document Object Model 文档对象模型就是把文档中的标签，属性，文本，转换成为对象来管理 1.2 HTML DOM（文档…...
C++内存管理基础知识
C 内存管理 C内存管理是一个重要的主题，因为它涉及到程序运行时资源的分配和释放。它可以分为三种类型：静态内存、栈内存和堆内存。 静态内存 静态内存（Static Memory）：静态内存用于存储全局变量、静态变量和常量。这…...
命令执行漏洞概述
命令执行漏洞概述 命令执行定义命令执行条件命令执行成因命令执行漏洞带来的危害远程命令执行漏洞相关函数assert()preg_replace()call_user_func() a ( a( a(b)可变函数远程命令执行漏洞的利用系统命令执行漏洞相关函数system()exec()shell_exec()passthru（&#x…...
【初试复试第一】脱产在家二战上岸——上交819考研经验
笔者来自通信考研小马哥23上交819全程班学员 先介绍一下自己，我今年初试426并列第一，加上复试之后总分600，电子系第一。 我本科上交，本科期间虽然没有挂科但是成绩排名处于中下游水平。参加过全国电子设计大赛，虽然拿…...
PTA：C课程设计（7）
山东大学（威海）2022级大一下C习题集（7） 函数题7-6-1 递增的整数序列链表的插入7-6-2 查找学生链表7-6-3 统计专业人数7-6-4 建立学生信息链表 编程题7-7-1 查找书籍7-7-2 找出总分最高的学生 函数题 7-6-1 递增的整数序列链表的插…...
POSTGRESQL LINUX 与 PG有关的内存参释义
开头还是介绍一下群，如果感兴趣polardb ,mongodb ,mysql ,postgresql ,redis 等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系 liuaustin3 ，在新加的朋友会分到2群（共…...
Docker的常见命令
前言:使用Docker得学会的几个常见命令 常见命令前置学习: docker --help这个命令必须得会因为,很多命令是记不住的,得使用他们的官方help下面是一些实例 docker load --help常见命令集合: 一: docker images #查看全部镜像 docker rmi #删除某个镜像(例如:docker rmi redis…...
详细介绍性能测试的方法（含文档）
性能测试是软件测试中的一个重要环节，其目的是评估系统在不同负荷下的性能表现，包括响应时间、吞吐量、并发数等指标。通常可以通过以下几种方法进行性能测试： 1、负载测试 负载测试是模拟多用户同时访问系统，测试系统在高并发、…...
深入剖析 Qt QHash ：原理、应用与技巧
目录标题 引言QHash 基础用法基础用法示例基础用法综合示例 QHash 的高级用法迭代器：遍历 QHash 中的元素（Iterators: Traversing Elements in QHash ）QHash和其他容器的对比QHash 和 std::unordered\_map QHash的底层原理和内存管理QHash 的…...
技术分享 | MySQL级联复制下进行大表的字段扩容
作者：雷文霆 爱可生华东交付服务部 DBA 成员，主要负责Mysql故障处理及相关技术支持。爱好看书，电影。座右铭，每一个不曾起舞的日子，都是对生命的辜负。 本文来源：原创投稿 *爱可生开源社区出品，…...
工业互联网业务知识
文章目录 背景第四次工业革命带动制造业产业升级主要工业大国不同路径 架构ISA95体系架构变革趋势基础通用架构数据采集平台 工业互联网应用软件工业互联网全要素连接产品视角：产销服务企业的业务流程企业数字化改造：车间级全要素连接 工业互联网的产品体…...
jsp+java自行车租赁租借和买卖系统
自行车租借和买卖系统 系统包括四个模块。1，系统模块，2，车辆管理模块，3.租借车管理模块，4，买卖车管理模块。 1，系统模块包括: 连接数据库，工作人员登录，退出。 2&#…...
Python3 字符串
Python3 字符串 字符串是 Python 中最常用的数据类型。我们可以使用引号( 或 " )来创建字符串。 创建字符串很简单，只要为变量分配一个值即可。例如： var1 Hello World! var2 "Runoob" Python 访问字符串中的值 Python 不支持单字符…...
Day943.持续集成流水线 -系统重构实战
持续集成流水线 Hi，我是阿昌，今天学习记录的是关于持续集成流水线的内容。 从团队协作的角度上来看，在版本发布过程中，经常出现测试依赖开发手工生成制品、版本发布也从开发本地出版本的问题。而且项目架构如果从单体演进至组件…...
How to use CCS to debug a running M4F core that was started by Linux?
参考FAQ:AM62x & AM64x: How to use CCS to debug a running M4F core that was started by Linux? 问题记录： 1.使用SD卡启动模式，板上运行Linux。 当Linux系统启动后，9表示M4F core： am64xx-evm login: root rootam64xx…...
216、组合总数III
难度：中等 找出所有相加之和为 n 的 k 个数的组合，且满足下列条件： 只使用数字1到9 每个数字 最多使用一次 返回 所有可能的有效组合的列表 。该列表不能包含相同的组合两次，组合可以以任何顺序返回。 示例 1: 输入: k 3, n 7…...
简单的重装系统教程
郁闷，最近电脑一直蓝屏重启，用 2 分钟就蓝屏一次，遂产生重装系统的想法。 准备 U盘(8G或以上) PE 工具： 微PE工具箱快速指引 | 微PE优盘使用说明书 (wepe.com.cn) 系统镜像： 官网 Windows 10 官网 Windows 11 M…...
机器学习---集成学习报告
1.原理以及举例 1.1原理 集成学习（Ensemble Learning）是一种机器学习策略，它通过结合多个基学习器（base learners）的预测来提高模型的性能。集成学习的目标是创建一个比单个基学习器更准确、更稳定的最终预测模型。这…...
教你如何将PDF文件转换成PPT演示文稿
在工作和学习中，我们可能需要将一些PDF文件转换成PPT演示文稿，以便于更好地展示和分享。虽然PPT和PDF是两种不同的文档格式，但是我们可以使用一些专业的软件或在线工具来实现这种转换。下面就让我们来教你如何将PDF文件转换成PPT演示文稿。 …...
涨点技巧： 谷歌强势推出优化器Lion，引入到Yolov5/Yolov7,内存更小、效率更高，秒杀Adam(W)
1.Lion优化器介绍 论文：https://arxiv.org/abs/2302.06675 代码：automl/lion at master google/automl GitHub 1.1 简单、内存高效、运行速度更快 1）与 AdamW 和各种自适应优化器需要同时保存一阶和二阶矩相比，Lion 只需要动量，将额外的内存占用减半； 2）由于 Lion…...
Windows GPU版本的深度学习环境安装
本文记录了cuda、cuDNN的安装配置。 参考文章： cuda-installation-guide-microsoft-windows 12.1 documentation Installation Guide :: NVIDIA cuDNN Documentation 一、cuda安装 注意事项： 1、cuda安装最重要的是查看自己应该安装的版本。 表格…...
C语言实践——通讯录（3）（文件版）
首先感谢上一篇博客的大佬们的点赞，非常感谢！！！ 目录 前言 一、需要添加的功能 1.增加保存数据函数——可以保存数据到文件中 主要逻辑： 注意事项： 代码实现： 2.修改初始化函数——新…...
GPT撑腰，微软再战谷歌 | 大厂集体抢滩ChatGPT：谁真的有实力，谁在试点商业化？
国内互联网大厂已经很久没有这样的盛况了！ 在各自领域成长为头部的互联网大厂们，近年来正在向“自留地”的纵深发展，正面交锋的机会并不多。直到大洋彼岸传来GPT的声音后，一下子抓住了大厂们的G点，他们仿佛听到了新一轮…...
【消息队列】细说Kafka消费者的分区分配和重平衡
消费方式 我们直到在性能设计中异步模式，一般要么是采用pull，要么采用push。而两种方式各有优缺点。 pull ：说白了就是通过消费端进行主动拉去数据，会根据自身系统处理能力去获取消息，上有Broker系统无需关注消费端的…...
【Python从入门到人工智能】14个必会的Python内置函数（7）——打印输出（详细语法参考 + 参数说明 + 具体示例）| 附：Python输出表情包
你仔细想想，你和谁在一起的时候，最放得开、最自然、最舒服，又毫无顾忌，可以做回真实的你。那个人才是你心里最特别，最重要的人。 🎯作者主页： 追光者♂🔥 🌸个人简介： 💖[1] 计算机专业硕士研究生💖 🌟[2] 2022年度博客之星人工智能领域TOP4�…...