传统数仓和clickhouse对比
背景
传统数仓一般都是Hive+SparkSql作为代表，不过也包括Kylin等，而clickhouse是实时OLAP的代表，我们简单看下他们的对比
传统数仓和clickhouse对比
Hive+SparkSQL的传统数仓：
1.数据更新速度慢，由于传统数仓一般都是基于HDFS构建的，数据更新也就意味着把数据写入HDFS文件中，由于大部分表数据的结构化做的比较差，比如都是基于String表示，所以写入性能很差，意味着数据更新速度非常慢
2.数据查询速度，基于SparkSql进行数据查询虽然可以利用spark基于内存的特点提高查询速度，但是总体上说这个查询速度还是太慢，不能支持实时查询的要求，为了支持实时查询的需求，一般会引入Kylin，也就是提前预计算，但是提前预计算的问题在于维度爆炸导致的数据膨胀问题，而这些数据会导致存储的大量占用或者浪费。
基于clickhouse的实时分析
1.数据更新速度中等，在ck中我们可以通过批量插入数据的方式来达到比较好的数据插入速度，当然比起OLTP来说，更新速度还是不足，但是通过分批的方式，达到每秒几万的数据插入速度还是可以做到的。
2.数据查询速度很快，这是ck最擅长的地方，可以在秒级别计算出各种维度的数据聚合的分析结果，而不需要进行预计算，自然也不需要浪费存储
相关文章：
传统数仓和clickhouse对比
背景 传统数仓一般都是HiveSparkSql作为代表，不过也包括Kylin等，而clickhouse是实时OLAP的代表，我们简单看下他们的对比 传统数仓和clickhouse对比 HiveSparkSQL的传统数仓： 1.数据更新速度慢，由于传统数仓一般都是…...
burpsuite的大名早有耳闻，近日得见尊荣，倍感荣幸
问题： burpsuite中文乱码何解？ burpsuite 与君初相识，犹如故人归。 burpsuite早有耳闻，近日得见真容，果然非同凡响。 Burp Suite is a comprehensive suite of tools for web application security testing. burp …...
Xshell连接VMware虚拟机中的CentOS
Xshell连接VMware虚拟机中的CentOShttps://www.cnblogs.com/niuben/p/13157291.html 步骤： 1. 检查Linux虚拟机的网络连接模式，确保它是NAT模式。（由于只在本机进行连接，所以没有选择桥接模式。当然，桥接模式的配置会…...
JVM类加载的过程和JVM垃圾回收机制
文章目录 一、JVM类加载的过程1.1类加载的基本流程1.1.1加载1.1.2验证1.1.3准备1.1.4解析1.1.5初始化 1.2双亲委派模型 二、JVM垃圾回收机制2.1找到垃圾2.1.1引用计数(比如Python，PHP中用到)2.1.2可达性分析(比如Java中用到) 2.2释放垃圾2.2.1标记清除2.2.2复制算法…...
【git error|SourceTree】error: bad signature 0x00000000 fatal: index file corrupt
报错 error: bad signature 0x00000000 fatal: index file corrupt 场景 在使用git add . 提交代码到缓冲区时或使用SourceTree时电脑宕机，重启后再次提交代码会出现该提示 原因分析 .git目录下的index文件损坏 解决方式 //删除索引文件 rm -f .git/index //回…...
读书笔记：《宽客人生：依曼纽尔·德曼》
金融工程，也叫数量金融，洞察了证券价值与不确定性之间的关系。 布莱克-斯科尔斯模型可以告诉我们如何利用标的股票来复制期权，以及复制期权的成本，做市商利用此来复制期权，以规避无法从其他人那里购买合适价格的期权的…...
车载通信架构 —— 传统车内通信网络LIN总线（低成本覆盖低速场景）
车载通信架构 —— 传统车内通信网络LIN总线（低成本覆盖低速场景） 我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 屏蔽力是信息过载时代一个人的特殊竞争力，任何消耗你的人和事，多看一眼都是…...
单例模式与多线程
目录 前言 正文 1.立即加载/饿汉模式 2.延迟加载/懒汉模式 1.延迟加载/懒汉模式解析 2.延迟加载/懒汉模式的缺点 3.延迟加载/懒汉模式的解决方案 （1）声明 synchronized 关键字 （2）尝试同步代码块 （3&am…...
Kafka系列 - Kafka一篇入门
Kafka是一个分布式流式处理平台。很多分布式处理系统，例如Spark，Flink等都支持与Kafka集成。 Kafka使用场景 消息系统：Kafka实现了消息顺序性保证和回溯消费。存储系统：Kafka把消息持久化到磁盘，相比于其他基于内存的…...
百度 文心一言 sdk 试用
JMaven Central: com.baidu.aip:java-sdk (sonatype.com) Java sdk地址如上： 文心一言开发者 文心一言 (baidu.com) ERNIE Bot SDK https://yiyan.baidu.com/developer/doc#Fllzznonw ERNIE Bot SDK提供便捷易用的接口，可以调用文心一言的能力&#…...
SQLite 和 SQLiteDatabase 的使用
实验七：SQLite 和 SQLiteDatabase 的使用 7.1 实验目的 本次实验的目的是让大家熟悉 Android 中对数据库进行操作的相关的接口、类等。SQLiteDatabase 这个是在 android 中数据库操作使用最频繁的一个类。通过它可以实现数据库的创建或打开、创建表、插入数据、删…...
Dempster-Shafer（D-S）证据理论的基本定义和详细分析，优点，缺点，应用！！（系列1）
文章目录 前言一、D-S证据理论的应用：二、D-S证据理论的优点：三、D-S证据理论的缺陷：四、D-S组合规则：总结 前言 Dempster-Shafer（D-S）证据理论是一种不精确推理理论，也称为Dempster/Shafer证据…...
Leetcode—15.三数之和【中等】
2023每日刷题（四十一） Leetcode—15.三数之和 实现代码 class Solution { public:vector<vector<int>> threeSum(vector<int>& nums) {sort(nums.begin(), nums.end());vector<vector<int>> ans;int i, j, k;int s,…...
3、Qt使用windeploy工具打包可执行文件
新建一个文件夹，把要打包的可执行文件exe拷贝过来 点击输入框，复制一下文件夹路径 点击电脑左下角，找到Qt文件夹， 点击打开 “Qt 5.12.0 for Desktop” （我安装的是Qt 5.12.0版本） 输入“cd bin”ÿ…...
[DFS深度优先搜索]集合里的乘法
集合里的乘法 题目描述 给定一个目标数T和一个整数集合S，判断是否存在S的一个非空子集，子集中的数相乘的积为T。 关于输入 输入为两行。 第一行为目标数T，和S中的元素个数N，以空格隔开。 第二行为S中的N个元素，以空…...
K8s 中 Pod OOMKilled 原因
目录 Exit Code 137 解决方案 JVM 感知 cgroup 限制 使用 JDK9 的容器感知机制尝试 问题分析 容器内部感知 CGroup 资源限制 在 Java10 中，改进了容器集成 JVM 参数 MaxDirectMemorySize -XX:MaxDirectMemorySize 的默认值是什么？ 其他获取 ma…...
为什么程序员最应该学习的是运营与销售，而不是技术？
大概几个月前，我加入了某副业交流群。这里人才很多，不光是传统意义上的程序员，也有公司老板、偏门大佬、产品经理等。 群里的聊天主题就是搞钱俩字，大家讨论着如何搞钱，分享每日收益情况，以及自己做的产品等…...
MySql数据库常用指令（五）多表连接
MySql数据库常用指令（五）多表连接 一、内连接,或等值连接二、左连接三、右连接 实际应用中，我们常常要连接几个不同的MySQL表，因此在 SELECT, UPDATE 和 DELETE 语句中使用 Mysql 的 JOIN 来联合多表查询 INNER JOIN（内…...
Centos7使用rpm安装mysql 5.7.43
Centos7使用rpm安装mysql 5.7.43 1、下载rpm包 wget https://downloads.mysql.com/archives/get/p/23/file/mysql-5.7.43-1.el7.x86_64.rpm-bundle.tar2、解压并安装 tar xf mysql-5.7.43-1.el7.x86_64.rpm-bundle.tar yum -y install mysql-*3、按需修改mysql配置 #注意&a…...
补充：如何提高selenium的运行速度？
已经通读该专栏文章的同学，或许对UI自动化测试有了一定的掌握，细心的同学肯定会发现一个问题，当用例量达到一定程度时，对于整体用例的执行速度肯定不会很满意。除了应用多线程运行用例的方式加快速度，有没有其他的方法呢？ 今天告诉大家，方法是有的！也是本人新学的。即…...
stm32G473的flash模式是单bank还是双bank？
今天突然有人stm32G473的flash模式是单bank还是双bank？由于时间太久，我真忘记了。搜搜发现，还真有人和我一样。见下面的链接：https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...
＜6＞-MySQL表的增删查改
目录 一，create（创建表） 二，retrieve（查询表） 1，select列 2，where条件 三，update（更新表） 四，delete（删除表…...
K8S认证|CKS题库+答案| 11. AppArmor
目录 11. AppArmor 免费获取并激活 CKA_v1.31_模拟系统 题目 开始操作： 1）、切换集群 2）、切换节点 3）、切换到 apparmor 的目录 4）、执行 apparmor 策略模块 5）、修改 pod 文件 6）、…...
Qt Widget类解析与代码注释
#include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this); }Widget::~Widget() {delete ui; }//解释这串代码，写上注释 当然可以！这段代码是 Qt …...
ESP32 I2S音频总线学习笔记（四）： INMP441采集音频并实时播放
简介 前面两期文章我们介绍了I2S的读取和写入，一个是通过INMP441麦克风模块采集音频，一个是通过PCM5102A模块播放音频，那如果我们将两者结合起来，将麦克风采集到的音频通过PCM5102A播放，是不是就可以做一个扩音器了呢…...
ffmpeg（四）：滤镜命令
FFmpeg 的滤镜命令是用于音视频处理中的强大工具，可以完成剪裁、缩放、加水印、调色、合成、旋转、模糊、叠加字幕等复杂的操作。其核心语法格式一般如下： ffmpeg -i input.mp4 -vf "滤镜参数" output.mp4或者带音频滤镜： ffmpeg…...
unix/linux，sudo，其发展历程详细时间线、由来、历史背景
sudo 的诞生和演化，本身就是一部 Unix/Linux 系统管理哲学变迁的微缩史。来，让我们拨开时间的迷雾，一同探寻 sudo 那波澜壮阔（也颇为实用主义）的发展历程。 历史背景：su的时代与困境 ( 20 世纪 70 年代 - 80 年代初) 在 sudo 出现之前，Unix 系统管理员和需要特权操作的…...
Spring Boot+Neo4j知识图谱实战：3步搭建智能关系网络！
一、引言 在数据驱动的背景下，知识图谱凭借其高效的信息组织能力，正逐步成为各行业应用的关键技术。本文聚焦 Spring Boot与Neo4j图数据库的技术结合，探讨知识图谱开发的实现细节，帮助读者掌握该技术栈在实际项目中的落地方法。 …...
Android 之 kotlin 语言学习笔记三（Kotlin-Java 互操作）
参考官方文档：https://developer.android.google.cn/kotlin/interop?hlzh-cn 一、Java（供 Kotlin 使用） 1、不得使用硬关键字 不要使用 Kotlin 的任何硬关键字作为方法的名称 或字段。允许使用 Kotlin 的软关键字、修饰符关键字和特殊标识…...
精益数据分析（97/126）：邮件营销与用户参与度的关键指标优化指南
精益数据分析（97/126）：邮件营销与用户参与度的关键指标优化指南 在数字化营销时代，邮件列表效度、用户参与度和网站性能等指标往往决定着创业公司的增长成败。今天，我们将深入解析邮件打开率、网站可用性、页面参与时…...