Flink+Doris 实时数仓
Flink+Doris 实时数仓
Doris基本原理
Doris基本架构非常简单，只有FE(Frontend)、BE(Backend)两种角色，不依赖任何外部组件，对部署和运维非常友好。架构图如下
可以 看到Doris 的数仓架构十分简洁，不依赖 Hadoop 生态组件，构建及运维成本较低。
FE（Frontend）以 Java 语言为主，主要功能职责：
- 接收用户连接请求（MySql 协议层）
- 元数据存储与管理
- 查询语句的解析与执行计划下发
- 集群管控
FE 主要有有两种角色，一个是 follower，还有一个 observer，leader是经过选举推选出的特殊follower。follower主要是用来达到元数据的高可用，保证单节点宕机的情况下，元数据能够实时地在线恢复，而不影响整个服务。
而 Observer 不会参与选举，因此 Observer 也不会成为 Master 。 一条元数据日志需要在多数 Follower 节点写入成功，才算成功。比如3个 FE ，2个写入成功才可以。这也是为什么 Follower 角色的个数需要是奇数的原因。 Observer 角色和这个单词的含义一样，仅仅作为观察者来同步已经成功写入
相关文章：
Flink+Doris 实时数仓
Flink+Doris 实时数仓 Doris基本原理 Doris基本架构非常简单，只有FE(Frontend)、BE(Backend)两种角色，不依赖任何外部组件，对部署和运维非常友好。架构图如下 可以 看到Doris 的数仓架构十分简洁，不依赖 Hadoop 生态组件，构建及运维成本较低。 FE（Frontend）以 Java 语…...
windows 任务计划自动提交 笔记到github 、gitee
一、必须有个git仓库托管到git上。 这个就不用说了，自己在github或者码云上新建一个仓库就行了。 二、创建自动提交脚本 这个bat脚本是在windows环境下使用的。 注意：windows定时任务下 调用自动提交git前，必须先进入该git仓库目录&#x…...
闭包和装饰器
#闭包的作用 #全局变量有被修改的风险，代码在命名空间上不够干净整洁 #第一种，不使用闭包的场景 account_amount0 def atm(num,depositTrue):global account_amountif deposit:account_amountnumprint(f"存款：{num}，账户余额…...
注册器模式
注册器模式 注册器模式（Registry Pattern）是一种设计模式，用于管理和维护对象的注册和检索。它允许您在运行时注册对象，并通过一个唯一的标识符或名称来检索这些对象。这种模式通常用于构建可扩展的、松耦合的系统，其…...
5SpringMVC处理Ajax请求携带的JSON格式(“key“:value)的请求参数
SpringMVC处理Ajax 参考文章数据交换的常见格式,如JSON格式和XML格式 请求参数的携带方式 浏览器发送到服务器的请求参数有namevalue&...(键值对)和{key:value,...}(json对象)两种格式 URL请求会将请求参数以键值对的格式拼接到请求地址后面,form表单的GET和POST请求会…...
学习笔记|ADC|NTC原理|测温程序|STC32G单片机视频开发教程（冲哥）|第十九集：ADC应用之NTC
文章目录 1.NTC的原理开发板上的NTC 2.NTC的测温程序编写3.实战小练总结课后练习 1.NTC的原理 NTC（Negative Temperature Coefficient）是指随温度上升电阻呈指数关系减小、具有负温度系数的热敏电阻现象和材料。该材料是利用锰、铜、硅、钴、铁、镍、锌…...
Redisson 集成SpringBoot 详解
一、引入依赖 <dependency><groupId>org.redisson</groupId><artifactId>redisson-spring-boot-starter</artifactId><version>3.23.5</version></dependency> redison-spring-boot-starter依赖于与最新版本的spring-boot兼容…...
C# 下载模板文件 Excel
后端代码 [HttpGet("DownloadExcel")]public async Task<dynamic> DownloadExcel(string tmplName){var _fileName "导入表模板.xlsx";var filePath "Files\DownLoad\";var NewFile Path.Combine(filePath, tmplName);var stream new…...
如何做好sop流程图？sop流程图用什么软件做？
5.如何做好sop流程图？sop流程图用什么软件做？ 建立标准作业程序sop已经成为企业进步和发展的必经之路，不过，很多刚刚开始着手搭建sop的企业并不知道要如何操作，对于如何做sop流程图、用什么软件做sop流程图等问题充满…...
JAVA编程题-求矩阵螺旋值
螺旋类 package entity; /*** 打印数组螺旋值类*/ public class Spiral { // 数组行private int row; // 数组列private int col; // 行列数private int size; // 当前行索引private int rowIndex; // 当前列索引private int colIndex; // 行开始索引private int rowStart; //…...
Python--入门
标识符 标识符由字母，数字，下划线_组成 第一个字符不能是数字，必须是字母或下划线 标识符区分大小写 关键字 关键字即保留字，定义标识符时不能使用关键字，python中的关键字如下图 注释 python中的单行注释用 # 多行注…...
STM32复习笔记（二）：GPIO
目录 （一）Demo流程 （二）工程配置 （三）代码部分 （四）外部中断（EXTI） （一）Demo流程 首先，板子上有4个按键，…...
POJ 3264 Balanced Lineup 线段树 / 平方分割
一、题目大意 给出一个长度为 n（n<50000) 数组 arr，进行Q次查询（Q<200000），每次查询的内容为数组arr在 [L , R] 的切片的极差（最大元素 - 最小元素） 二、解题思路 1、线段树 区间极差…...
element-plus自动引入组件报错，例如collapse、loading
element-plus自动引入组件，例如collapse、loading，使用时报错，报错信息如下图所示： 解决办法：vite-config.ts改变vue的引入顺序，将vue放在第一个...
ChainForge：衡量Prompt性能和模型稳健性的GUI工具包
ChainForge是一个用于构建评估逻辑来衡量模型选择，提示模板和执行生成过程的GUI工具包。ChainForge可以安装在本地，也可以从chrome浏览器运行。 ChainForge可以通过聊天节点对多个对话可以使用不同的llm并行运行。可以对聊天消息进行模板化，并…...
队列--二叉树层序遍历
/*1/ \2 3/\ /\4 5 6 7利用LinkedListQueue1. 头 [1] 尾12.头 [2 3] 尾1 23.头 [3 4 5] 尾1 24.头 [4 5 6 7] 尾1 2 35.头 [] 尾1 2 3 4 5 6 7*/ 代码： class Solution {public List<List<Integer>> levelOrder(TreeNode root) {List<List&l…...
Ceph入门到精通-Linux内核网络参数优化小结
tcp建连优化 1 tcp建连，降低客户端超时时间 net.ipv4.tcp_syn_retries 6 2 tcp建连，服务端避免syn攻击 netstat -s | grep "SYNs to LISTEN" 1192450 SYNs to LISTEN sockets dropped 可以考虑增大syn队列 net.ipv4.tcp_max_syn_backlo…...
AWK语言第二版 2.6个人库 2.7小结
2.6 个人库 Awk提供了适量的内置函数库，如 length、sub、substr、printf 等其他十来个；在A.2.1节的参考手册中都有列出。你可以自己创建更多函数，以便有需要时引入到Awk程序中。比如内置库函数 sub 和 gsub 都只能返回替换的次数，…...
8年经验之谈 —— Web ui自动化测试框架总结！
实施过了web系统的UI自动化，回顾梳理下，想到什么写什么，随时补充。 首先，自动化测试不是手动测试的替代品，是比较好的补充，而且不是占大比重的补充。 70%的测试工作集中在底层接口测试和单元测试࿰…...
Kafka在企业级应用中的实践
前言 前面说了很多Kafka的性能优点，有些童鞋要说了，这Kafka在企业开发或者企业级应用中要怎么用呢？今天咱们就来简单探究一下。 1、 使用 Kafka 进行消息的异步处理 Kafka 提供了一个可靠的消息传递机制，使得企业能够将不同组件…...
LinkSwift：九大网盘直链下载助手的终极技术解析与实践指南
LinkSwift：九大网盘直链下载助手的终极技术解析与实践指南 【免费下载链接】Online-disk-direct-link-download-assistant 一个基于 JavaScript 的网盘文件下载地址获取工具。基于【网盘直链下载助手】修改 ，支持 百度网盘 / 阿里云盘 / 中国移动云盘 / …...
5G基站功率自适应算法突破
SummaryArticleObjectiveMethodComments统计机器翻译领域自适应综述解决统计机器翻译中训练数据和测试数据的领域分布不一致问题，提高翻译模型的性能和准确性基于数据选择的方法：选择和目标领域文本相似的源领域数据进行模型的训练。基于混合模型的方法&…...
终极指南：CodeGuide数据备份与恢复策略，保障Java开发项目安全无忧
终极指南：CodeGuide数据备份与恢复策略，保障Java开发项目安全无忧 【免费下载链接】CodeGuide :books: 本代码库是作者小傅哥多年从事一线互联网 Java 开发的学习历程技术汇总，旨在为大家提供一个清晰详细的学习教程，侧重点更倾向…...
别再被误导！Perplexity官网未明示的4项关键限制（附Chrome插件实时监控方案）
更多请点击： https://intelliparadigm.com 第一章：Perplexity免费版限制说明 Perplexity AI 的免费版本为用户提供了便捷的实时网络搜索与大模型问答能力，但其功能边界受明确策略约束。理解这些限制对合理规划研究、开发或日常使用至关重要。…...
长期使用Taotoken聚合API对项目开发效率的实际影响
🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 长期使用Taotoken聚合API对项目开发效率的实际影响 在为期数月的项目开发周期中，我们团队将Taotoken作为所有大模型调用…...
如何用Draw.io ECE插件绘制教科书级别的电路图？
如何用Draw.io ECE插件绘制教科书级别的电路图？ 【免费下载链接】Draw-io-ECE Custom-made draw.io-shapes - in the form of an importable library - for drawing circuits and conceptual drawings in draw.io. 项目地址: https://gitcode.com/gh_mirrors/dr/D…...
CentOS 7服务器上，从零搞定NVIDIA驱动和CUDA 11.1的保姆级避坑指南
CentOS 7服务器NVIDIA驱动与CUDA 11.1实战避坑手册 接手一台老旧GPU服务器时，最令人头疼的莫过于搭建深度学习环境。那些看似简单的安装步骤背后，往往隐藏着无数个让新手崩溃的"坑"。本文将带你穿越雷区，用最稳妥的方式在CentOS 7上…...
JetBrains IDE试用期重置技术全解析：从原理到实战的开发者指南
JetBrains IDE试用期重置技术全解析：从原理到实战的开发者指南 【免费下载链接】ide-eval-resetter 项目地址: https://gitcode.com/gh_mirrors/id/ide-eval-resetter 在JetBrains IDE生态系统中，试用期管理是每个开发者都会面临的实际问题。ide…...
AIStoryBuilders：基于LangChain与向量数据库的智能故事创作框架解析
1. 项目概述：当AI成为你的故事合伙人如果你和我一样，既痴迷于天马行空的叙事，又时常被“灵感枯竭”或“情节卡壳”折磨，那么“AIStoryBuilders”这个项目，绝对值得你花时间深入了解。它不是一个简单的AI写作工具&#…...
怎样免费去掉图片水印？2026年免费去水印工具推荐｜在线vs软件对比
在日常工作和生活中，我们经常会遇到带有水印的图片。无论是来自社交媒体平台、在线图库还是其他来源，这些水印往往影响图片的使用效果。2026年，市面上出现了多种免费去水印工具，它们采用不同的技术方案，适用于不同的使…...