当前位置： 首页 > news >正文

Flink+Spark相关记录

news 2026/2/9 7:06:59

Flink+Spark相关记录

  • FlinkSQL
  • Flink Streaming的一些点
  • 覆写RichSource、RichSink、RichMap
    1.Source自动负载均衡，CDC源端加入一个全局调控的节点监控流量流速
    2.Sink并发写入
    3.Map与Iterator与增量迭代等用法
  • 关于Checkpoint几个用法
    1.提交Commit至目的端数据库
    2.UnalignedCheckpoint与ChandyLamport与ChangeLog存增量快照
    3.Buffer写盘
    4.ckp与record共抢一把锁，独占writeBuffer（1.16版本），ckp禁止太快
    5.State写盘+broadcast+JVM+keyState+operatorState+并行度自动扩缩容时恢复

Spark记录

  • groupByKey
  • reduceByKey
  • combineByKey(createCombiner+mergeValue+mergeCombiner)
  • aggregate(n)(seqOp,combOp)
  • 关于ByKey和Join不一定会产生shuffle，先设置好new HashPartition或Custom或Range、之后直接forward不需要shuffle
  • Driver产生一个DAG
    1.一个DAG里的一个节点=>一个RDD
    2.一个RDD=>多个分区
    3.一个分区=>一个Task
    ===>一个DAG有多个RDD，一个RDD有多个Task
    ===>也就是DAG控制多个弹性数据集流转
  • JVM与堆外内存
  • JVM里的StorageMemory（读RDD用）和ExecutionMemory（shuffle/agg/join用）
  • 关于合理设计Block->TaskPartition大小，(4G-200M)*0.5，又因为动态可以弹性，可直接3.8G
  • Spark设置cache和persist缓存级别（每个分区的都会cache，cache务必保证100%否则重算）
  • 对于Flink又有一个slot(JVM)里运行多个算子，所以可以考虑slot内数据总量和资源消耗整体分析
  • 关于Executor add后很久才执行，说明任务调度拥堵
  • 堆外内存

相关文章：

Flink+Spark相关记录

FlinkSpark相关记录 FlinkSQL Flink Streaming的一些点覆写RichSource、RichSink、RichMap 1.Source自动负载均衡，CDC源端加入一个全局调控的节点监控流量流速 2.Sink并发写入 3.Map与Iterator与增量迭代等用法关于Checkpoint几个用法 1.提交Commit至目的端数据库 2…...

编程日记 2024/9/19 14:55:36

2023 hnust 湖科大 毕业实习 报告+实习鉴定表

2023 hnust 湖科大 毕业实习 报告实习鉴定表 岗位 IT公司机房运维 实习报告 实习鉴定表 常见疑问 hnust 湖科大 毕业实习常见问题30问（2021 年7月，V0.9）-CSDN博客时间：大四开学第三四周毕业实习23年是企业（黑马&am…...

编程日记 2024/9/19 14:54:35

ConflictingBeanDefinitionException | 运行SpringBoot项目时报错bean定义冲突解决方案

具体报错： Caused by: org.springframework.context.annotation.ConflictingBeanDefinitionException: Annotation-specified bean name ‘CommissionMapperImpl’ for bean class [com.xxx.mapper.carrier.CommissionMapperImpl] conflicts with existing, non-co…...

编程日记 2024/9/19 14:42:20

如何切换淘宝最新镜像源（npm）【2024版】

在使用 Node.js 和 npm 进行开发时，大家通常会遇到 npm 源速度较慢的问题。特别是当你需要安装大量依赖时，npm 官方源的速度可能不尽如人意。幸运的是，淘宝提供了一个更快速的 npm 镜像源，可以让你更快地下载和安装包。本文将介绍…...

编程日记 2024/9/19 14:37:54

YoloV10改进策略：Block改进|PromptIR（NIPS‘2023）|轻量高效，即插即用|(适用于分类、分割、检测等多种场景)

文章目录 摘要代码详解如何在自己的论文中描述改进方法测试结果总结摘要 本文使用PromptIR框架中的PGM模块来改进YoloV10。PGM（Prompt Generation Module）模块是PromptIR框架中的一个重要组成部分，主要负责生成输入条件化的提示（prompts）。这些提示是一组可学习的参数，它…...

编程日记 2024/9/19 14:36:25

使用rust自制操作系统内核

一、系统简介 本操作系统是一个使用rust语言实现，基于32位的x86CPU的分时操作系统。 项目地址（求star）：GitHub - CaoGaorong/os-in-rust: 使用rust实现一个操作系统内核 详细文档：自制操作系统 语雀 1. 项目特性 …...

编程日记 2024/9/19 14:34:44

Flink难点和高阶面试题：Flink的状态管理机制如何保证数据处理的准确性和完整性

1 Flink状态管理机制核心要素 1.1 内置状态后端 在Apache Flink中，状态管理机制是确保数据处理准确性与完整性的关键环节。其核心在于灵活且高效的状态后端，这些后端负责在分布式环境中安全地存储和访问状态数据。Flink提供了多种内置状态后端，其中RocksDB和内存状态后端最…...

编程日记 2024/9/19 14:31:04

【激励广告带来的广告收入与用户留存率的双重提升】

激励广告带来的广告收入与用户留存率的双重提升 ) 随着移动应用市场的竞争加剧，如何通过广告变现成为众多开发者关注的焦点。其中，激励广告（Rewarded Ads）凭借其用户友好、互动性强等特点，逐渐成为开发者的首选。那些…...

编程日记 2024/9/19 14:28:58

指针和引用；内联函数和普通函数

1. 指针和引用 1.1 定义和性质区别 指针是一个变量，只不过这个变量存储的是一个地址，指向内存的一个存储单元；而引用跟原来的变量实质上是同一个东西，只不过是原变量的一个别名而已。可以有const指针，常量指针可以改…...

编程日记 2024/9/19 14:27:57

简单题67.二进制求和 （java）20240919

题目描述： Java： class Solution {public String addBinary(String a, String b) {StringBuilder result new StringBuilder();int i a.length()-1;int j b.length()-1;int carry 0; //记录进位信息while(i>0 || j>0 || carry!0){int sum ca…...

编程日记 2024/9/19 14:26:56

DDD的主要流程

DDD 开发流程分为模型的建立和模型的实现两大部分，接下来是具体的流程讲解以及流程图。 1. 模型的建立 捕获行为需求：在这一阶段，团队要识别系统中需要完成的任务、操作流程、功能需求以及每个功能由谁操作、会产生什么结果。我们可以通过 …...

编程日记 2024/9/19 14:25:55

linux驱动开发-设备树

设备树的历史背景 背景： 在早期的嵌入式系统中，硬件配置信息通常硬编码在内核源码中，这导致了内核代码的冗长和难以维护。 为了解决这个问题，设备树（Device Tree）被引入，使得硬件描述与内核代…...

编程日记 2024/9/19 14:24:53

数据结构——二叉树堆的专题

1.堆的概念及结构 如果有一个关键码的集合K {K0 &#xff0c;K1 &#xff0c;K2 &#xff0c;K3…&#xff0c;K(N-1) }&#xff0c;把它的所有元素按完全二叉树的顺序存储方式存储 在一个一维数组中&#xff0c;并满足&#xff1a;Ki < K2*i1且 Ki<K2*i2 ) i 0&#…...

编程日记 2024/9/19 14:23:52

【C语言零基础入门篇 - 7】：拆解函数的奥秘：定义、声明、变量，传递须知，嵌套玩转，递归惊艳

文章目录 函数函数的定义与声明局部变量和全局变量、静态变量静态变量和动态变量函数的值传递函数参数的地址传值 函数的嵌套使用函数的递归调用 函数 函数的定义与声明 函数的概念&#xff1a;函数是C语言项目的基本组成单位。实现一个功能可以封装一个函数来实现。定义函数的…...

编程日记 2024/9/19 14:21:49

ClickHouse在AI领域的结合应用

文章目录 引言1.1 人工智能与大数据的融合1.2 ClickHouse在大数据平台中的地位2.1 BI与AI的融合从传统BI到智能BIAI赋能BI融合的优势实际应用案例 2.2 异构数据处理的重要性数据多样性的挑战异构数据处理的需求技术实现实际应用案例 2.3 向量检索与AIOps技术向量检索的背景AIOp…...

编程日记 2024/9/19 14:20:48

git push出错Push cannot contain secrets

报错原因&#xff1a; 因为你的代码里面包含了github token明文信息&#xff0c;github担心你的token会泄漏&#xff0c;所以就不允许你推送这些内容。 解决办法&#xff1a; 需要先把代码里面的github token信息删除掉&#xff0c;并且删掉之前的历史提交&#xff0c;只要包…...

编程日记 2024/9/19 14:19:47

OpenAI 的最强模型 o1 的“护城河”失守？谷歌 DeepMind 早已揭示相同原理

发布不到一周&#xff0c;OpenAI 的最新模型 o1 的“护城河”似乎已经失守。 近日&#xff0c;有人发现谷歌 DeepMind 早在今年 8 月发表的一篇论文&#xff0c;揭示了与 o1 模型极其相似的工作原理。 这项研究指出&#xff0c;在模型推理过程中增加测试时的计算量&#xff0c…...

编程日记 2024/9/19 14:18:45

【胡乱念叨】大模型的“我”

下面的内容很有可能事实错误&#xff0c;胡说八道&#xff0c;前后不连贯&#xff0c;举例随意且未经考证 甚至 有意欺骗&#xff01;嘻嘻。所以是【胡乱念叨】 文章目录 【胡乱念叨】大模型的“我”参数量和“我”什么是“我”从输入输出的观点看“我”大模型的“我”乱讨论 …...

编程日记 2024/9/19 14:16:42

Flag_AGtivity_clear_top网页编程指南如何退出多activity程序

activity的启动模式:FLAG_ACTIVITY_CLEAR_TOP和FLAG_ACTIVITY_REORDER_TO_FRONT。 1. 如果已经启动了四个Activity&#xff1a;A&#xff0c;B&#xff0c;C和D。在D Activity里&#xff0c;我们要跳到B Activity&#xff0c;同时希望C finish掉&#xff0c;可以在start…...

编程日记 2024/9/19 14:15:41

克隆centos网卡uuid相同如何修改

在克隆CentOS系统后&#xff0c;网卡的UUID相同会导致网络配置冲突&#xff0c;使得网络无法正常工作。要解决这个问题&#xff0c;你需要为每个克隆的系统生成新的UUID。 以下是解决步骤&#xff1a; 进入原始CentOS系统。 找到网络配置文件的位置&#xff0c;通常在 /etc/s…...

编程日记 2024/9/19 14:14:39

系统设计 --- MongoDB亿级数据查询优化策略

系统设计 --- MongoDB亿级数据查询分表策略 背景Solution --- 分表 背景 使用audit log实现Audi Trail功能 Audit Trail范围: 六个月数据量: 每秒5-7条audi log&#xff0c;共计7千万 – 1亿条数据需要实现全文检索按照时间倒序因为license问题&#xff0c;不能使用ELK只能使用…...

编程新知 2026/1/4 3:47:09

select、poll、epoll 与 Reactor 模式

在高并发网络编程领域&#xff0c;高效处理大量连接和 I/O 事件是系统性能的关键。select、poll、epoll 作为 I/O 多路复用技术的代表&#xff0c;以及基于它们实现的 Reactor 模式&#xff0c;为开发者提供了强大的工具。本文将深入探讨这些技术的底层原理、优缺点。​ 一、I…...

编程新知 2026/2/9 6:43:47

css3笔记 （1） 自用

outline: none 用于移除元素获得焦点时默认的轮廓线 broder:0 用于移除边框 font-size&#xff1a;0 用于设置字体不显示 list-style: none 消除<li> 标签默认样式 margin: xx auto 版心居中 width:100% 通栏 vertical-align 作用于行内元素 / 表格单元格&#xff…...

编程新知 2025/10/11 5:18:43

Pinocchio 库详解及其在足式机器人上的应用

Pinocchio 库详解及其在足式机器人上的应用 Pinocchio (Pinocchio is not only a nose) 是一个开源的 C 库&#xff0c;专门用于快速计算机器人模型的正向运动学、逆向运动学、雅可比矩阵、动力学和动力学导数。它主要关注效率和准确性&#xff0c;并提供了一个通用的框架&…...

编程新知 2025/11/28 5:32:31

React---day11

14.4 react-redux第三方库 提供connect、thunk之类的函数 以获取一个banner数据为例子 store&#xff1a; 我们在使用异步的时候理应是要使用中间件的&#xff0c;但是configureStore 已经自动集成了 redux-thunk&#xff0c;注意action里面要返回函数 import { configureS…...

编程新知 2026/1/19 2:13:24

Java编程之桥接模式

定义 桥接模式&#xff08;Bridge Pattern&#xff09;属于结构型设计模式&#xff0c;它的核心意图是将抽象部分与实现部分分离&#xff0c;使它们可以独立地变化。这种模式通过组合关系来替代继承关系&#xff0c;从而降低了抽象和实现这两个可变维度之间的耦合度。 用例子…...

编程新知 2026/1/23 10:28:48

GitFlow 工作模式（详解）

今天再学项目的过程中遇到使用gitflow模式管理代码&#xff0c;因此进行学习并且发布关于gitflow的一些思考 Git与GitFlow模式 我们在写代码的时候通常会进行网上保存&#xff0c;无论是github还是gittee&#xff0c;都是一种基于git去保存代码的形式&#xff0c;这样保存代码…...

编程新知 2026/1/26 12:37:40

Selenium常用函数介绍

目录 一&#xff0c;元素定位 1.1 cssSeector 1.2 xpath 二&#xff0c;操作测试对象 三&#xff0c;窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四&#xff0c;弹窗 五&#xff0c;等待 六&#xff0c;导航 七&#xff0c;文件上传 …...

编程新知 2026/1/29 3:55:23

C++课设：简易日历程序（支持传统节假日 + 二十四节气 + 个人纪念日管理）

名人说：路漫漫其修远兮，吾将上下而求索。—— 屈原《离骚》 创作者：Code_流苏(CSDN)（一个喜欢古诗词和编程的Coder😊） 专栏介绍：《编程项目实战》 目录 一、为什么要开发一个日历程序？1. 深入理解时间算法2. 练习面向对象设计3. 学习数据结构应用二、核心算法深度解析…...

编程新知 2025/7/20 6:08:51

基于Java+VUE+MariaDB实现（Web）仿小米商城

仿小米商城 环境安装 nodejs maven JDK11 运行 mvn clean install -DskipTestscd adminmvn spring-boot:runcd ../webmvn spring-boot:runcd ../xiaomi-store-admin-vuenpm installnpm run servecd ../xiaomi-store-vuenpm installnpm run serve 注意&#xff1a;运行前…...

编程新知 2026/1/31 4:37:40