Flink+Spark相关记录
Flink+Spark相关记录
- FlinkSQL
- Flink Streaming的一些点
- 覆写RichSource、RichSink、RichMap
1.Source自动负载均衡，CDC源端加入一个全局调控的节点监控流量流速
2.Sink并发写入
3.Map与Iterator与增量迭代等用法 - 关于Checkpoint几个用法
1.提交Commit至目的端数据库
2.UnalignedCheckpoint与ChandyLamport与ChangeLog存增量快照
3.Buffer写盘
4.ckp与record共抢一把锁，独占writeBuffer（1.16版本），ckp禁止太快
5.State写盘+broadcast+JVM+keyState+operatorState+并行度自动扩缩容时恢复
Spark记录
- groupByKey
- reduceByKey
- combineByKey(createCombiner+mergeValue+mergeCombiner)
- aggregate(n)(seqOp,combOp)
- 关于ByKey和Join不一定会产生shuffle，先设置好new HashPartition或Custom或Range、之后直接forward不需要shuffle
- Driver产生一个DAG
1.一个DAG里的一个节点=>一个RDD
2.一个RDD=>多个分区
3.一个分区=>一个Task
===>一个DAG有多个RDD，一个RDD有多个Task
===>也就是DAG控制多个弹性数据集流转
- JVM与堆外内存
- JVM里的StorageMemory（读RDD用）和ExecutionMemory（shuffle/agg/join用）
- 关于合理设计Block->TaskPartition大小，(4G-200M)*0.5，又因为动态可以弹性，可直接3.8G
- Spark设置cache和persist缓存级别（每个分区的都会cache，cache务必保证100%否则重算）
- 对于Flink又有一个slot(JVM)里运行多个算子，所以可以考虑slot内数据总量和资源消耗整体分析
- 关于Executor add后很久才执行，说明任务调度拥堵
- 堆外内存
相关文章：
Flink+Spark相关记录
FlinkSpark相关记录 FlinkSQL Flink Streaming的一些点覆写RichSource、RichSink、RichMap 1.Source自动负载均衡，CDC源端加入一个全局调控的节点监控流量流速 2.Sink并发写入 3.Map与Iterator与增量迭代等用法关于Checkpoint几个用法 1.提交Commit至目的端数据库 2…...
2023 hnust 湖科大 毕业实习 报告+实习鉴定表
2023 hnust 湖科大 毕业实习 报告实习鉴定表 岗位 IT公司机房运维 实习报告 实习鉴定表 常见疑问 hnust 湖科大 毕业实习常见问题30问（2021 年7月，V0.9）-CSDN博客时间：大四开学第三四周毕业实习23年是企业（黑马&am…...
ConflictingBeanDefinitionException | 运行SpringBoot项目时报错bean定义冲突解决方案
具体报错： Caused by: org.springframework.context.annotation.ConflictingBeanDefinitionException: Annotation-specified bean name ‘CommissionMapperImpl’ for bean class [com.xxx.mapper.carrier.CommissionMapperImpl] conflicts with existing, non-co…...
如何切换淘宝最新镜像源（npm）【2024版】
在使用 Node.js 和 npm 进行开发时，大家通常会遇到 npm 源速度较慢的问题。特别是当你需要安装大量依赖时，npm 官方源的速度可能不尽如人意。幸运的是，淘宝提供了一个更快速的 npm 镜像源，可以让你更快地下载和安装包。本文将介绍…...
YoloV10改进策略：Block改进|PromptIR（NIPS‘2023）|轻量高效，即插即用|(适用于分类、分割、检测等多种场景)
文章目录 摘要代码详解如何在自己的论文中描述改进方法测试结果总结摘要 本文使用PromptIR框架中的PGM模块来改进YoloV10。PGM（Prompt Generation Module）模块是PromptIR框架中的一个重要组成部分，主要负责生成输入条件化的提示（prompts）。这些提示是一组可学习的参数，它…...
使用rust自制操作系统内核
一、系统简介 本操作系统是一个使用rust语言实现，基于32位的x86CPU的分时操作系统。 项目地址（求star）：GitHub - CaoGaorong/os-in-rust: 使用rust实现一个操作系统内核 详细文档：自制操作系统 语雀 1. 项目特性 …...
Flink难点和高阶面试题：Flink的状态管理机制如何保证数据处理的准确性和完整性
1 Flink状态管理机制核心要素 1.1 内置状态后端 在Apache Flink中，状态管理机制是确保数据处理准确性与完整性的关键环节。其核心在于灵活且高效的状态后端，这些后端负责在分布式环境中安全地存储和访问状态数据。Flink提供了多种内置状态后端，其中RocksDB和内存状态后端最…...
【激励广告带来的广告收入与用户留存率的双重提升】
激励广告带来的广告收入与用户留存率的双重提升 ) 随着移动应用市场的竞争加剧，如何通过广告变现成为众多开发者关注的焦点。其中，激励广告（Rewarded Ads）凭借其用户友好、互动性强等特点，逐渐成为开发者的首选。那些…...
指针和引用；内联函数和普通函数
1. 指针和引用 1.1 定义和性质区别 指针是一个变量，只不过这个变量存储的是一个地址，指向内存的一个存储单元；而引用跟原来的变量实质上是同一个东西，只不过是原变量的一个别名而已。可以有const指针，常量指针可以改…...
简单题67.二进制求和 （java）20240919
题目描述： Java： class Solution {public String addBinary(String a, String b) {StringBuilder result new StringBuilder();int i a.length()-1;int j b.length()-1;int carry 0; //记录进位信息while(i>0 || j>0 || carry!0){int sum ca…...
DDD的主要流程
DDD 开发流程分为模型的建立和模型的实现两大部分，接下来是具体的流程讲解以及流程图。 1. 模型的建立 捕获行为需求：在这一阶段，团队要识别系统中需要完成的任务、操作流程、功能需求以及每个功能由谁操作、会产生什么结果。我们可以通过 …...
linux驱动开发-设备树
设备树的历史背景 背景： 在早期的嵌入式系统中，硬件配置信息通常硬编码在内核源码中，这导致了内核代码的冗长和难以维护。 为了解决这个问题，设备树（Device Tree）被引入，使得硬件描述与内核代…...
数据结构——二叉树堆的专题
1.堆的概念及结构 如果有一个关键码的集合K {K0 ，K1 ，K2 ，K3…，K(N-1) }，把它的所有元素按完全二叉树的顺序存储方式存储 在一个一维数组中，并满足：Ki < K2*i1且 Ki<K2*i2 ) i 0&#…...
【C语言零基础入门篇 - 7】：拆解函数的奥秘：定义、声明、变量，传递须知，嵌套玩转，递归惊艳
文章目录 函数函数的定义与声明局部变量和全局变量、静态变量静态变量和动态变量函数的值传递函数参数的地址传值 函数的嵌套使用函数的递归调用 函数 函数的定义与声明 函数的概念：函数是C语言项目的基本组成单位。实现一个功能可以封装一个函数来实现。定义函数的…...
ClickHouse在AI领域的结合应用
文章目录 引言1.1 人工智能与大数据的融合1.2 ClickHouse在大数据平台中的地位2.1 BI与AI的融合从传统BI到智能BIAI赋能BI融合的优势实际应用案例 2.2 异构数据处理的重要性数据多样性的挑战异构数据处理的需求技术实现实际应用案例 2.3 向量检索与AIOps技术向量检索的背景AIOp…...
git push出错Push cannot contain secrets
报错原因： 因为你的代码里面包含了github token明文信息，github担心你的token会泄漏，所以就不允许你推送这些内容。 解决办法： 需要先把代码里面的github token信息删除掉，并且删掉之前的历史提交，只要包…...
OpenAI 的最强模型 o1 的“护城河”失守？谷歌 DeepMind 早已揭示相同原理
发布不到一周，OpenAI 的最新模型 o1 的“护城河”似乎已经失守。 近日，有人发现谷歌 DeepMind 早在今年 8 月发表的一篇论文，揭示了与 o1 模型极其相似的工作原理。 这项研究指出，在模型推理过程中增加测试时的计算量，…...
【胡乱念叨】大模型的“我”
下面的内容很有可能事实错误，胡说八道，前后不连贯，举例随意且未经考证 甚至 有意欺骗！嘻嘻。所以是【胡乱念叨】 文章目录 【胡乱念叨】大模型的“我”参数量和“我”什么是“我”从输入输出的观点看“我”大模型的“我”乱讨论 …...
Flag_AGtivity_clear_top网页编程指南如何退出多activity程序
activity的启动模式:FLAG_ACTIVITY_CLEAR_TOP和FLAG_ACTIVITY_REORDER_TO_FRONT。 1. 如果已经启动了四个Activity：A，B，C和D。在D Activity里，我们要跳到B Activity，同时希望C finish掉，可以在start…...
克隆centos网卡uuid相同如何修改
在克隆CentOS系统后，网卡的UUID相同会导致网络配置冲突，使得网络无法正常工作。要解决这个问题，你需要为每个克隆的系统生成新的UUID。 以下是解决步骤： 进入原始CentOS系统。 找到网络配置文件的位置，通常在 /etc/s…...
Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？
Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？ 在 Golang 的面试中，map 类型的使用是一个常见的考点，其中对 key 类型的合法性 是一道常被提及的基础却很容易被忽视的问题。本文将带你深入理解 Golang 中…...
《从零掌握MIPI CSI-2: 协议精解与FPGA摄像头开发实战》-- CSI-2 协议详细解析 (一）
CSI-2 协议详细解析 (一） 1. CSI-2层定义（CSI-2 Layer Definitions） 分层结构 ：CSI-2协议分为6层： 物理层（PHY Layer） ： 定义电气特性、时钟机制和传输介质（导线&#…...
连锁超市冷库节能解决方案：如何实现超市降本增效
在连锁超市冷库运营中，高能耗、设备损耗快、人工管理低效等问题长期困扰企业。御控冷库节能解决方案通过智能控制化霜、按需化霜、实时监控、故障诊断、自动预警、远程控制开关六大核心技术，实现年省电费15%-60%，且不改动原有装备、安装快捷、…...
剑指offer20_链表中环的入口节点
链表中环的入口节点 给定一个链表，若其中包含环，则输出环的入口节点。 若其中不包含环，则输出null。 数据范围 节点 val 值取值范围 [ 1 , 1000 ] [1,1000] [1,1000]。 节点 val 值各不相同。 链表长度 [ 0 , 500 ] [0,500] [0,500]。 …...
相机Camera日志分析之三十一：高通Camx HAL十种流程基础分析关键字汇总（后续持续更新中）
【关注我，后续持续新增专题博文，谢谢！！！】 上一篇我们讲了：有对最普通的场景进行各个日志注释讲解，但相机场景太多，日志差异也巨大。后面将展示各种场景下的日志。 通过notepad++打开场景下的日志，通过下列分类关键字搜索，即可清晰的分析不同场景的相机运行流程差异…...
html css js网页制作成品——HTML+CSS榴莲商城网页设计（4页）附源码
目录 一、👨🎓网站题目 二、✍️网站描述 三、📚网站介绍 四、🌐网站效果 五、🪓 代码实现 🧱HTML 六、🥇 如何让学习不再盲目 七、🎁更多干货 一、👨…...
rm视觉学习1-自瞄部分
首先先感谢中南大学的开源，提供了很全面的思路，减少了很多基础性的开发研究 我看的阅读的是中南大学FYT战队开源视觉代码 链接：https://github.com/CSU-FYT-Vision/FYT2024_vision.git 1.框架： 代码框架结构：readme有…...
Springboot 高校报修与互助平台小程序
一、前言 随着我国经济迅速发展，人们对手机的需求越来越大，各种手机软件也都在被广泛应用，但是对于手机进行数据信息管理，对于手机的各种软件也是备受用户的喜爱，高校报修与互助平台小程序被用户普遍使用，为…...
Linux中INADDR_ANY详解
在Linux网络编程中，INADDR_ANY 是一个特殊的IPv4地址常量（定义在 <netinet/in.h> 头文件中），用于表示绑定到所有可用网络接口的地址。它是服务器程序中的常见用法，允许套接字监听所有本地IP地址上的连接请求。 关…...
2025 后端自学UNIAPP【项目实战：旅游项目】7、景点详情页面【完结】
1、获取景点详情的请求【my_api.js】 // 引入公共的请求封装 import http from ./my_http.js// 登录接口（适配服务端返回 Token） export const login async (code, avatar) > {const res await http(/login/getWXSessionKey, {code,avatar}); };//…...