Flink+Spark相关记录
Flink+Spark相关记录
- FlinkSQL
- Flink Streaming的一些点
- 覆写RichSource、RichSink、RichMap
1.Source自动负载均衡，CDC源端加入一个全局调控的节点监控流量流速
2.Sink并发写入
3.Map与Iterator与增量迭代等用法 - 关于Checkpoint几个用法
1.提交Commit至目的端数据库
2.UnalignedCheckpoint与ChandyLamport与ChangeLog存增量快照
3.Buffer写盘
4.ckp与record共抢一把锁，独占writeBuffer（1.16版本），ckp禁止太快
5.State写盘+broadcast+JVM+keyState+operatorState+并行度自动扩缩容时恢复
Spark记录
- groupByKey
- reduceByKey
- combineByKey(createCombiner+mergeValue+mergeCombiner)
- aggregate(n)(seqOp,combOp)
- 关于ByKey和Join不一定会产生shuffle，先设置好new HashPartition或Custom或Range、之后直接forward不需要shuffle
- Driver产生一个DAG
1.一个DAG里的一个节点=>一个RDD
2.一个RDD=>多个分区
3.一个分区=>一个Task
===>一个DAG有多个RDD，一个RDD有多个Task
===>也就是DAG控制多个弹性数据集流转
- JVM与堆外内存
- JVM里的StorageMemory（读RDD用）和ExecutionMemory（shuffle/agg/join用）
- 关于合理设计Block->TaskPartition大小，(4G-200M)*0.5，又因为动态可以弹性，可直接3.8G
- Spark设置cache和persist缓存级别（每个分区的都会cache，cache务必保证100%否则重算）
- 对于Flink又有一个slot(JVM)里运行多个算子，所以可以考虑slot内数据总量和资源消耗整体分析
- 关于Executor add后很久才执行，说明任务调度拥堵
- 堆外内存
相关文章：
Flink+Spark相关记录
FlinkSpark相关记录 FlinkSQL Flink Streaming的一些点覆写RichSource、RichSink、RichMap 1.Source自动负载均衡，CDC源端加入一个全局调控的节点监控流量流速 2.Sink并发写入 3.Map与Iterator与增量迭代等用法关于Checkpoint几个用法 1.提交Commit至目的端数据库 2…...
2023 hnust 湖科大 毕业实习 报告+实习鉴定表
2023 hnust 湖科大 毕业实习 报告实习鉴定表 岗位 IT公司机房运维 实习报告 实习鉴定表 常见疑问 hnust 湖科大 毕业实习常见问题30问（2021 年7月，V0.9）-CSDN博客时间：大四开学第三四周毕业实习23年是企业（黑马&am…...
ConflictingBeanDefinitionException | 运行SpringBoot项目时报错bean定义冲突解决方案
具体报错： Caused by: org.springframework.context.annotation.ConflictingBeanDefinitionException: Annotation-specified bean name ‘CommissionMapperImpl’ for bean class [com.xxx.mapper.carrier.CommissionMapperImpl] conflicts with existing, non-co…...
如何切换淘宝最新镜像源（npm）【2024版】
在使用 Node.js 和 npm 进行开发时，大家通常会遇到 npm 源速度较慢的问题。特别是当你需要安装大量依赖时，npm 官方源的速度可能不尽如人意。幸运的是，淘宝提供了一个更快速的 npm 镜像源，可以让你更快地下载和安装包。本文将介绍…...
YoloV10改进策略：Block改进|PromptIR（NIPS‘2023）|轻量高效，即插即用|(适用于分类、分割、检测等多种场景)
文章目录 摘要代码详解如何在自己的论文中描述改进方法测试结果总结摘要 本文使用PromptIR框架中的PGM模块来改进YoloV10。PGM（Prompt Generation Module）模块是PromptIR框架中的一个重要组成部分，主要负责生成输入条件化的提示（prompts）。这些提示是一组可学习的参数，它…...
使用rust自制操作系统内核
一、系统简介 本操作系统是一个使用rust语言实现，基于32位的x86CPU的分时操作系统。 项目地址（求star）：GitHub - CaoGaorong/os-in-rust: 使用rust实现一个操作系统内核 详细文档：自制操作系统 语雀 1. 项目特性 …...
Flink难点和高阶面试题：Flink的状态管理机制如何保证数据处理的准确性和完整性
1 Flink状态管理机制核心要素 1.1 内置状态后端 在Apache Flink中，状态管理机制是确保数据处理准确性与完整性的关键环节。其核心在于灵活且高效的状态后端，这些后端负责在分布式环境中安全地存储和访问状态数据。Flink提供了多种内置状态后端，其中RocksDB和内存状态后端最…...
【激励广告带来的广告收入与用户留存率的双重提升】
激励广告带来的广告收入与用户留存率的双重提升 ) 随着移动应用市场的竞争加剧，如何通过广告变现成为众多开发者关注的焦点。其中，激励广告（Rewarded Ads）凭借其用户友好、互动性强等特点，逐渐成为开发者的首选。那些…...
指针和引用；内联函数和普通函数
1. 指针和引用 1.1 定义和性质区别 指针是一个变量，只不过这个变量存储的是一个地址，指向内存的一个存储单元；而引用跟原来的变量实质上是同一个东西，只不过是原变量的一个别名而已。可以有const指针，常量指针可以改…...
简单题67.二进制求和 （java）20240919
题目描述： Java： class Solution {public String addBinary(String a, String b) {StringBuilder result new StringBuilder();int i a.length()-1;int j b.length()-1;int carry 0; //记录进位信息while(i>0 || j>0 || carry!0){int sum ca…...
DDD的主要流程
DDD 开发流程分为模型的建立和模型的实现两大部分，接下来是具体的流程讲解以及流程图。 1. 模型的建立 捕获行为需求：在这一阶段，团队要识别系统中需要完成的任务、操作流程、功能需求以及每个功能由谁操作、会产生什么结果。我们可以通过 …...
linux驱动开发-设备树
设备树的历史背景 背景： 在早期的嵌入式系统中，硬件配置信息通常硬编码在内核源码中，这导致了内核代码的冗长和难以维护。 为了解决这个问题，设备树（Device Tree）被引入，使得硬件描述与内核代…...
数据结构——二叉树堆的专题
1.堆的概念及结构 如果有一个关键码的集合K {K0 ，K1 ，K2 ，K3…，K(N-1) }，把它的所有元素按完全二叉树的顺序存储方式存储 在一个一维数组中，并满足：Ki < K2*i1且 Ki<K2*i2 ) i 0&#…...
【C语言零基础入门篇 - 7】：拆解函数的奥秘：定义、声明、变量，传递须知，嵌套玩转，递归惊艳
文章目录 函数函数的定义与声明局部变量和全局变量、静态变量静态变量和动态变量函数的值传递函数参数的地址传值 函数的嵌套使用函数的递归调用 函数 函数的定义与声明 函数的概念：函数是C语言项目的基本组成单位。实现一个功能可以封装一个函数来实现。定义函数的…...
ClickHouse在AI领域的结合应用
文章目录 引言1.1 人工智能与大数据的融合1.2 ClickHouse在大数据平台中的地位2.1 BI与AI的融合从传统BI到智能BIAI赋能BI融合的优势实际应用案例 2.2 异构数据处理的重要性数据多样性的挑战异构数据处理的需求技术实现实际应用案例 2.3 向量检索与AIOps技术向量检索的背景AIOp…...
git push出错Push cannot contain secrets
报错原因： 因为你的代码里面包含了github token明文信息，github担心你的token会泄漏，所以就不允许你推送这些内容。 解决办法： 需要先把代码里面的github token信息删除掉，并且删掉之前的历史提交，只要包…...
OpenAI 的最强模型 o1 的“护城河”失守？谷歌 DeepMind 早已揭示相同原理
发布不到一周，OpenAI 的最新模型 o1 的“护城河”似乎已经失守。 近日，有人发现谷歌 DeepMind 早在今年 8 月发表的一篇论文，揭示了与 o1 模型极其相似的工作原理。 这项研究指出，在模型推理过程中增加测试时的计算量，…...
【胡乱念叨】大模型的“我”
下面的内容很有可能事实错误，胡说八道，前后不连贯，举例随意且未经考证 甚至 有意欺骗！嘻嘻。所以是【胡乱念叨】 文章目录 【胡乱念叨】大模型的“我”参数量和“我”什么是“我”从输入输出的观点看“我”大模型的“我”乱讨论 …...
Flag_AGtivity_clear_top网页编程指南如何退出多activity程序
activity的启动模式:FLAG_ACTIVITY_CLEAR_TOP和FLAG_ACTIVITY_REORDER_TO_FRONT。 1. 如果已经启动了四个Activity：A，B，C和D。在D Activity里，我们要跳到B Activity，同时希望C finish掉，可以在start…...
克隆centos网卡uuid相同如何修改
在克隆CentOS系统后，网卡的UUID相同会导致网络配置冲突，使得网络无法正常工作。要解决这个问题，你需要为每个克隆的系统生成新的UUID。 以下是解决步骤： 进入原始CentOS系统。 找到网络配置文件的位置，通常在 /etc/s…...
FCEUX终极指南：从怀旧游戏到专业调试的完整NES模拟器教程
FCEUX终极指南：从怀旧游戏到专业调试的完整NES模拟器教程 【免费下载链接】fceux FCEUX, a NES Emulator 项目地址: https://gitcode.com/gh_mirrors/fc/fceux FCEUX是一款功能强大的开源NES模拟器，让你在现代电脑上完美重温经典红白机游戏。无论…...
写论文的神助攻！好用的AI写作辅助软件，逻辑清晰质量高
作为一名刚完成毕业论文的过来人，我太懂写论文的痛苦了 —— 选题迷茫、文献浩如烟海、框架混乱、逻辑不清、反复修改、查重降重反复折腾... 直到我发现了这套 AI 写作工具组合，简直是论文写作的 "开挂神器"，效率直接拉满ÿ…...
VMware ESXi 9.1.0.0集成NVME+网卡驱动版发布｜新特性+驱动集成+部署升级+FAQ全指南
一、ESXi 9.1.0.0 正式版核心新特性 VMware ESXi 9.1.0.0（2026 年 5 月发布）是 vSphere 9.1 核心组件，聚焦硬件兼容扩展、性能跃升、安全加固、运维简化四大方向，重点强化 NVMe 存储与网卡生态适配，以下为关键更新&am…...
毕业设计 yolov11骨折检测医疗辅助系统（源码+论文）
文章目录 0 前言1 项目运行效果2 课题背景2.1 研究背景2.2 国内外研究现状2.3 研究意义 3 设计框架（骨折检测系统设计框架说明）3.1. 系统架构图3.2. 技术选型3.2.1 核心组件3.2.2 辅助工具 3.3. 核心模块设计3.3.1 YOLO模型训练模块训练流程图关键伪代码…...
深度解析DeTikZify：科研工作者的智能图表生成神器
深度解析DeTikZify：科研工作者的智能图表生成神器 【免费下载链接】DeTikZify Synthesizing Graphics Programs for Scientific Figures and Sketches with TikZ. 项目地址: https://gitcode.com/gh_mirrors/de/DeTikZify 在科研工作中，创建高质量…...
phpMyAdmin CVE-2018-12613：从文件读取到RCE的伪协议利用链
1. 这个漏洞不是“能读文件”那么简单，而是后台权限的彻底失守phpMyAdmin 4.8.1里那个CVE-2018-12613，很多人扫到就报个“存在文件包含”，顺手贴个?targetphp://filter/convert.base64-encode/resource/etc/passwd截图完事。我去年在给一家教…...
基于IRS2092的200W D类功放设计：从PWM原理到保护电路实战
1. 项目概述与核心思路折腾音响功放，从经典的AB类玩到D类，感觉就像是从燃油车换到了电动车，动力响应和效率完全是两个维度。这次要聊的这块“200W Class-D Audio Power Amplifier [150115]”单板功放，就是一个非常典型的D类功放设…...
Unity/Unreal开发者必看：用手机和陀螺仪实验，5分钟搞懂万向节死锁（附避坑指南）
Unity/Unreal开发者实战指南：用手机陀螺仪5分钟破解万向节死锁当你调试第一人称视角时，角色突然卡在墙面无法转动；当无人机模型在俯冲90度时失控乱转——这些很可能都是万向节死锁(Gimbal Lock)在作祟。作为实时3D开发中最恼人的数学陷阱之一…...
多模型聚合平台如何助力网站AIB测试与选型
🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 多模型聚合平台如何助力网站AIB测试与选型 对于网站产品经理而言，首页文案的生成质量直接影响用户的第一印象和转化率。…...
基于PGA2311的树莓派Hi-Fi模拟音量控制器设计与实现
1. 项目概述：为树莓派DAC打造的高品质模拟音量控制器玩过树莓派音频播放器的朋友都知道，用上像PCM1794A这类高性能DAC芯片后，音质确实能上一个台阶，但有个不大不小的麻烦：这类芯片本身不带音量控制。软件调音量&#x…...