当前位置： 首页 > news >正文

flink中使用GenericWriteAheadSink的优缺点

news 2026/4/12 14:59:22

背景

GenericWriteAheadSink是flink中提供的实现几乎精确一次输出的数据汇抽象类，本文就来看一下使用GenericWriteAheadSink的优缺点

GenericWriteAheadSink的优缺点

先看一下GenericWriteAheadSink的原理图
在这里插入图片描述

优点：

  1. 几乎可以精确一次的输出，也就是对于不是必须百分百保证精准一次输出的场景，使用GenericWriteAheadSink是非常合适的
  2. 基于GenericWriteAheadSink实现比较简单，只需要实现其中的几个方法即可

缺点：

1.严格来说只能做到至少一次的输出，没法做到精准一次的输出
2.对于状态的大小会是一个很大的负担，他会把两个或者可能两个以上检查点之间的记录都作为状态保存起来，这对于检查点间隔比较长的应用来说状态大小会非常大，可能会导致oom，并且衡量所需的状态大小时，不仅仅只通过两个检查点之间的间隔来估计，极端情况下有可能有N个检查点之间的间隔的总和的消息都会被当成状态保存起来，原因在于两个方面，第一个方面是不是每个检查点都会触发检查点完成的通知，第二个方面时在检查点完成的通知中事务提交可能失败，这就意味着状态没法清除，所以只能等下一个检查点或者下下个检查点的完成通知才能提交之前的事务，并清理之前的状态

相关文章：

flink中使用GenericWriteAheadSink的优缺点

背景 GenericWriteAheadSink是flink中提供的实现几乎精确一次输出的数据汇抽象类，本文就来看一下使用GenericWriteAheadSink的优缺点 GenericWriteAheadSink的优缺点 先看一下GenericWriteAheadSink的原理图 优点： 几乎可以精确一次的输出&#xf…...

编程日记 2023/10/23 19:00:39

第五章Maven依赖的特性-进阶篇

文章目录 第一节 重新认识MavenMaven 的完整功能项目管理功能的具体体现 POM 的四个层次超级 POM父 POM有效 POM概念查看有效 POM 小结 属性的声明与引用help 插件的各个目标使用 help:evaluate 查看属性值通过 Maven 访问系统属性Java 系统属性一览使用 Maven 访问系统属性 访…...

编程日记 2023/10/23 18:59:38

【Javascript】数组练习（在排好序的数组⾥，按照⼤⼩顺序插⼊数据）

var array[1,4,5,7,9,17]; console.log(array);比如要插入一个数16 var array[1,4,5,7,9,17];var num16; var indexnull; var i; for(i0;i<array.length;i){if(array[i]<num){indexi;} } console.log(index);首先通过循环找出最后一个比自定义的num小的值&#xff0c;并…...

编程日记 2023/10/23 18:56:34

记低版本okhttp超时会导致死锁

一、问题起源 在处理一次生产环境cpu拉满问题时&#xff0c;把日志拉下来看发现很多http请求调用出错&#xff0c;项目使用的是okhttp 3.8.1版本。 二、问题描述 问题出在okhttp3.Dispatcher.finished(Dispatcher.java:201)代码如下&#xff1a; void finished(AsyncCall c…...

编程日记 2023/10/23 18:54:29

idea必装的插件 Spring Boot Helper 插件（创建 Spring Boot 项目）

Spring Spring让Java程序更加快速,简单和安全.Spring对于速度、简单性和⽣产⼒的关注使其成为 世界上最流⾏的Java框架。Spring官⽅提供了很多开源的项⽬,覆盖范围从Web开发到⼤数据,Spring发展到了今天,已经形成了⾃ ⼰的⽣态圈.我们在开发时,也倾向于使⽤Spring官⽅提供的技术…...

编程日记 2023/10/23 18:53:28

Scrum(敏捷开发)的前端定位

1. Scrum(敏捷开发)的开发流程 Scrum将整个开发过程分为多次迭代（称为Sprint，冲刺），一般为期2～4周，最常见的为2周。Scrum并非以一段时间集中完成一个过程，而是将所有过程中必须的每一部分集中在这段时间内完成。需求、设计、编码、测试、上线都必须在一个迭代中完成，每…...

编程日记 2023/10/23 18:52:27

uniapp缓存对象数组

需求&#xff1a;使用uniapp&#xff0c;模拟key&#xff08;表名&#xff09;增删改查对象数组&#xff0c;每个key可以单独操作&#xff0c;并模拟面对对象对应表&#xff0c;每个key对应的baseInstance 类似一个操作类&#xff0c;当然如果你场景比较简单&#xff0c;可以改…...

编程日记 2023/10/23 18:51:25

腾讯云优惠券免费领取入口整理分享

腾讯云作为国内领先的云服务提供商&#xff0c;为了回馈用户的支持和信任&#xff0c;经常推出各种优惠活动&#xff0c;并提供优惠券供用户使用。本文将整理和分享腾讯云优惠券的免费领取入口&#xff0c;帮助用户在购买腾讯云产品时享受更多的优惠和福利。 一、腾讯云优惠券介…...

编程日记 2023/10/23 18:50:23

功率放大器在PZT陶瓷薄膜压电传感器研究中的应用

随着科技的进步和工业发展的需求&#xff0c;对于压力测量和控制的需求日益增加。压力传感器作为一种关键的传感器器件&#xff0c;在机械、自动化、医疗、航空等多个领域都有广泛应用。PZT陶瓷薄膜压电传感器由于其响应速度快、精度高、稳定性好等优点&#xff0c;成为了许多应…...

编程日记 2023/10/23 18:48:21

Anaconda创建新的虚拟环境及Jupyter Notebok中、PyCharm中环境的使用

Anaconda创建新的虚拟环境 在windows开始菜单中【徽标键】&#xff0c;查找Anaconda文件夹并打开【Anaconda Prompt】 查看已有虚拟环境 conda env list1.创建 conda create --name mytest python3.7 # 创建一个名称为mytest&#xff0c;python版本为3.7的虚拟环境输入【…...

编程日记 2023/10/23 18:47:20

[QT] 如果你怎么试HTTP下载文件得到的QNetworkReply的readAll()都是空数据(长度为0），请看这里

1&#xff0c;首先你对比看看QT官方给出的例子 Download Data from URL - Qt Wiki 2&#xff0c;再看看是不是要设置重定向&#xff0c;如果要&#xff0c;要设置一下 QNetworkRequest request(imageUrl); request.setAttribute(QNetworkRequest::FollowRedirectsAttribute, …...

编程日记 2023/10/23 18:46:19

使用docker部署flask接口服务 一

文章目录 一&#xff1a;说明二&#xff1a;dockerfile 参数说明1. 一般常用的 参数&#xff0c;以及它的含义2. 我自己的 dockerfile 三&#xff1a;示例操作1. Gunicorn Gevent启动服务的好处2. 用Gunicorn Gevent的好处&#xff1a;3. Gunicorn Gevent的 使用示例4. 创建…...

编程日记 2023/10/23 18:45:17

超实用的跟圈和一键转发好友朋友圈功能

一键转发朋友圈/跟圈 想转发别人的朋友圈内容&#xff0c;通常需要手动复制粘贴&#xff0c;一个个复制保存实在是太麻烦耗费时间。 有时候咱也不可能随时都看朋友圈嘛&#xff0c;那又想及时转发朋友的圈的&#xff0c;有什么办法可以轻松实现呢&#xff1f; 操作步骤 单击…...

编程日记 2023/10/23 18:44:15

口袋参谋：如何一键获取竞品数据？这招实用！

​在淘宝天猫上开店&#xff0c;市场竞争日益激烈&#xff0c;想要做好店铺&#xff0c;我们就不得不去分析竞品的数据了。 很多卖家开店后&#xff0c;一上来就直接卡在类目前10&#xff0c;折腾了一两个月才发现自己对标错了对象&#xff0c;最终竹篮打水一场空。 所以&…...

编程日记 2023/10/23 18:43:14

python 生成html文件并端口展示

1.生成相关的html文件 import json import os import calc import requests import numpy as npwith open(picture, r,encodingutf-8) as f:lines f.readlines() html <html>\n<html lang"zh">\n<head>\n<meta charset"UTF-8">…...

编程日记 2023/10/23 18:42:13

二进制部署 Kubernetes（master和node）

二进制搭建 Kubernetes v1.20 k8s集群master01&#xff1a;20.0.0.101 kube-apiserver kube-controller-manager kube-scheduler etcd k8s集群master02&#xff1a;20.0.0.106 k8s集群node01&#xff1a;20.0.0.102 kubelet kube-proxy docker k8s集群node02&#xff1a;20.0…...

编程日记 2023/10/23 18:41:12

【计算机网络】IP协议的相关特性

IP协议&#xff1a;互联网的核心组件 在当今高度数字化的世界中&#xff0c;互联网已成为人们生活、工作不可或缺的一部分。而在这个庞大的网络中&#xff0c;IP协议&#xff08;Internet Protocol&#xff09;作为核心的通信协议&#xff0c;发挥着至关重要的作用。本文将详细…...

编程日记 2023/10/23 18:40:11

如何在Potplayer中使用公网访问群晖WebDav？

文章目录 1 使用环境要求&#xff1a;2 配置webdav3 测试局域网使用potplayer访问webdav4 内网穿透&#xff0c;映射至公网5 使用固定地址在potplayer访问webdav ​ 国内流媒体平台的内容让人一言难尽&#xff0c;就算是购买了国外的优秀作品&#xff0c;也总是在关键剧情上删删…...

编程日记 2023/10/23 18:39:08

如果你有一台服务器，你最想做那些事？

如果有一台服务器&#xff0c;可以做很多有趣的事情。本文将介绍服务器的基本知识&#xff0c;假设你拥有一台服务器后该如何使用它&#xff0c;以及管理服务器的最佳实践。 首先&#xff0c;让我们了解一下什么是服务器。服务器是指在网络上提供各种服务的计算机&#xff0c;如…...

编程日记 2023/10/23 18:38:08

Unity中Shader的Fallback

文章目录 前言一、解决 Pass 复用的方案方案一&#xff1a;使用之前的UsePass方案&#xff0c;把ShadowCaster的Pass提出来到一个单独的Shader中&#xff0c;在使用的时候直接使用 UsePass方案二&#xff1a;使用Fallback功能 前言 Unity中Shader的Fallback&#xff0c;我们在…...

编程日记 2023/10/23 18:37:07

深入解析rviz中基于MVC架构的点云3D坐标拾取机制

1. 为什么rviz没有直接使用OpenGL的坐标拾取API&#xff1f; 第一次接触rviz源码时&#xff0c;我下意识认为它肯定直接调用了gluUnProject这类OpenGL原生API来实现3D坐标拾取。毕竟在常规图形学开发中&#xff0c;这就像喝水一样自然——用现成的API不香吗&#xff1f;但当我…...

编程新知 2026/4/12 14:40:59

IObit Uninstaller Pro破解版安装监视器失效的深度修复指南

1. 破解版IObit Uninstaller Pro安装监视器失效的根源分析 很多朋友在使用破解版IObit Uninstaller Pro时都会遇到一个头疼的问题&#xff1a;安装监视器功能莫名其妙就失效了。明明在官方免费版上运行得好好的功能&#xff0c;到了破解版就罢工&#xff0c;这背后其实有它的技…...

编程新知 2026/4/12 14:38:58

告别传统CNN/RNN：用Transformer玩转EEG信号分类（以CBraMod为例的实战指南）

告别传统CNN/RNN&#xff1a;用Transformer玩转EEG信号分类&#xff08;以CBraMod为例的实战指南&#xff09; 当你在深夜盯着脑电图&#xff08;EEG&#xff09;信号发愁时&#xff0c;是否也曾被那些蜿蜒曲折的波形搞得头晕目眩&#xff1f;作为一名长期与脑机接口&#xff0…...

编程新知 2026/4/12 14:28:50

基于LSTM神经网络实现锂电池SOH估计的案例学习：使用牛津电池老化数据集与特征工程

[电池SOH估算案例3]: 使用长短时记忆神经网络LSTM来实现锂电池SOH估计的算法学习案例&#xff08;基于matlab编写&#xff09; 1.使用牛津锂离子电池老化数据集来完成&#xff0c;并提供该数据集的处理代码&#xff0c;该代码可将原始数据集重新制表&#xff0c;处理完的数据非…...

编程新知 2026/4/12 14:26:44

IRISMAN备份管理器：PlayStation 3游戏数据管理的架构创新与技术实现深度剖析

IRISMAN备份管理器&#xff1a;PlayStation 3游戏数据管理的架构创新与技术实现深度剖析 【免费下载链接】IRISMAN All-in-one backup manager for PlayStation3. Fork of Iris Manager. 项目地址: https://gitcode.com/gh_mirrors/ir/IRISMAN IRISMAN作为一款基于Iris …...

编程新知 2026/4/12 13:27:56

pinyin4j 实战：多音字精准匹配与优化策略

1. pinyin4j基础入门与多音字痛点 第一次接触pinyin4j是在2013年做电商搜索项目时&#xff0c;当时需要实现中文商品名的拼音搜索功能。这个轻量级的Java库确实帮了大忙&#xff0c;但很快就遇到了让人头疼的多音字问题。比如用户搜索"zhongqing"时&#xff0c;系统…...

编程新知 2026/4/12 12:27:29

告别抓包烦恼：在Mumu模拟器Android 12上配置Frida的保姆级避坑指南

告别抓包困境&#xff1a;Mumu模拟器Android 12环境Frida全流程实战手册 移动应用安全测试领域正面临一个关键转折点——随着主流应用逐步放弃对Android 9及以下版本的支持&#xff0c;测试人员不得不将工作环境升级到Android 10平台。Mumu模拟器提供的Android 12镜像成为当前最…...

编程新知 2026/4/12 11:09:19

无需代码！用圣女司幼幽-造相Z-Turbo轻松生成动漫女神图片

无需代码&#xff01;用圣女司幼幽-造相Z-Turbo轻松生成动漫女神图片 1. 引言&#xff1a;零门槛AI绘画体验 想象一下&#xff0c;只需输入简单的文字描述&#xff0c;就能生成精美的动漫女神图片——这就是圣女司幼幽-造相Z-Turbo带来的神奇体验。这个基于Xinference部署的文…...

编程新知 2026/4/12 10:41:02

Wan2.2-I2V-A14B效果展示：抽象艺术粒子流动+色彩渐变10秒视频生成

Wan2.2-I2V-A14B效果展示&#xff1a;抽象艺术粒子流动色彩渐变10秒视频生成 1. 惊艳效果预览 Wan2.2-I2V-A14B模型在RTX 4090D 24G显卡上展现出惊人的视频生成能力。本次展示聚焦于抽象艺术风格的粒子流动与色彩渐变效果&#xff0c;通过简单的文本描述即可生成专业级视觉作…...

编程新知 2026/4/12 9:39:01

Phi-3 Forest Lab免配置环境：Docker镜像+Streamlit美学前端部署

Phi-3 Forest Lab免配置环境&#xff1a;Docker镜像Streamlit美学前端部署 1. 项目概述 "在森林的深处&#xff0c;听见智慧的呼吸。"Phi-3 Forest Lab是一个基于微软Phi-3 Mini 128K Instruct模型构建的极简主义AI对话终端&#xff0c;将前沿AI技术与自然美学设计…...

编程新知 2026/4/12 9:37:01