（七）Flink Watermark
Flink 的 Watermark 是用来标识数据流中的一个时间点。Watermark 的设计是为了解决乱序数据处理的问题，尤其是涉及到多个分区的 Kafka 消费者时。在 Watermark 的作用下，即使某些数据出现了延迟到达的情况，也不会导致整个处理流程的中断。此外，Watermark 还能防止过期的数据被处理，从而提高了数据处理的准确性。
具体来说，Watermark 有以下两个主要的功能：
-
解决乱序问题：通过设置 Watermark，可以确保处理过程不会因为等待数据而无限期地阻塞。这样，即使在数据出现延迟的情况下，也能及时处理后续的数据，而不是等到所有的数据都到达之后再开始处理。
-
允许一定程度的延迟：Watermark 可以在一定程度上接受数据的延迟到达，但同时会有一个设定的最大延迟时间。当数据流中的事件时间戳大于等于水印加上这个最大延迟时间时，就会触发相应的计算操作。这样可以避免因长时间的延迟而导致的不必要的计算开销。
目录
Watermark 策略简介
Watermark 生成策略
1、内置策略
2、自定义 Watermark 策略
处理空闲数据源
Watermark 策略应用
总结
Watermark 策略简介
为了使用事件时间语义，Flink 应用程序需要知道事件时间戳对应的字段，通常通过使用 TimestampAssigner API 从元素中的某个字段去访问/提取时间戳。时间戳的分配与 Watermark 的生成是齐头并进的，其可以告诉 Flink 应用程序事件时间的进度。可以通过指定 WatermarkGenerator 来配置 Watermark 的生成方式。
使用 Flink API 时需要设置一个同时包含 TimestampAssigner 和 WatermarkGenerator 的 Watermark
相关文章：
（七）Flink Watermark
Flink 的 Watermark 是用来标识数据流中的一个时间点。Watermark 的设计是为了解决乱序数据处理的问题，尤其是涉及到多个分区的 Kafka 消费者时。在 Watermark 的作用下，即使某些数据出现了延迟到达的情况，也不会导致整个处理流程的中断。此外，Watermark 还能防止过期的数据…...
springboot 上传文件失败：The temporary upload location
Caused by: java.io.IOException: The temporary upload location [/tmp/tomcat.379776875189163783.8081/work/Tomcat/localhost/jcys-core] is not valid 原因： Linux下会自动清除tmp目录下10天没有使用过的文件，SpringBoot启动的时候会在/tmp目录下生…...
UNiapp之微信小程序导出Excel
效果如下 参考小程序：日常记一记 ---账单页面 主要功能是根据筛选条件导出账单明细列表，实现该功能主要借助一个工具(excel.js)，可在文章顶部下载或者一下网盘下载 https://pan.baidu.com/s/1RLisuG4_7FGD0Cnwewyabg?pwdpd2a 提取码: pd2a…...
fsadsadsad
adsadsafsada...
高效录制新选择：2024年Windows录屏软件
录屏能帮助我们捕捉屏幕上的精彩瞬间，作为老师可以用来录制课程，作为会议记录员可以用来录制远程会议。那么有什么软件是适合windows录屏的呢？这次我们一起来探讨一下吧。 1.福昕录屏大师 链接：www.foxitsoftware.cn/REC/ 这款软…...
Java技术面试（一面）
1、相面对象 1、面相对象语言/Java三大特性是什么？ 引出 封装、继承和多态。 2、多态有哪些形式？多态使用过吗？ 重载、重写，接口和抽象类的多个实现。考察工作经验、代码重构经验、习惯。 3、Java接口和抽象类有什么区别？你是如何选择使用的？ 考察OOP的理解和工作…...
docker修改数据目录
新建docker数据目录 mkdir /data/docker-data停止docker服务 systemctl stop docker把docker数据迁移到新目录 cp -r /var/lib/docker/* /data/docker-data/修改docker配置 vi /etc/docker/daemon.json #添加data-root参数 {"data-root":"/data/docker-dat...
Appium学习
一、基础配置 import unittest from appium import webdriver from appium.options.android import UiAutomator2Options from appium.webdriver.common.appiumby import AppiumBy from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support …...
回顾 | 瑞云科技亮相ICIC2024，虚拟仿真实训云平台引关注
2024年8月7日，天津市虚拟仿真学会主办的第二十届智能计算国际会议（ICIC2024）——虚拟仿真技术交流平行会议暨天津市虚拟仿真学会2024年暑期技术交流会在天津盛大召开。本次大会汇聚来自全国的顶尖专家、学者和行业领袖，共同探讨虚…...
libLZMA库iOS18平台编译
1.下载xz源码: 使用autogen.sh生成configure文件 2.生成makefile rm -rf ./build/iOS && mkdir -p ./build/iOS && cd ./build/iOS && ../../configure --host=arm-apple-darwin64 --prefix=`pwd`/Frameworks/lzma CC="xcrun -sdk iphoneos cl…...
《AI办公类工具PPT系列之二——iSlide AI》
一.简介 官网：iSlide- 让PPT设计简单起来 | PPT模板下载平台 iSlide AI是一款基于人工智能技术的PPT制作工具，它可以帮助用户快速高效地创建演示文稿 二.功能介绍 1. AI一键生成PPT 文档导入与解析：用户可以直接上传本地文档（如Word、Markdown、思维导图等），iSlide A…...
C语言基础（六）
一维数组： C语言中的数组是一种基本的数据结构，用于在计算机内存中连续存储相同类型的数据。 数组中的每个元素可以通过索引（或下标）来访问，索引通常是从0开始的。 数组的大小在声明时确定，并且之后不能改…...
什么是词向量？如何得到词向量？Embedding 快速解读
我第一次接触 Embedding 是在 Word2Vec 时期，那时候还没有 Transformer 和 BERT 。Embedding 给我的印象是，可以将词映射成一个数值向量，而且语义相近的词，在向量空间上具有相似的位置。 有了 Embedding ，就可以对词进…...
AI视频创作应用
重磅推荐专栏： 《大模型AIGC》 《课程大纲》 《知识星球》 本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经…...
)
JAVA常见的工具类之Object类(超详细)
1、Java API简介 Java API(Java Application Programming Interface)是Java应用程序编程接口的缩写。Java中的API，就是JDK提供的具有各种功能的Java类，灵活使用Java API能够大大提高使用Java语言编写程序的效率。 Java API的帮助文档可到 http://docs.or…...
深度学习(YOLO、DETR) 十折交叉验证
二：交叉验证 在 K 折验证之前最常用的验证方法就是交叉验证，即把数据划分为训练集、验证集和测试集。一般的划分比例为 7：1：2。但如何合理的抽取样本就成为了使用交叉验证的难点，不同的抽取方法会导致截然不同的训练性…...
基于php网上差旅费报销系统设计与实现
网上报销系统以LAMP(LinuxApacheMySQLPHP)作为平台,涉及到PHP语言、MySQL数据库、JavaScript语言、HTML语言。 2.1 PHP语言简介 PHP，一个嵌套的缩写名称，是英文 “超级文本预处理语言”（PHP: Hypertext Preprocessor）的缩写。P…...
微服务及安全
一、微服务的原理 1.什么是微服务架构 微服务架构区别于传统的单体软件架构，是一种为了适应当前互联网后台服务的「三高需求：高并发、高性能、高可用」而产生的的软件架构。 单体式应用程序 与微服务相对的另一个概念是传统的单体式应用程序( Monolithic application )，…...
图文详解ThreadLocal：原理、结构与内存泄漏解析
目录 一.什么是ThreadLocal 二.ThreadLocal的内部结构 三.ThreadLocal带来的内存泄露问题 ▐ key强引用 ▐ key弱引用 总结 一.什么是ThreadLocal 在Java中，ThreadLocal 类提供了一种方式，使得每个线程可以独立地持有自己的变量副本，而…...
基于java的综合小区管理系统论文.doc
摘 要 如今社会上各行各业，都喜欢用自己行业的专属软件工作，互联网发展到这个时候，人们已经发现离不开了互联网。新技术的产生，往往能解决一些老技术的弊端问题。因为传统综合小区管理系统信息管理难度大，容错率低&am…...
日语AI面试高效通关秘籍：专业解读与青柚面试智能助攻
在如今就业市场竞争日益激烈的背景下，越来越多的求职者将目光投向了日本及中日双语岗位。但是，一场日语面试往往让许多人感到步履维艰。你是否也曾因为面试官抛出的“刁钻问题”而心生畏惧？面对生疏的日语交流环境，即便提前恶补了…...
【HarmonyOS 5.0】DevEco Testing：鸿蒙应用质量保障的终极武器
——全方位测试解决方案与代码实战 一、工具定位与核心能力 DevEco Testing是HarmonyOS官方推出的一体化测试平台，覆盖应用全生命周期测试需求，主要提供五大核心能力： 测试类型检测目标关键指标功能体验基…...
Pinocchio 库详解及其在足式机器人上的应用
Pinocchio 库详解及其在足式机器人上的应用 Pinocchio (Pinocchio is not only a nose) 是一个开源的 C 库，专门用于快速计算机器人模型的正向运动学、逆向运动学、雅可比矩阵、动力学和动力学导数。它主要关注效率和准确性，并提供了一个通用的框架&…...
C#中的CLR属性、依赖属性与附加属性
CLR属性的主要特征 封装性： 隐藏字段的实现细节 提供对字段的受控访问 访问控制： 可单独设置get/set访问器的可见性 可创建只读或只写属性 计算属性： 可以在getter中执行计算逻辑 不需要直接对应一个字段 验证逻辑： 可以…...
华为OD机考-机房布局
import java.util.*;public class DemoTest5 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseSystem.out.println(solve(in.nextLine()));}}priv…...
Java 与 MySQL 性能优化：MySQL 慢 SQL 诊断与分析方法详解
文章目录 一、开启慢查询日志，定位耗时SQL1.1 查看慢查询日志是否开启1.2 临时开启慢查询日志1.3 永久开启慢查询日志1.4 分析慢查询日志 二、使用EXPLAIN分析SQL执行计划2.1 EXPLAIN的基本使用2.2 EXPLAIN分析案例2.3 根据EXPLAIN结果优化SQL 三、使用SHOW PROFILE…...
CppCon 2015 学习:Time Programming Fundamentals
Civil Time 公历时间 特点： 共 6 个字段： Year（年）Month（月）Day（日）Hour（小时）Minute（分钟）Second（秒） 表示…...
链式法则中 复合函数的推导路径 多变量“信息传递路径”
非常好，我们将之前关于偏导数链式法则中不能“约掉”偏导符号的问题，统一使用 二重复合函数： z f ( u ( x , y ) , v ( x , y ) ) \boxed{z f(u(x,y),\ v(x,y))} zf(u(x,y), v(x,y)) 来全面说明。我们会展示其全微分形式（偏导…...
leetcode73-矩阵置零
leetcode 73 思路 记录 0 元素的位置：遍历整个矩阵，找出所有值为 0 的元素，并将它们的坐标记录在数组zeroPosition中置零操作：遍历记录的所有 0 元素位置，将每个位置对应的行和列的所有元素置为 0 具体步骤 初始化…...
)
41道Django高频题整理(附答案背诵版)
解释一下 Django 和 Tornado 的关系？ Django和Tornado都是Python的web框架，但它们的设计哲学和应用场景有所不同。 Django是一个高级的Python Web框架，鼓励快速开发和干净、实用的设计。它遵循MVC设计，并强调代码复用。Django有…...