Apache Flink 概述学习笔记
一、引言
在大数据处理领域，Apache Flink 是一个极具影响力的开源流批一体化计算框架，它以其独特的架构和强大的功能，为大规模数据处理提供了高效、灵活的解决方案。
二、基本概念
- Flink 是什么：Flink 是一个分布式流批处理框架，它能够在一个统一的平台上对有界和无界数据流进行处理。有界数据流对应批处理，无界数据流对应流处理，Flink 通过其核心的流执行引擎，巧妙地将批处理作为流处理的一种特殊情况来处理。
- 核心组件
-
- JobManager：负责协调分布式执行，管理任务的调度和资源分配，是整个集群的控制中心。
-
- TaskManager：实际执行任务的工作节点，负责运行作业的任务并进行数据处理。
-
- JobGraph：是 Flink 作业的抽象表示，包含了作业的拓扑结构和任务依赖关系。
三、特点
- 高吞吐量和低延迟：Flink 采用了高效的内存管理和优化的执行引擎，能够在保证低延迟的同时实现高吞吐量的数据处理，满足实时性要求高的应用场景。
- Exactly - Once 语义：确保在分布式环境下，数据处理的结果是准确的，即使发生故障也不会出现数据重复或丢失的情况，保证了数据处理的一致性和可靠性。
- 支持迭代计算：对于需要多次迭代的算法，如机器学习中的迭代优化算法，Flink 提供了原生的支持，大大提高了这类算法的执行效率。
- 灵活的窗口操作：Flink 提供了丰富的窗口操作，包括时间窗口、计数窗口等，能够满足不同场景下对数据进行聚合和分析的需求。
四、应用场景
- 实时数据分析：在电商、金融等领域，需要对实时产生的海量数据进行分析，Flink 能够实时处理这些数据，为决策提供及时准确的依据。
- 流批一体化处理：对于一些既需要实时处理又需要对历史数据进行批量分析的应用场景，Flink 的流批一体化特性可以避免维护两套不同的处理系统，降低开发和运维成本。
- 机器学习和深度学习：Flink 可以与机器学习和深度学习框架结合，实现对大规模数据集的实时处理和模型训练，加速模型的迭代和优化。
五、总结
Apache Flink 凭借其强大的功能和特性，在大数据处理领域占据了重要地位。无论是实时流处理还是批量数据处理，Flink 都能提供高效、可靠的解决方案。对于想要深入学习大数据处理技术的同学来说，掌握 Flink 是非常必要的。
相关文章：
Apache Flink 概述学习笔记
一、引言 在大数据处理领域，Apache Flink 是一个极具影响力的开源流批一体化计算框架，它以其独特的架构和强大的功能，为大规模数据处理提供了高效、灵活的解决方案。 二、基本概念 Flink 是什么：Flink 是一个分布式流批处理框架…...
双足机器人开源项目
双足机器人（也称为人形机器人或仿人机器人）是一个复杂的领域，涉及机械设计、电子工程、控制理论、计算机视觉等多个学科。对于想要探索或开发双足机器人的开发者来说，有许多开源项目可以提供帮助。这些项目通常包括硬件设计文件、…...
Linux 部署 Java 项目：Tomcat、Redis、MySQL 教程
在 Linux 服务器上部署 Java 项目通常需要配置应用服务器（如 Tomcat）、数据库（如 MySQL）和缓存服务器（如 Redis）。本文将详细介绍如何在 Linux 环境中部署一个 Java 项目，涵盖 Tomcat、Redis 和…...
Django 多环境配置实战指南
在现代 Web 开发中，一个项目通常需要在多个环境中运行，例如开发环境、测试环境和生产环境。每个环境的配置可能不同，比如数据库连接、调试模式、密钥等。为了确保项目在不同环境中的灵活性和安全性，我们需要合理地管理多环境配置。 本文将详细介绍如何在 Django 项目中实现…...
【C++高并发服务器WebServer】-6：信号
本文目录 信号的概念1.1 core文件1.2 kill命令1.3 alarm函数1.4 setitimer调用1.5 signal捕捉信号1.6 信号集1.7 内核实现信号捕捉的过程1.8 sigaction1.9 sigchld 信号的概念 信号是 Linux 进程间通信的最古老的方式之一，是事件发生时对进程的通知机制，…...
HBase的原理
一、什么是HBase HBase是一个分布式，版本化，面向列的数据库，依赖Hadoop和Zookeeper （1）HBase的优点 提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统 (2) HBase 表的特性 Region包含多行 列族包含多…...
[b01lers2020]Life on Mars1
打开题目页面如下 看了旁边的链接，也没有什么注入点，是正常的科普 利用burp suite抓包，发现传参 访问一下 http://5edaec92-dd87-4fec-b0e3-501ff24d3650.node5.buuoj.cn:81/query?searchtharsis_rise 接下来进行sql注入 方法一…...
Go学习：常量
变量：程序运行期间，可以改变的量，变量声明需要使用 var 常量：程序运行期间，不可以改变的量，常量声明需要使用 const 目录 1. 常量不允许修改 2. 常量赋值不使用 : 3. 常量能够自动推导类型 1. 常量不允许…...
Python 爬虫——爬取Web页面图片
从网页页面上批量下载jpg格式图片，并按照数字递增命名保存到指定的文件夹。 Web地址：http://p.weather.com.cn/2017/06/2720826.shtml#p1 import urllib import urllib.request import re #正则表达式#解析页面 def load_page(url):requesturllib.reque…...
微信小程序1.1 微信小程序介绍
1.1 微信小程序介绍 内容提要 1.1 什么是微信小程序 1.2 微信小程序的功能 1.3 微信小程序使用场景 1.4 微信小程序能取代App吗 1.5 微信小程序的发展历程 1.6微信小程序带来的机会...
记录备战第十六届蓝桥杯的过程
1.学会了原来字符串也有比较方法，也就是字符串987 > 98 等等，可以解决拼最大数问题 题目链接：5.拼数 - 蓝桥云课 (lanqiao.cn) 2.今天又复习了一下bfs，感觉还是很不熟练，可能是那个过程我些许有点不熟悉ÿ…...
AI 编程工具—Cursor进阶使用 Rules for AI
AI 编程工具—Cursor进阶使用 Rules for AI 这里配置是给所有的会话和内嵌模式的，你可以理解为是一个全局的配置 下面的代码是之前Cursor 给我们生成的，下面我们开始配置Rules ，来让Cursor生成的代码更加符合我们的编程习惯 def quick_sort(arr):"""使用快…...
以租赁合同的例子讲清楚 开源协议原理和区别
开源协议通俗易懂的方式介绍清楚原理和区别 开源协议其实就是软件的“使用规则”，决定了别人可以如何使用、修改、分享你的代码。通俗一点说，如果你写了一段代码，开源协议就是告诉别人在什么条件下他们可以使用你的代码，以及他们可…...
mysql如何修改密码
在MySQL中修改密码可以通过多种方式完成，具体取决于你的MySQL版本和你是否有足够的权限。以下是一些常用的方法来修改MySQL用户的密码： 方法1: 使用ALTER USER命令 这是最常用的方法，适用于MySQL 5.7及以上版本。 ALTER USER usernameloca…...
解数独力扣
题目 解题思路 1.双层循环每一个位置都要去判断能不能放数字 2.每到一个位置如果为空，for循环遍历1-9，通过函数判断是否能放这个数字能放开始回溯判断放下这个数字之后 3.不设结束条件，一直循环判断下去知道所有位置全部填满数字然后retur…...
Zookeeper（28）Zookeeper的线性化写入和顺序一致性读是什么？
Zookeeper 是一个分布式协调服务，它在设计上提供了强一致性的保证，其中包括线性化写入和顺序一致性读。这两种一致性模型确保了在分布式系统中数据的一致性和操作的确定性。 线性化写入（Linearizable Writes） 线性化写入保证在任…...
ARM嵌入式学习--第九天（串口通信）
--串行与并行通信介绍 通信方式是指双方之间的工作方式或信号传输方式，终端与其他设备（例如其他终端，计算机和外部设备）通过数据传输进行通信，根据数据的传输方式，有串行通信和并行通信 -并行通信 利用多条…...
Github 2025-01-25Rust开源项目日报Top10
根据Github Trendings的统计，今日(2025-01-25统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下： 开发语言项目数量Rust项目10Python项目1Vue项目1JavaScript项目1Deno: 现代JavaScript和TypeScript运行时 创建周期：2118 天开发语言：Rust, JavaScript协议类型…...
Android BitmapShader简洁实现马赛克/高斯模糊（毛玻璃），Kotlin（三）
Android BitmapShader简洁实现马赛克/高斯模糊（毛玻璃），Kotlin（三） 发现，如果把（二） Android BitmapShader简洁实现马赛克，Kotlin（二）-CSDN博客 …...
PCIE模式配置
对于VU系列FPGA，当DMA/Bridge Subsystem for PCI Express IP配置为Bridge模式时，等同于K7系列中的AXI Memory Mapped To PCI Express IP。...
RestClient
什么是RestClient RestClient 是 Elasticsearch 官方提供的 Java 低级 REST 客户端，它允许HTTP与Elasticsearch 集群通信，而无需处理 JSON 序列化/反序列化等底层细节。它是 Elasticsearch Java API 客户端的基础。 RestClient 主要特点 轻量级ÿ…...
HTML 语义化
目录 HTML 语义化HTML5 新特性HTML 语义化的好处语义化标签的使用场景最佳实践 HTML 语义化 HTML5 新特性 标准答案： 语义化标签： <header>：页头<nav>：导航<main>：主要内容<article>&#x…...
Debian系统简介
目录 Debian系统介绍 Debian版本介绍 Debian软件源介绍 软件包管理工具dpkg dpkg核心指令详解 安装软件包 卸载软件包 查询软件包状态 验证软件包完整性 手动处理依赖关系 dpkg vs apt Debian系统介绍 Debian 和 Ubuntu 都是基于 Debian内核 的 Linux 发行版ÿ…...
P3 QT项目----记事本（3.8）
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...
MySQL中【正则表达式】用法
MySQL 中正则表达式通过 REGEXP 或 RLIKE 操作符实现（两者等价），用于在 WHERE 子句中进行复杂的字符串模式匹配。以下是核心用法和示例： 一、基础语法 SELECT column_name FROM table_name WHERE column_name REGEXP pattern; …...
Mac下Android Studio扫描根目录卡死问题记录
环境信息 操作系统: macOS 15.5 (Apple M2芯片)Android Studio版本: Meerkat Feature Drop | 2024.3.2 Patch 1 (Build #AI-243.26053.27.2432.13536105, 2025年5月22日构建) 问题现象 在项目开发过程中，提示一个依赖外部头文件的cpp源文件需要同步，点…...
让回归模型不再被异常值“带跑偏“，MSE和Cauchy损失函数在噪声数据环境下的实战对比
在机器学习的回归分析中，损失函数的选择对模型性能具有决定性影响。均方误差（MSE）作为经典的损失函数，在处理干净数据时表现优异，但在面对包含异常值的噪声数据时，其对大误差的二次惩罚机制往往导致模型参数…...
回溯算法学习
一、电话号码的字母组合 import java.util.ArrayList; import java.util.List;import javax.management.loading.PrivateClassLoader;public class letterCombinations {private static final String[] KEYPAD {"", //0"", //1"abc", //2"…...
MinIO Docker 部署：仅开放一个端口
MinIO Docker 部署：仅开放一个端口 在实际的服务器部署中，出于安全和管理的考虑，我们可能只能开放一个端口。MinIO 是一个高性能的对象存储服务，支持 Docker 部署，但默认情况下它需要两个端口：一个是 API 端口（用于存储和访问数据），另一个是控制台端口（用于管理界面…...
c++第七天 继承与派生2
这一篇文章主要内容是 派生类构造函数与析构函数 在派生类中重写基类成员 以及多继承 第一部分：派生类构造函数与析构函数 当创建一个派生类对象时，基类成员是如何初始化的？ 1.当派生类对象创建的时候，基类成员的初始化顺序 …...