当前位置: 首页 > news >正文

Flink 的历史版本特性介绍(一)

如果你还不了解 Flink 是什么,可以查看我之前的介绍文章:Flink 介绍

如果你想跟着我一起学习 flink,欢迎查看订阅专栏:Flink 专栏

这篇文章列举了 Flink 每次发布的版本中的重要特性,从中可以看出 Flink 是如何一步一步发展到今天的。

Flink 的前身是 Stratosphere 项目,最初由柏林工业大学的研究团队开发。Stratosphere 项目旨在实现高性能的大数据处理和分析。

0.6.0

发布于 2014 年,这是在 Apache 内部的第一个版本,名称为 Flink。具有以下特点:

  • 定义:ApacheFlink 是用于集群的通用数据处理引擎。
  • 作业通过 Flink 的运行时引擎执行。
  • 数据存储在 Hadoop HDFS 中
  • 支持的资源管理器:standalone、Hadoop YARN
  • 支持的编程语言:Java、Scala

0.7.0

发布于 2014 年,引入下面的新特性:

  • FlinkStreaming:提供了一个 Java API,可以实时处理流数据源(例如Apache Kafka、Apache Flume等)。
  • 流式 Scala API:现在 Scala 和 Java 具有相同的语法和 Transformation,并在之后的版本中保持同步。

0.8.0

发布于 2015 年,引入下面的新特性:

  • 扩展文件系统:现在可以在 Flink 中使用 Hadoop 支持的所有文件系统
  • 支持窗口:引入了新的窗口 API,用于创建窗口、删除窗口元素等
  • hadoop 2.2.0+ 作为默认的依赖

0.9.0

发布于 2015 年,引入下面的新特性:

  • 引入 Table API:https://nightlies.apache.org/flink/flink-docs-release-0.9/libs/table.html
  • 引入 Gelly 进行图处理:https://flink.apache.org/2015/08/24/introducing-gelly-graph-processing-with-apache-flink/
  • 引入机器学习库:https://nightlies.apache.org/flink/flink-docs-release-0.9/libs/ml/
  • 引入 Akka 框架来作为 Flink 的 RPC 系统:http://akka.io/
  • 为流处理引入精确一次(exactly-once)语义保证。

0.10.0

发布于 2015 年,引入下面的新特性:

  • 支持 event-time、ingestion-time、processing-time 的流处理
  • 支持 stateful 流处理:提供接口用于定义、更新、查询操作符状态(operator state)
  • 支持高可用:引入 Zookeeper,支持为 standalone 集群和 YARN 设置高可用模式
  • 完善 DataStream API,引入流分区和窗口操作符,窗口设计受到 DataFlow 模型的启发,基于window assigners, triggers 和 evictors概念
  • 引入新的 Connector:

相关文章:

Flink 的历史版本特性介绍(一)

如果你还不了解 Flink 是什么,可以查看我之前的介绍文章:Flink 介绍 如果你想跟着我一起学习 flink,欢迎查看订阅专栏:Flink 专栏 这篇文章列举了 Flink 每次发布的版本中的重要特性,从中可以看出 Flink 是如何一步一步发展到今天的。 Flink 的前身是 Stratosphere 项目…...

【尚硅谷】MybatisPlus 学习笔记(下)

目录 六、插件 6.1、分页插件 6.1.1、添加配置类 6.1.2、测试 6.2、xml自定义分页 6.2.1、UserMapper中定义接口方法 6.2.2、UserMapper.xml中编写SQL 6.2.3、测试 6.3、乐观锁 6.3.1、场景 6.3.2、乐观锁与悲观锁 6.3.3、模拟修改冲突 数据库中增加商品表 添加数…...

408数据结构算法模板

下面这份408数据结构算法模板耗时3天整理,希望对大家有用 408算法题概述 得分要点 会写结构定义(没有就自己写上)写清楚解题的算法思想描述清楚算法实现最后写出时间和空间复杂度 关于改卷 1、改卷老师不会上机试 2、老师改的是扫描卷 3、…...

Mysql--索引分类

Mysql--索引分类 1. 索引分类2. 聚集索引&二级索引 1. 索引分类 在MySQL数据库,将索引的具体类型主要分为以下几类:主键索引、唯一索引、常规索引、全文索引。 2. 聚集索引&二级索引 而在在InnoDB存储引擎中,根据索引的存储形式&am…...

AutoTimes:通过大语言模型的自回归时间序列预测器

论文标题: AutoTimes: Autoregressive Time Series Forecasters via Large Language Models 作者:Yong Liu, Guo Qin, Xiangdong Huang, Jianmin Wang, Mingsheng Long 链接:https://arxiv.org/abs/2402.02370 机构:清华大学 …...

记录 | go与C/C++交互

Go语言是类C的语言,与C语言有着千丝万缕的联系,在Go语言的代码中可以直接调用C语言代码,但不支持直接调用 C。 Go 调用 C/C 的方式: C:直接调用 C API;C:通过实现一层封装的 C 接口来调用 C 接…...

B3623枚举排列

题目描述 今有 n 名学生,要从中选出 k 人排成一列拍照。 请按字典序输出所有可能的排列方式。 输入格式 仅一行,两个正整数 n,k。 输出格式 若干行,每行 k 个正整数,表示一种可能的队伍顺序。 输入输出样例 输入 #1复制 …...

vuex怎么防止数据刷新丢失?

Vuex 是一个专为 Vue.js 应用程序开发的状态管理模式和库。它采用集中式存储管理应用的所有组件的状态,并以相应的规则保证状态以一种可预测的方式发生变化。为了防止 Vuex 中的数据在刷新时丢失,你可以采取以下策略: 持久化插件&#xff1a…...

OpenGL ES 渲染 NV21、NV12、I420、YV12、YUYV、UYVY、I444(建议收藏)

本文主要讲解常见的 YUV 格式图像渲染方式,如果对 YUV 格式不是很熟悉的同学可以翻看旧文一文掌握 YUV 图像的基本处理,YUV 格式的介绍这里不再展开。 渲染 NV21、NV12 格式图像 NV21、NV12 可以看成同一种结构,区别只是 uv 的交错排列顺序不同。 渲染 NV21/NV12 格式图像…...

云计算的两地三中心和灾备介绍

两地三中心是指在不同的地理位置建立两个数据中心和一个灾备中心,其中一个数据中心为主数据中心,另一个数据中心为备用数据中心,灾备中心则用于备份数据和在主数据中心或备用数据中心发生故障或灾难时提供应急支持。 异地灾备则是指在不同的地…...

Spring Bean

Spring的配置方式 1、xml配置文件 2、基于注解的方式 3、基于Java的方式 Spring Bean的生命周期 1、通过构造器或工厂方法创建bean实例 2、为bean的属性赋值 3、调用bean的初始化方法 4、使用bean 5、当容器关闭时,调用bean的销毁方法 Spring inner beans …...

Linux的时间操作

当涉及到时间操作时,Linux提供了一系列函数和结构体来处理时间的获取、转换和操作。 time_t 别名 time_t 是 C/C 中用来表示时间的类型,通常被定义为整数类型。它通常用来存储从纪元(通常是1970年1月1日)到某一特定时间点之间的…...

2024-02-21 作业

作业要求: 复习课上内容 //已完成结构体字节对齐,64位没做完的做完,32位重新都做一遍,课上指定2字节对齐的做一遍,自己验证 //已完成两种验证大小端对齐的代码写一遍复习指针内容 //已完成完善顺序表已写出的…...

平台组成-监控服务

监控服务和其他服务不同,不是一个单一的微服务,准确来说是一个体系。每个微服务都集成了Actuator,通过Actuator对外提供微服务的运行状况。关于Actuator大家可以阅读这篇文章。《Spring boot——Actuator 详解》 ​ 其上是Micrometer&…...

探索分布式强一致性奥秘:Paxos共识算法的精妙之旅

提到分布式算法,就不得不提 Paxos 算法,在过去几十年里,它基本上是分布式共识的代名词,因为当前一批常用的共识算法都是基于它改进的。比如,Fast Paxos 算法、Cheap Paxos、Raft 算法等。 由莱斯利兰伯特(L…...

使用 ES|QL 优化可观察性:简化 Kubernetes 和 OTel 的 SRE 操作和问题解决

作者:Bahubali Shetti 作为一名运营工程师(SRE、IT 运营、DevOps),管理技术和数据蔓延是一项持续的挑战。 简单地管理大量高维和高基数数据是令人难以承受的。 作为单一平台,Elastic 帮助 SRE 将无限的遥测数据&#…...

Docker 第十九章 : 阿里云个人镜像仓使用

Docker 第十九章 : 阿里云个人镜像仓使用 本章知识点: 如何创建镜像库,如何设置密码,如何登录与退出个人镜像仓,如何本地打镜像,如何将本地镜像推送到个人镜像库。 背景 在项目YapiDocker部署中,因读取mongo:latest 版本不一致,导致后续执行步骤的异常。遇到此场景…...

二、系统知识笔记-系统架构概述

一、系统架构定义 系统架构是指对一个系统的整体结构和组成部分进行描述和规划的过程。系统架构定义决定了系统的设计、开发和实施过程中的关键方向和决策。是系统的骨架和根基,支撑和链接各个部分,包括组件、连接件、约束规范以及指导这些内容设计与演…...

【高德地图】Android高德地图绘制标记点Marker

📖第4章 Android高德地图绘制标记点Marker ✅绘制默认 Marker✅绘制多个Marker✅绘制自定义 Marker✅Marker点击事件✅Marker动画效果✅Marker拖拽事件✅绘制默认 Infowindow🚩隐藏InfoWindow 弹框 ✅绘制自定义 InfoWindow🚩实现 InfoWindow…...

每天一个知识点 - 如何快速熟悉后端项目

入职一家新公司的时候,不可避免的就是接触到新公司的项目,有些项目一启动就是好几年,业务功能极其复杂,下面我总结几个方法让大家快速熟悉后端项目(图文结合) 用例图简析 用例是系统中的一个功能单元&…...

HPM5361EVK深度测评:480MHz RISC-V MCU性能、外设与低功耗实战

1. 项目概述与核心价值拿到一块新的开发板,尤其是基于RISC-V这类新兴架构的MCU开发板,很多工程师的第一反应往往是:跑个分,点个灯。这没错,但如果我们止步于此,就错过了深入理解一块芯片和其生态潜力的机会…...

终极PC游戏分屏解决方案:Universal Split Screen完全指南

终极PC游戏分屏解决方案:Universal Split Screen完全指南 【免费下载链接】UniversalSplitScreen Split screen multiplayer for any game with multiple keyboards, mice and controllers. 项目地址: https://gitcode.com/gh_mirrors/un/UniversalSplitScreen …...

S32K3开发避坑:用EB tresos给GPT定时器(PIT)配时钟,实测24MHz APIS_SLOW_CLK怎么设

S32K3开发实战:EB tresos中GPT定时器时钟配置深度解析 引言 在嵌入式系统开发中,精确的定时器配置往往是项目成功的关键因素之一。对于使用NXP S32K3系列MCU的开发者而言,EB tresos工具链提供了强大的MCAL配置能力,但同时也带来了…...

Beyond Compare密钥生成终极指南:三步解锁专业版完整功能

Beyond Compare密钥生成终极指南:三步解锁专业版完整功能 【免费下载链接】BCompare_Keygen Keygen for BCompare 5 项目地址: https://gitcode.com/gh_mirrors/bc/BCompare_Keygen 还在为Beyond Compare试用期结束而烦恼?想要永久解锁这款强大的…...

终极指南:如何用OpenBoardView免费开源工具轻松查看和分析PCB电路板文件

终极指南:如何用OpenBoardView免费开源工具轻松查看和分析PCB电路板文件 【免费下载链接】OpenBoardView View .brd files 项目地址: https://gitcode.com/gh_mirrors/op/OpenBoardView 你是否曾经需要查看.brd格式的PCB设计文件,却苦于没有昂贵的…...

解密工业通信调试:Wu.CommTool深度解析与实战指南

解密工业通信调试:Wu.CommTool深度解析与实战指南 【免费下载链接】Wu.CommTool 基于C#、WPF、Prism、MaterialDesign、HandyControl开发的通讯调试工具。支持Modbus Rtu调试、Mqtt调试、TCP调试、串口调试、UDP调试 项目地址: https://gitcode.com/gh_mirrors/wu…...

Rust命令行工具开发实战:从架构设计到工程化发布

1. 项目概述:为什么是Rust,为什么是命令行工具?最近几年,如果你关注过系统编程或者高性能工具领域,Rust这个词出现的频率会越来越高。它不再是一个“未来之星”,而是实实在在地在重塑我们手中的工具链。我自…...

153.YOLOv8 从数据集下载到 ONNX 部署

摘要 目标检测是计算机视觉领域的核心任务之一,YOLO系列算法凭借其单阶段检测架构和实时推理能力,成为工业界部署的首选方案。本文从零开始,系统讲解YOLOv8的完整使用流程,涵盖环境搭建、数据集构建、模型训练、评估与部署全链路。所有代码均基于Ultralytics官方库,提供可…...

【LangGraph 状态持久化(Checkpoint)详解】学习笔记

目录 什么是状态持久化? 持久化方案对比 内存持久化:MemoryPersistence SQLite 持久化:SqlitePersistence Agent 多轮对话持久化:AgentPersistence get_state 与 get_state_history 详解 总结对比 1. 什么是状态持久化&…...

在 Vue 2 与 Vue 3 中使用 markdown-it-vue 渲染 Markdown 和数学公式

markdown-it-vue 是一个功能强大的 Markdown 渲染 Vue 组件,它基于 markdown-it 解析引擎,集成了多种插件,开箱即用地支持GitHub风格的Markdown、代码高亮、图表(Mermaid, ECharts)、表情符号(emoji&#x…...