【Flink】DataStream API使用之Flink支持的数据类型
Flink的使用过程中,我们的数据都是定义好的 UserBehavior 类型,那还有没有其他更灵活的类型可以用呢?Flink 支持的数据类型到底有哪些?
1. Flink 的类型系统
Flink 作为一个分布式处理框架,处理的是以数据对象作为元素的流。Flink 使用类型信息 (TypeInformation) 来统一表示数据类型,并为每个数据类型生成特定的序列化器、反序列化器和比较器。对于复杂的数据类型,Flink 可能不支持,因此需要使用类型推断机制。此外,Flink 还支持自定义类型信息,以便更好地处理不同类型的数据。
2. Flink 支持的数据类型
常见的 Java 和 Scala 数据类型,Flink 都是支持的。Flink 在内部对不同的类型支持进行了划分,这些类型可以在 Types 工具类中找到:
- 基本类型: 所有 Java 基本类型及其包装类,再加上 Void、String、Date、BigDecimal 和 BigInteger。
- 数组类型:基本类型数组(PRIMITIVE_ARRAY)和对象数组(OBJECT_ARRAY)
- 复合数据类型:
- Java 元组类型(TUPLE):这是 Flink 内置的元组类型,是 Java API 的一部分。最多25 个字段,也就是从 Tuple0~Tuple25,不支持空字段,
- Scala 样例类及 Scala 元组:不支持空字段
- 行类型(ROW):可以认为是具有任意个字段的元组,并支持空字段
- POJO:Flink 自定义的类似于 Java bean 模式的类
- 辅助类型:Option、Either、List、Map等
- 泛型类型(GENERIC):
Flink 对 POJO 类型的要求如下:
- 类是公共的(public)和独立的(standalone,也就是说没有非静态的内部类);
- 类有一个公共的无参构造方法;
- 类中的所有字段是 public 且非 final 的;或者有一个公共的 getter 和 setter 方法,这些
方法需要符合 Java bean 的命名规范。
3. 类型提示(Type Hints)
Flink提供了显示注册类型信息的方式,通过.returns()实现。
.map(word -> Tuple2.of(word, 1L))
.returns(Types.TUPLE(Types.STRING, Types.LONG));
如果是复杂类型信息可以这样使用:
returns(new TypeHint<Tuple2<Integer, SomeType>>(){})
相关文章:
【Flink】DataStream API使用之Flink支持的数据类型
Flink的使用过程中,我们的数据都是定义好的 UserBehavior 类型,那还有没有其他更灵活的类型可以用呢?Flink 支持的数据类型到底有哪些? 1. Flink 的类型系统 Flink 作为一个分布式处理框架,处理的是以数据对象作为元…...
QT实现固高运动控制卡示波器
目录 一、固高示波器 二、基于QCustomPlot实现示波器 三、完整源码 一、固高示波器 固高运动控制卡自带的软件有一个示波器功能,可以实时显示速度的波形,可辅助分析电机的运行状态。但是我们基于sdk开发了自己的软件,无法再使用该功能&…...
洛谷P1157详解(两种解法,一看就会)
一、问题引出 组合的输出 题目描述 排列与组合是常用的数学方法,其中组合就是从 n n n 个元素中抽出 r r r 个元素(不分顺序且 r ≤ n r \le n r≤n),我们可以简单地将 n n n 个元素理解为自然数 1 , 2 , … , n 1,2,\dot…...
JavaScript异步编程和回调
目录 1、编程语言中的异步 2、JavaScript 3、回调 3.1在回调中处理错误 3.2回调的问题 3.2回调的替代方案 1、编程语言中的异步 默认情况下,JavaScript是同步的,并且是单线程…...
Qt开发笔记(Qt5.9.9下载安装环境搭建win10)
#1 Qt下载网站(国内、国外镜像) #2 Qt5.9.9安装选项 #3 配置系统环境变量 #4 创建测试项目 #1 Qt下载网站(国内、国外镜像) 官方下载地址(慢):http://download.qt.io/ 国内镜像网站 这里给大家…...
使用Plist编辑器——简单入门指南
本指南将介绍如何使用Plist编辑器。您将学习如何打开、编辑和保存plist文件,并了解plist文件的基本结构和用途。跟随这个简单的入门指南,您将掌握如何使用Plist编辑器轻松管理您的plist文件。 plist文件是一种常见的配置文件格式,用于存储应…...
Python常用的开发工具合集
Python是一种功能强大且易于学习的编程语言,被广泛应用于数据科学、机器学习、Web开发等领域。随着Python在各个领域的应用越来越广泛,越来越多的Python开发工具也涌现出来。但是,对于新手来说,选择一款合适的Python开发工具可…...
机器学习之线性回归
往期目录 python在线性规划中的应用 文章目录 一、线性回归算法概述1.1 什么是线性回归?1.2 线性回归算法原理1.3 线性回归的应用场景 二、线性回归算法Python实现2.1 导入必要的库2.2 随机生成数据集2.3 拟合模型2.4 预测结果2.5 结果可视化 三、完整代码 线性回归…...
中国系统正式发声!所有用户永久免费,网友:再见了,CentOS!
点关注公众号,回复“1024”获取2TB学习资源! 如果说:没有操作系统会怎么样? 对于个PC来说,无论是台式机、笔记本、平板等等,一切都变的一无是处,这些硬件对我们来说,和一堆废铁没什么…...
Oracle数据库坏块类故障
正常的数据块有其特有的固定格式,如果某数据块内部出现了混乱而导致Oracle无法读取,则可称其为坏块。数据库坏块的影响范围可大可小,严重时会导致数据库无法打开。当数据库出现坏块时,一般出现ORA-01578错误、ORA-10632错误或者OR…...
andorid之摄像头驱动流程--MTK平台
camera成像原理: 景物通过镜头生产光学图像投射到sensor表面上,然后转为模拟电信号,经过数模变成数字图像信号,在经过DSP加工出来,然后在通过IO接口传输到CPU处理。 由于摄像头满足总线、驱动、设备模型,…...
Android9.0 iptables用INetd实现屏蔽ip黑名单的实现
1.前言 在9.0的系统rom定制化开发中,在system中netd网络这块的产品需要中,会要求设置屏蔽ip地址之内的功能,liunx中iptables命令也是比较重要的,接下来就来在INetd这块实现屏蔽ip黑名单的的相关功能,就是在app中只能屏蔽某个网址,就是除了这个网址,其他的都能上网,最后…...
介绍一下json
目录 介绍一下json Elasticsearch7.6学习指南 介绍一下json JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,它以易于阅读和编写的文本形式表示结构化数据。JSON最初是由Douglas Crockford在2001年提出的,它在we…...
DI依赖注入环境
1.构造器注入 上一章节已经说过了: <?xml version"1.0" encoding"UTF-8"?> <beans xmlns"http://www.springframework.org/schema/beans"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLoca…...
《程序员面试金典(第6版)》面试题 16.18. 模式匹配(暴力破解 + 剪枝)
题目描述 你有两个字符串,即pattern和value。 pattern字符串由字母"a"和"b"组成,用于描述字符串中的模式。 例如,字符串"catcatgocatgo"匹配模式"aabab"(其中"cat"是"a&q…...
一天吃透SpringCloud面试八股文
1、什么是Spring Cloud ? Spring cloud 流应用程序启动器是基于 Spring Boot 的 Spring 集成应用程序,提供与外部系统的集成。Spring cloud Task,一个生命周期短暂的微服务框架,用于快速构建执行有限数据处理的应用程序。 Sprin…...
java生成图片缩略图
目录 前言一、使用Base64编码方式1、基本方法2、压缩本地图片保存到本地3、压缩网络图片到图片服务器 二、使用thumbnailator工具方式1、导入依赖2、压缩本地图片保存到本地 前言 下面介绍了两种获取图片缩略图的方式,全都不是一次性压缩,如果没有达到设…...
《统计学习方法》——隐马尔可夫模型(下)
学习算法 HMM的学习,在有观测序列的情况下,根据训练数据是否包含状态序列,可以分别由监督学习算法和无监督学习算法实现。 监督学习算法 监督学习算法就比较简单,基于已有的数据利用极大似然估计法来估计隐马尔可夫模型的参数。…...
Liunx top 命令详解
文章目录 top补充说明语法选项top交互命令实例 top 显示或管理执行中的程序 补充说明 top命令 可以实时动态地查看系统的整体运行情况,是一个综合了多方信息监测系统性能和运行信息的实用工具。通过top命令所提供的互动式界面,用热键可以管理。 语法…...
基于 SpringBoot 的医院固定资产系统
本文将介绍基于 SpringBoot 技术的医院固定资产系统的设计和实现。医院固定资产管理是医疗机构管理工作的重要组成部分,它对医院的正常运营和管理具有重要的意义。本系统的设计和实现将有助于医疗机构更好地管理和维护其固定资产。 1. 系统需求分析 医院固定资产管…...
终极指南:用Universal x86 Tuning Utility轻松解锁AMD/Intel处理器潜能
终极指南:用Universal x86 Tuning Utility轻松解锁AMD/Intel处理器潜能 【免费下载链接】Universal-x86-Tuning-Utility Unlock the full potential of your Intel/AMD based device. 项目地址: https://gitcode.com/gh_mirrors/un/Universal-x86-Tuning-Utility …...
FPGA新手避坑指南:手把手教你搞定RTL8211千兆网PHY的时序配置(附Verilog代码)
FPGA实战:RTL8211千兆网PHY时序配置全解析与避坑指南 刚接触FPGA与以太网通信的开发者,十有八九会在RTL8211这类千兆网PHY芯片上栽跟头——硬件连接看似正确,代码逻辑反复检查无误,但网络就是不通,或者频繁丢包。这往往…...
ollama部署本地大模型|granite-4.0-h-350m在新闻聚合平台摘要生成落地
ollama部署本地大模型|granite-4.0-h-350m在新闻聚合平台摘要生成落地 1. 引言:当新闻摘要遇上轻量级AI 每天,新闻聚合平台的后台都会涌入成千上万条信息。编辑团队需要快速浏览、提炼、生成摘要,这不仅是体力活,更是…...
通义千问2.5-7B-Instruct作品集:智能生成的会议摘要案例分享
通义千问2.5-7B-Instruct作品集:智能生成的会议摘要案例分享 1. 会议摘要智能化的价值与挑战 在现代企业运营中,会议占据了大量工作时间。据统计,普通管理者每周平均参与12小时以上的会议,其中30%的时间被浪费在信息整理和确认上…...
保姆级教程:用Python 3.6和pymilvus 1.1.0搞定Milvus向量数据库的增删改查
Python 3.6与Milvus向量数据库实战:从零开始构建AI应用 在人工智能和机器学习领域,向量数据库正成为处理高维数据的核心工具。Milvus作为一款开源的向量数据库,因其高效的相似性搜索能力而备受开发者青睐。本文将带你从零开始,使用…...
办公效率翻倍:巧用WPS邮件合并,零代码搞定数据写入
一、问题的提出和分析我采用网络插件爬取某网页10余篇双语文章,如下图所示。我想把表格中的题目和内容写入到WPS文字当中,便于查看。首先,我想到的是采用Python读取表格写入到文本的方法,但是这种方法需要下载Python解释器&#x…...
从VINS-Mono到ORB-SLAM3:主流视觉惯性里程计(VIO)算法到底该怎么选?附实测数据对比
视觉惯性里程计实战选型指南:VINS-Mono与ORB-SLAM3深度对比 当你的无人机需要在无GPS的仓库内自主盘点库存,或是移动机器人必须在昏暗隧道中保持厘米级定位精度时,视觉惯性里程计(VIO)技术就成为了关键突破口。市场上主…...
五大页面置换算法实战对比:从理论到实现的性能优化指南
1. 页面置换算法:内存管理的隐形裁判 当你的电脑同时运行十几个程序却依然流畅时,背后其实是页面置换算法在默默工作。想象一下内存就像一家网红餐厅的有限座位,而进程就是源源不断的顾客。页面置换算法就是那位决定"让哪桌客人暂时离开…...
从期末考题到实战:聊聊计算机视觉在农业里的那些‘接地气’应用(附霍夫变换、RANSAC代码)
计算机视觉如何重塑现代农业:从算法原理到田间代码实践 当无人机掠过郁郁葱葱的苹果园,摄像头捕捉到的不仅是美丽的田园风光,更是数以万计待分析的图像数据点。这些看似普通的果园巡检画面,背后隐藏着霍夫变换对果梗的精准定位、R…...
企业级语音合成方案一文详解:IndexTTS-2-LLM生产落地
企业级语音合成方案一文详解:IndexTTS-2-LLM生产落地 1. 项目概述与核心价值 IndexTTS-2-LLM智能语音合成服务是一个基于先进大语言模型技术的高质量语音生成解决方案。这个系统专门为企业级应用设计,能够将文本内容实时转换为自然流畅的语音输出。 传…...
