当前位置: 首页 > news >正文

flink-1.13.6 例子

--------------------------------------------------------------
flink版本:
flink-1.13.6

[root@master bin]# pip3 list | grep flink
WARNING: Ignoring invalid distribution -andas (/usr/local/python38/lib/python3.8/site-packages)
apache-flink           1.13.0
apache-flink-libraries 1.13.0
flink                  1.0
pyflink                1.0


[root@master bin]# cat /root/flink/t3.py
from pyflink.table import DataTypes, TableEnvironment, EnvironmentSettings
from pyflink.table.descriptors import Schema, OldCsv, FileSystem
from pyflink.table.expressions import lit

settings = EnvironmentSettings.new_instance().in_batch_mode().use_blink_planner().build()
t_env = TableEnvironment.create(settings)

# write all the data to one file
t_env.get_config().get_configuration().set_string("parallelism.default", "1")
t_env.connect(FileSystem().path('/tmp/input')) \
    .with_format(OldCsv().field('word', DataTypes.STRING())) \
    .with_schema(Schema().field('word', DataTypes.STRING())) \
    .create_temporary_table('mySource')

t_env.connect(FileSystem().path('/tmp/output')) \
    .with_format(OldCsv().field_delimiter('\t') \
    .field('word', DataTypes.STRING()) \
    .field('count', DataTypes.BIGINT())) \
    .with_schema(Schema() \
    .field('word', DataTypes.STRING()) \
    .field('count', DataTypes.BIGINT())) \
    .create_temporary_table('mySink')

tab = t_env.from_path('mySource')
tab.group_by(tab.word).select(tab.word, lit(1).count).execute_insert('mySink').wait()


[root@master bin]# ./flink run -m localhost:8081 -py /root/flink/t3.py 
Job has been submitted with JobID f3f2b3d8b5c2e05cdbc31d7f5488aedf
[root@master bin]# 


[root@master bin]# cat /tmp/output 
flink    2
pyflink    1
lucy    1
jcw    1
m2m    2
[root@master bin]# cat /tmp/input 
flink
pyflink
flink
lucy
jcw
m2m
m2m

相关文章:

flink-1.13.6 例子

-------------------------------------------------------------- flink版本: flink-1.13.6 [rootmaster bin]# pip3 list | grep flink WARNING: Ignoring invalid distribution -andas (/usr/local/python38/lib/python3.8/site-packages) apache-flink 1.13.0 a…...

Go语音基于zap的日志封装

zap日志封装 Zap是一个高性能、结构化日志库,专为Go语言设计。它由Uber开源,并且在Go社区中非常受欢迎。它的设计目标是提供一个简单易用、高效稳定、灵活可扩展的日志系统。 以下是Zap的一些主要特点: 1.高性能:Zap的性能非常出…...

可持续能源技术具有改变世界的潜力,并且已经在多个方面展现出积极的影响。

可持续能源技术的发展在当今全球面临的气候变化和能源安全挑战中扮演着至关重要的角色。我认为可持续能源技术具有改变世界的潜力,并且已经在多个方面展现出积极的影响。以下是我对此的观点: 1,可持续能源技术有助于减少对化石燃料的依赖 化…...

Java常用工具之StringUtils类

目录 一、字符串判空二、分隔字符串三、判断是否为纯数字四、将集合拼接成字符串五、其他方法 字符串(String)在我们的日常工作中,用得非常非常非常多。 在我们的代码中经常需要对字符串判空,截取字符串、转换大小写、分隔字符串、…...

MyBatis-plus的批量插入方式对比分析

MyBatis-plus的批量插入方式对比分析 【摘要】Mybatis批量插入一直是开发者重点关注的问题&#xff0c;本文列举了Mybatis的五种插入方式进行对比分析&#xff0c;验证了五种批量插入的方式的优先级。 1 准备工作 1.1 新建spring项目 略。 1.2 导入pom.xml依赖 <depende…...

【系分论文】论软件开发模型及应用

目录 论题论题介绍论文要点理论素材准备范文摘要正文 论文补充知识 论题 论软件开发模型及应用 论题介绍 软件开发模型&#xff08; Software Development Model&#xff09;是指软件开发全部过程、活动和任务的结构框架。软件开发过程包括需求、设计、编码和测试等阶段&…...

渗透测试--5.3.使用john破解密码

前言 由于Linux是Internet最流行的服务器操作系统&#xff0c;因此它的安全性备受关注。这种安全主要靠口令实现。 Linux使用一个单向函数crypt&#xff08;&#xff09;来加密用户口令。单向函数crypt&#xff08;&#xff09;从数学原理上保证了从加密的密文得到加密前的明…...

Go中的变量类型

Go中的变量类型 1.为什么要使用变量 变量其实指定的是一段内存地址&#xff0c;根据这个内存地址可以找到我们需要找到的东西。 2.变量类型 变量的功能就是用来存储数据的&#xff0c;根据不同的数据类型可以存储不同的数据。常见的变量的类型 整型、浮点型、布尔型等。变…...

基于STM32的NRF24L01 2.4G通讯模块的驱动实验(HAL库)

前言&#xff1a;本文为手把手教学NRF24L01 2.4G通讯模块的驱动实验&#xff0c;本教程的 MCU 采用STM32F103ZET6与STM32F103C8T6&#xff0c;彼此进行互相通讯。通过 CubeMX 软件配置 SPI 协议驱动NRF24L01 2.4G通讯模块&#xff08;HAL库&#xff09;。NRF24L01 2.4G是嵌入式…...

DJ5-3 多路访问链路和协议

目录 一、网络链路 二、广播信道要解决问题 三、多路访问协议 1、基本介绍 2、多路访问协议的类型&#xff08;3&#xff09; 四、信道划分协议 1、时分多路访问 TDMA 2、频分多路访问 FDMA 3、码分多路访问 CDMA&#xff08;略&#xff09; 五、随机访问协议 1、纯…...

技术领导力?

作品集&#xff08;Portfolio&#xff09;会比简历&#xff08;Resume&#xff09;更有参考意义。 怎么才算有技术领导力&#xff1f; 1) 能够发现问题&#xff0c;并能够提供解决问题的思路和方案&#xff0c;并能比较方案的优缺点。 2) 能用更简洁有效的方式解决问题。 3…...

计算机的基本工作原理

参考资料&#xff1a; L-1.6: Common Bus system| How basic computer works - YouTube 准备好内存单元、不同类型的寄存器&#xff0c;内存和寄存器、寄存器和寄存器之间都是通过总线连接(假设是直接把数据总线、控制总线、地址总线变成一条总线)。 使用多路复用器实现的总线&…...

【论文简述】Cross-Attentional Flow Transformer for Robust Optical Flow(CVPR 2022)

一、论文简述 1. 第一作者&#xff1a;Xiuchao Sui、Shaohua Li 2. 发表年份&#xff1a;2021 3. 发表期刊&#xff1a;arxiv 4. 关键词&#xff1a;光流、Transformer、自注意力、交叉注意力、相关体 5. 探索动机&#xff1a;由于卷积的局部性和刚性权重&#xff0c;有限…...

【JAVA】Java中方法的使用,理解方法重载和递归

目录 1.方法的概念及使用 1.1什么是方法 1.2方法的定义 1.3方法调用的执行过程 1.4实参和形参 2.方法重载 2.1为什么需要使用方法重载 2.2什么是方法重载 3.递归 3.1什么是递归 3.2递归执行的过程 3.3递归的使用 1.方法的概念及使用 1.1什么是方法 方法就是一个代…...

高级网络计算模式复习

P2P 对等网络&#xff08;Peer-to-Peer Networks&#xff09;是分布式系统和计算机网络相结合的产物&#xff0c;在应用领域和学术界获得了广泛的重视和成功&#xff0c;被称为“改变Internet的一代网络技术”。 peer指网络结点&#xff0c;在行为上是自由的——任意加入、退…...

【笔试强训选择题】Day15.习题(错题)解析

作者简介&#xff1a;大家好&#xff0c;我是未央&#xff1b; 博客首页&#xff1a;未央.303 系列专栏&#xff1a;笔试强训选择题 每日一句&#xff1a;人的一生&#xff0c;可以有所作为的时机只有一次&#xff0c;那就是现在&#xff01;&#xff01; 文章目录 前言 一、…...

图论专题(一)

图论专题(一) 参考文献 BFS和DFS的直观解释 https://blog.csdn.net/c406495762/article/details/117307841Leetcode岛屿问题系列分析 https://blog.csdn.net/qq_39144436/article/details/124173504多源广度优先 https://blog.csdn.net/peko1/article/details/121989497拓扑排…...

新星计划2023【网络应用领域基础】————————Day4

常见的网络基础介绍 前言 我们学习了一些基础的网络协议&#xff0c;以及子网掩码和vlan&#xff0c;同时也做了个简单的单臂路由实验 这篇文章我将仔细的讲解单臂路由的应用和交换机二层接口类型&#xff0c;以及wireshark的教程。 一&#xff0c;交换机二层接口 交换机的二…...

[CTF/网络安全] 攻防世界 view_source 解题详析

[CTF/网络安全] 攻防世界 view_source 解题详析 查看页面源代码方式归类总结 题目描述&#xff1a;X老师让小宁同学查看一个网页的源代码&#xff0c;但小宁同学发现鼠标右键好像不管用了。 查看页面源代码方式归类 单击鼠标右键&#xff0c;点击查看页面源代码&#xff1a; …...

目前流行的9大前端框架

1. React 2. Vue 3. Angular 、 4. Svelte 官网&#xff1a;https://svelte.dev 中文官网&#xff1a;https://www.sveltejs.cn Svelte 是一种全新的构建用户界面的方法。传统框架如 React 和 Vue 在浏览器中需要做大量的工作&#xff0c;而 Svelte 将这些工作放到构建应用程…...

Visio图表绘制加速器:用Phi-3-mini生成系统架构图与流程图描述

Visio图表绘制加速器&#xff1a;用Phi-3-mini生成系统架构图与流程图描述 1. 引言&#xff1a;当AI遇见系统设计 你有没有遇到过这样的场景&#xff1f;在会议室里&#xff0c;团队讨论了一个复杂的系统架构&#xff0c;所有人都点头表示理解&#xff0c;但当你回到工位准备…...

JavaScript中字符串split方法转换为数组的细节.txt

context.WithTimeout没生效是因为未在关键位置检查ctx.Err()或未将ctx传入底层可取消操作&#xff1b;需确保I/O操作&#xff08;如http.NewRequestWithContext&#xff09;显式接收ctx&#xff0c;并在自定义协程中定期select监听ctx.Done()。context.WithTimeout 为什么没生效…...

【神通数据库】从零到精通:安装配置、控制台操作与国产化适配全攻略

1. 神通数据库入门指南 第一次接触神通数据库的朋友可能会好奇&#xff0c;这到底是个什么样的数据库&#xff1f;简单来说&#xff0c;神通数据库是一款国产的企业级关系型数据库管理系统&#xff0c;由天津神舟通用数据技术有限公司研发。我在实际项目中使用过多个版本的数据…...

Qwen3.5-27B教育场景应用:学生作业图题自动解答+解题思路生成案例

Qwen3.5-27B教育场景应用&#xff1a;学生作业图题自动解答解题思路生成案例 1. 教育场景痛点分析 在传统教育场景中&#xff0c;学生遇到作业难题时往往面临以下困境&#xff1a; 解题资源有限&#xff1a;课后难以及时获得老师指导理解障碍&#xff1a;特别是图形类题目&a…...

从0到1搭建可靠消息链路:RocketMQ重试 + Redis幂等实战

三方消息对接为什么总翻车&#xff1f;一套 RocketMQ Redis 幂等 的工业级解法&#xff08;含架构图伪代码&#xff09; &#x1f525; 适合收藏&#xff1a;三方平台对接、商品/订单同步、消息中台治理 ✅ 你将收获&#xff1a;一套可直接落地的“拉取-发送-消费-重试-幂等-补…...

开源许可证变更风波:商业与自由的博弈

在当今软件开发的生态系统中&#xff0c;开源软件已成为测试工作的核心支柱。从自动化框架到持续集成工具&#xff0c;测试从业者依赖开源组件提升效率与覆盖度。然而&#xff0c;近期开源许可证的频繁变更——如Redis从BSD转向RSALv2/SSPLv1、Bun 2.0从MIT切换到AGPLv3——正掀…...

Qwen3.5-4B-Claude-Opus详细步骤:修改系统提示词打造专属AI助教方法

Qwen3.5-4B-Claude-Opus详细步骤&#xff1a;修改系统提示词打造专属AI助教方法 1. 理解模型特性 1.1 模型基础介绍 Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF是一个基于Qwen3.5-4B的推理蒸馏模型&#xff0c;特别强化了结构化分析、分步骤回答、代码与逻辑类问…...

百元挂耳式耳机哪款音质好?带你弄懂最值得购买的十大开放式耳机

现在市面上有些牌子&#xff0c;价格标得挺高&#xff0c;体验却跟不上&#xff1b;还有些走低价路线的网红款&#xff0c;看着参数漂亮&#xff0c;实际到手一用——耳挂硬得硌耳朵&#xff0c;声音飘得像隔层纱&#xff0c;用不了几个月就开始出毛病。这种产品&#xff0c;买…...

Redis 实现接口幂等性的三种高效策略

1. 接口幂等性基础认知 第一次听说"幂等性"这个词时&#xff0c;我正盯着生产环境里两条完全相同的订单记录发愁。用户只是抱怨页面卡顿多点了两次提交按钮&#xff0c;结果系统就产生了重复数据。这种场景就像你去ATM机取钱&#xff0c;输入密码后机器没反应&#…...

手机号查QQ号:3个步骤找回遗忘的QQ账号,你试过吗?

手机号查QQ号&#xff1a;3个步骤找回遗忘的QQ账号&#xff0c;你试过吗&#xff1f; 【免费下载链接】phone2qq 项目地址: https://gitcode.com/gh_mirrors/ph/phone2qq 你是否曾经因为忘记QQ号而陷入数字身份的困境&#xff1f;当新设备需要验证时&#xff0c;只记得…...