当前位置： 首页 > news >正文

2. Flink快速上手

news 2026/1/30 0:20:15

文章目录

  • 1. 环境准备
    • 1.1 系统环境
    • 1.2 安装配置Java 8和Scala 2.12
    • 1.3 使用集成开发环境IntelliJ IDEA
    • 1.4 安装插件
  • 2. 创建项目
    • 2.1 创建工程
      • 2.1.1 创建Maven项目
      • 2.1.2 设置项目基本信息
      • 2.1.3 生成项目基本框架
    • 2.2 添加项目依赖
      • 2.2.1 添加Flink相关依赖
      • 2.2.2 添加slf4j-nop依赖
      • 2.2.3 刷新项目依赖
  • 3. 编写代码
    • 3.1 准备工作
      • 3.1.1更名目录
      • 3.1.2 添加scala-sdk到项目
      • 3.1.3 查看是否可以创建Scala类
      • 3.1.4 设置源目录与测试源目录
      • 3.1.5 准备数据文件
      • 3.1.6 词频统计思路
      • 3.1.7 创建包
    • 3.2 批处理
      • 3.2.1 创建单例对象
      • 3.2.2 运行程序，查看结果
      • 3.2.3 注意事项
    • 3.3 流处理
      • 3.3.1 流数据概念
      • 3.3.2 读取文件
        • 3.3.2.1 创建单例对象
        • 3.3.2.2 运行程序，查看结果
      • 3.3.3 读取文本流
        • 3.3.3.1 创建单例对象
        • 3.3.3.2 主机上启动nc
        • 3.3.3.3 启动词频统计程序
        • 3.3.3.4 主机上利用nc发送数据
        • 3.3.3.5 在控制台查看结果
  • 4. 总结

在这里插入图片描述

1. 环境准备

大家好，今天我们将一起学习如何快速上手Apache Flink。首先，我们需要准备一下环境。

1.1 系统环境

请确保您的系统环境为Windows 10。

1.2 安装配置Java 8和Scala 2.12

在开始之前，请确认您已经安装了Java 8和Scala 2.12。您可以通过命令行查看Java和Scala的版本。

java -version
scala -version

1.3 使用集成开发环境IntelliJ IDEA

我们推荐使用IntelliJ IDEA 2020.1版本作为我们的集成开发环境。

1.4 安装插件

在IDEA中，我们需要安装以下插件：

  • Maven插件
  • Git插件
  • Scala插件

这些插件将帮

相关文章：

2. Flink快速上手

文章目录 1. 环境准备1.1 系统环境1.2 安装配置Java 8和Scala 2.121.3 使用集成开发环境IntelliJ IDEA1.4 安装插件2. 创建项目2.1 创建工程2.1.1 创建Maven项目2.1.2 设置项目基本信息2.1.3 生成项目基本框架2.2 添加项目依赖2.2.1 添加Flink相关依赖2.2.2 添加slf4j-nop依赖2…...

编程日记 2024/10/30 13:56:46

Java-I/O框架06：常见字符编码、字符流抽象类

视频链接：16.16 字符流抽象类_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1Tz4y1X7H7?spm_id_from333.788.videopod.episodes&vd_sourceb5775c3a4ea16a5306db9c7c1c1486b5&p16 1.常见字符编码 IOS-8859-1收录了除ASCII外，还包括西欧…...

编程日记 2024/10/30 13:55:46

计算机网络-MSTP的基础概念

前面我们大致了解了MSTP的由来，是为了解决STP/RSTP只有一根生成树导致的VLAN流量负载分担与次优路径问题，了解MSTP采用实例映射VLAN的方式实现多实例生成树，MSTP有很多的理论概念需要知道，其实与其它的知识一样理论复杂配置还好的…...

编程日记 2024/10/30 13:54:45

P1037 [NOIP2002 普及组] 产生数

[NOIP2002 普及组] 产生数 题目描述 给出一个整数 n n n 和 k k k 个变换规则。 规则： 一位数可变换成另一个一位数。规则的右部不能为零。 例如： n 234 , k 2 n234,k2 n234,k2。有以下两个规则： 2 ⟶ 5 2\longrightarrow 5 2⟶5。 …...

编程日记 2024/10/30 13:51:42

【分布式知识】分布式对象存储组件-Minio

文章目录 什么是minio核心特点：使用场景：开发者工具：社区和支持： 核心概念什么是对象存储？MinIO 如何确定对对象的访问权限？我可以在存储桶内按文件夹结构组织对象吗？如何备份和恢复 MinIO 上的…...

编程日记 2024/10/30 13:50:41

跨平台开发支付组件，实现支付宝支付

效果图： custom-payment ： 在生成预付订单之后页面中需要弹出一个弹层，弹层中展示的内容为支付方式（渠道），由用户选择一种支付方式进行支付。 该弹层组件是以扩展组件 uni-popup 为核心的，关于…...

编程日记 2024/10/30 13:48:38

API 接口：为电商行业高效发展注入强劲动力

一、动力之源：API 接口在电商中的角色剖析 在电商行业的广袤版图中，API 接口宛如一台强劲的发动机，是推动其高效发展的核心动力来源。它不再仅仅是一个技术工具，而是成为了连接电商各个环节的 “神经系统”，使得信息、…...

编程日记 2024/10/30 13:46:35

Golang的跨平台开发

Golang的跨平台开发 一、Golang跨平台开发概述 语言是一种开源的编程语言，由Google开发，广泛应用于云计算和网络编程领域。Golang具有并发性好、性能优异、内存管理自动化等特点，因此备受开发者青睐。其中，Golang的跨平台特性使得…...

编程日记 2024/10/30 13:44:33

txt数据转为pdf格式并使用base64解密输出

使用该方法请注意&#xff1a;因为此方法使用了base64解密&#xff0c;需要保证txt中的数据首先用了base64加密&#xff0c;如果只是普通的二进制数据&#xff0c;该方法并不适用 第一步 <dependency><groupId>org.apache.pdfbox</groupId><artifactId&…...

编程日记 2024/10/30 13:43:32

鸿蒙开发-状态+判断+循环

​&#x1f308;个人主页&#xff1a;前端青山 &#x1f525;系列专栏&#xff1a;鸿蒙开发篇 &#x1f516;人终将被年少不可得之物困其一生 依旧青山,本期给大家带来鸿蒙开发篇专栏内容:鸿蒙开发-状态判断循环 目录 1.状态1原始类型 2.引用类型 2.判断 3.循环 1.基本使用…...

编程日记 2024/10/30 13:42:31

基于SSM网上招投标管理系统的设计

管理员账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0c;用户管理&#xff0c;招标者管理&#xff0c;专家管理&#xff0c;项目分类管理&#xff0c;招标项目管理&#xff0c;系统管理 前台账号功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0…...

编程日记 2024/10/30 13:41:30

「C/C++」C++ 设计模式 之 单例模式（Singleton）

✨博客主页何曾参静谧的博客&#x1f4cc;文章专栏「C/C」C/C程序设计&#x1f4da;全部专栏「VS」Visual Studio「C/C」C/C程序设计「UG/NX」BlockUI集合「Win」Windows程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「PK」Parasoli…...

编程日记 2024/10/30 13:39:28

WPF的行为(Behavior)

WPF&#xff08;Windows Presentation Foundation&#xff09;是微软.NET框架中用于构建Windows客户端应用程序的UI框架。它提供了一种声明性的方式来定义用户界面&#xff0c;并且支持MVVM&#xff08;Model-View-ViewModel&#xff09;设计模式。 在WPF中&#xff0c;“行为…...

编程日记 2024/10/30 13:38:26

SpringBoot框架：闲一品交易平台的新突破

摘 要 随着科学技术的飞速发展&#xff0c;社会的方方面面、各行各业都在努力与现代的先进技术接轨&#xff0c;通过科技手段来提高自身的优势&#xff0c;闲一品交易平台当然也不能排除在外。闲一品交易平台是以实际运用为开发背景&#xff0c;运用软件工程原理和开发方法&…...

编程日记 2024/10/30 13:36:21

关于AI绘画 | Stable Diffusion 技术专栏推荐文章

AI绘画 | Stable Diffusion 技术专栏推荐文章 引言 随着人工智能技术的发展&#xff0c;AI绘画逐渐成为艺术创作的新潮流。在众多的AI绘画工具中&#xff0c;Stable Diffusion因其强大的功能和易用性受到了广泛的关注。本文将详细介绍由“泰山AI”创建的技术专栏“AI绘画 | S…...

编程日记 2024/10/30 13:34:17

Oracle 第13章：事务处理

在数据库管理系统&#xff08;DBMS&#xff09;中&#xff0c;事务处理是一个非常重要的概念&#xff0c;它确保了数据的一致性和可靠性。下面我将解释事务的概念与特性&#xff0c;并讨论如何进行事务管理。 事务的概念与特性 事务是指作为一个工作单元的一组有序的SQL操作。…...

编程日记 2024/10/30 13:33:16

String的长度有限，而我对你的思念却无限延伸

公主请阅 1. 为什么学习string类&#xff1f;2. string类的常用接口2.1 string类对象的常见构造2.1.1 string 2.2 operator[]2.3 迭代器2.4 auto自动推导数据类型2.5 范围for2.6 迭代器第二层2.7 size和length获取字符串的长度2.8 max_size 获取这个字符串能设置的最大长度2.9 …...

编程日记 2024/10/30 13:30:13

二叉树的后序遍历

给你一棵二叉树的根节点 root &#xff0c;返回其节点值的 后序遍历 。 示例 1&#xff1a; 输入&#xff1a;root [1,null,2,3] 输出&#xff1a;[3,2,1] 解释&#xff1a; 示例 2&#xff1a; 输入&#xff1a;root [1,2,3,4,5,null,8,null,null,6,7,9] 输出&#xf…...

编程日记 2024/10/30 13:28:10

Nvidia未来的Blackwell Ultra GPU将更名为B300系列

据TrendForce报道&#xff0c;英伟达&#xff08;Nvidia&#xff09;计划将其Blackwell Ultra产品线重新命名为B300系列&#xff0c;以更好地与即将推出的B100和B200产品进行区分。Blackwell Ultra系列将是一个具有更高性能的升级版本。但据报道&#xff0c;这种升级后的内存配…...

编程日记 2024/10/30 13:27:08

BUUCTF靶场Misc练习

在BUUCTF中&#xff0c;你需要留意各种关于涉及 flag{ } 的信息。只要找的到flag&#xff0c;你就算成功。本文记录我刷BUUCTF的Misc类方法和个人感悟。 Misc第一题 签到 题解在题目中&#xff0c;如图所示 flag是 flag{buu_ctf} 第二题 &#xff08;题目如图所示&#xff…...

编程日记 2024/10/30 13:23:59

【大模型RAG】拍照搜题技术架构速览：三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…...

编程新知 2026/1/29 23:08:35

基于大模型的 UI 自动化系统

基于大模型的 UI 自动化系统 下面是一个完整的 Python 系统，利用大模型实现智能 UI 自动化，结合计算机视觉和自然语言处理技术，实现"看屏操作"的能力。 系统架构设计 #mermaid-svg-2gn2GRvh5WCP2ktF {font-family:"trebuchet ms",verdana,arial,sans-…...

编程新知 2025/10/22 11:16:20

前端倒计时误差!

提示：记录工作中遇到的需求及解决办法 文章目录 前言一、误差从何而来？二、五大解决方案1. 动态校准法（基础版）2. Web Worker 计时3. 服务器时间同步4. Performance API 高精度计时5. 页面可见性API优化三、生产环境最佳实践四、终极解决方案架构前言 前几天听说公司某个项…...

编程新知 2025/9/8 23:14:43

python爬虫：Newspaper3k 的详细使用（好用的新闻网站文章抓取和解析的Python库）

更多内容请见： 爬虫和逆向教程-专栏介绍和目录 文章目录 一、Newspaper3k 概述1.1 Newspaper3k 介绍1.2 主要功能1.3 典型应用场景1.4 安装二、基本用法2.2 提取单篇文章的内容2.2 处理多篇文档三、高级选项3.1 自定义配置3.2 分析文章情感四、实战案例4.1 构建新闻摘要聚合器…...

编程新知 2025/10/25 7:51:48

tree 树组件大数据卡顿问题优化

问题背景 项目中有用到树组件用来做文件目录&#xff0c;但是由于这个树组件的节点越来越多&#xff0c;导致页面在滚动这个树组件的时候浏览器就很容易卡死。这种问题基本上都是因为dom节点太多&#xff0c;导致的浏览器卡顿&#xff0c;这里很明显就需要用到虚拟列表的技术&…...

编程新知 2026/1/26 20:14:23

QT3D学习笔记——圆台、圆锥

类名作用Qt3DWindow3D渲染窗口容器QEntity场景中的实体&#xff08;对象或容器&#xff09;QCamera控制观察视角QPointLight点光源QConeMesh圆锥几何网格QTransform控制实体的位置/旋转/缩放QPhongMaterialPhong光照材质&#xff08;定义颜色、反光等&#xff09;QFirstPersonC…...

编程新知 2026/1/29 5:26:37

Qt 事件处理中 return 的深入解析

Qt 事件处理中 return 的深入解析 在 Qt 事件处理中&#xff0c;return 语句的使用是另一个关键概念&#xff0c;它与 event->accept()/event->ignore() 密切相关但作用不同。让我们详细分析一下它们之间的关系和工作原理。 核心区别&#xff1a;不同层级的事件处理 方…...

编程新知 2025/6/10 21:19:52

五子棋测试用例

一.项目背景 1.1 项目简介 传统棋类文化的推广 五子棋是一种古老的棋类游戏&#xff0c;有着深厚的文化底蕴。通过将五子棋制作成网页游戏&#xff0c;可以让更多的人了解和接触到这一传统棋类文化。无论是国内还是国外的玩家&#xff0c;都可以通过网页五子棋感受到东方棋类…...

编程新知 2026/1/21 0:00:37

【PX4飞控】mavros gps相关话题分析，经纬度海拔获取方法，卫星数锁定状态获取方法

使用 ROS1-Noetic 和 mavros v1.20.1&#xff0c; 携带经纬度海拔的话题主要有三个&#xff1a; /mavros/global_position/raw/fix/mavros/gpsstatus/gps1/raw/mavros/global_position/global 查看 mavros 源码&#xff0c;来分析他们的发布过程。发现前两个话题都对应了同一…...

编程新知 2026/1/27 11:03:19

20250609在荣品的PRO-RK3566开发板的Android13下解决串口可以执行命令但是脚本执行命令异常的问题

20250609在荣品的PRO-RK3566开发板的Android13下解决串口可以执行命令但是脚本执行命令异常的问题 2025/6/9 20:54 缘起&#xff0c;为了跨网段推流&#xff0c;千辛万苦配置好了网络参数。 但是命令iptables -t filter -F tetherctrl_FORWARD可以在调试串口/DEBUG口正确执行。…...

编程新知 2026/1/26 22:52:53