当前位置：首页 > news >正文

计算引擎：Flink核心概念

news 2026/2/7 17:18:22

Apache Flink 是一个流处理框架，擅长处理实时数据流和批处理任务。Flink 提供了强大的功能来处理和分析大量数据。以下是 Flink 的核心概念：

1. DataStream 和 DataSet API

DataStream API: 用于处理无界数据流，即不断生成和流动的数据。例如，传感器数据、日志等。
DataSet API: 用于处理有界数据集，适合静态数据的批处理。自 Flink 1.14 版起，DataSet API 被弃用，建议使用 DataStream API 处理批数据。

2. Execution Environment

ExecutionEnvironment 和 StreamExecutionEnvironment 是 Flink 作业的上下文，用于配置和启动作业。

StreamExecutionEnvironment: 用于流处理，管理作业的生命周期、任务调度等。
ExecutionEnvironment: 用于批处理。虽然现在推荐使用 StreamExecutionEnvironment。

3. Transformation

数据转换操作定义了如何从一个数据集（流）创建另一个数据集（流）。常见的转换包括：

计算引擎：Flink核心概念

Apache Flink 是一个流处理框架，擅长处理实时数据流和批处理任务。Flink 提供了强大的功能来处理和分析大量数据。以下是 Flink 的核心概念： 1. DataStream 和 DataSet API DataStream API: 用于处理无界数据流，即不断生成和流动的数据。例如，传感器数据、日志等。DataSet…...

编程日记 2024/6/11 6:48:17

技术前沿 |【大模型InstructBLIP进行指令微调】

大模型InstructBLIP进行指令微调一、引言二、InstructBLIP模型介绍三、指令微调训练通用视觉语言模型的应用潜力四、InstructBLIP的指令微调训练步骤五、实验结果与讨论六、结论与展望一、引言随着人工智能技术的快速发展，视觉语言模型（Vision-Langu…...

编程日记 2024/6/11 6:47:16

CSS-布局-flex

CSS3 新增了弹性盒子模型( Flexible Box 或 FlexBox )，是一种新的用于在 HTML 页面实现布局的方式。使得 HTML 页面适应不同尺寸的屏幕和不同的设备时，元素是可预测地运行。基本概念容器：使用 display:flex 或 display:inline-flex 声明的…...

编程日记 2024/6/11 6:46:14

「C系列」C 数组

文章目录一、C 数组1. 声明数组2. 初始化数组3. 访问数组元素4. 数组越界5. 多维数组二、C 操作数组的方法有哪些三、C 数组-应用场景1. 存储固定数量的数据2. 实现算法（如排序）3. 处理数据集合四、相关链接一、C 数组在C语言中，数组是…...

编程日记 2024/6/11 6:45:13

Python框架scrapy有什么天赋异禀

Scrapy框架与一般的爬虫代码之间有几个显著的区别，这些差异主要体现在设计模式、代码结构、执行效率以及可扩展性等方面。下面是一些关键的不同点： 结构化与模块化： Scrapy：提供了高度结构化的框架，包括定义好的Spider…...

编程日记 2024/6/11 6:44:12

【ROS2大白话】四、ROS2非常简单的传参方式

系列文章目录【ROS2大白话】一、ROS2 humble及cartorgrapher安装【ROS2大白话】二、turtlebot3安装【ROS2大白话】三、给turtlebot3安装realsense深度相机【ROS2大白话】四、ROS2非常简单的传参方式文章目录系列文章目录前言一、launch文件传参的demo1. 编写launch.py文…...

编程日记 2024/6/11 6:43:11

浅谈mysql 的批量delete 和使用in条件批量删除问题

在考虑这两个DELETE语句的性能时，我们需要考虑数据库如何执行这些查询以及它们背后可能涉及的索引和数据结构。 1.执行多个单独的DELETE语句： DELETE FROM a WHERE b 1 AND c 1; ... DELETE FROM a WHERE b 1000 AND c 1000; 这种方法的优点是每…...

编程日记 2024/6/11 6:40:08

【Spring Boot】过滤敏感词的两种实现

文章目录项目场景前置知识前缀树实现方式解决方案一：读取敏感词文件生成前缀树构建敏感词过滤器1. 导入敏感词文件 src/main/resources/sensitive_words.txt2. 构建敏感词过滤器 SensitiveFilter3. 测试与使用解决方案二：使用第三方插件 houbb/sensit…...

编程日记 2024/6/11 6:39:07

在 Zustand 中管理状态能使用类（Class）吗

在 Zustand 中，通常不推荐使用类（Class）来管理状态，因为 Zustand 的设计理念是基于函数式编程和 React Hooks 的。然而，仍然可以在 Zustand 中间接地使用类，但这并不是 Zustand 的典型用法。如果确实想要…...

编程日记 2024/6/11 6:38:06

MoreTable 方法selectWithFun,count 使用实例

ORM Bee, example for MoreTable methods:selectWithFun,count ORM Bee时, MoreTable 方法selectWithFun,count 使用实例 package org.teasoft.exam.bee.osql;import org.teasoft.bee.osql.BeeException; import org.teasoft.bee.osql.FunctionType; import org.teasoft.be…...

编程日记 2024/6/11 6:37:04

【SpringBoot】在Spring中使用自定义条件类在Java声明Bean时实现条件注入

在Spring框架中，通过实现org.springframework.context.annotation.Condition接口并重写matches()方法，可以根据自定义条件来控制Bean的注入。这种机制非常灵活，可以帮助开发人员根据环境或配置来有选择地启用或禁用某些Bean。本文将详细介绍如…...

编程日记 2024/6/11 6:34:01

网卡聚合链路配置

创建名为mybond0的绑定，使用示例如下： # nmcli con add type bond con-name mybond0 ifname mybond0 mode active-backup添加从属接口，使用示例如下： # nmcli con add type bond-slave ifname enp3s0 master mybond0要添加其他从…...

编程日记 2024/6/11 6:33:00

PlantSimulation导入cad图作为背景

PlantSimulation导入cad图作为背景首先要整理cad文件，正常的工艺规划总图中存在较多杂乱文件，这些信息是不需要的，如果直接导入，会非常卡。 1、打开cad软件，使用layon命令打开所有的隐藏图层，删除不需要…...

编程日记 2024/6/11 6:29:55

【大模型】个人对大模型选择的见解

选择大模型产品时，需要考虑多个因素，包括但不限于以下几点： 需求匹配度：首先，要明确你的需求是什么。不同的大模型产品可能在功能、性能、应用场景等方面有所侧重。例如，有的模型擅长自然语言处理&#xff…...

编程日记 2024/6/11 6:27:52

java的反射和python的鸭子类型

Java的反射（Reflection）和Python的鸭子类型（Duck Typing）感觉相似但又说不出具体的细节，本文借助kimi试图给出总结。相似之处： 动态性：Java的反射允许程序在运行时查询、创建和修改类和对象的…...

编程日记 2024/6/11 6:23:49

爬虫工具yt-dlp

yt-dlp是youtube-dlp的一个fork，youtube-dlp曾经也较为活跃，但后来被众多网站屏蔽，于是大家转而在其基础上开发yt-dlp。yt-dlp的github项目地址为：GitHub - yt-dlp/yt-dlp: A feature-rich command-line audio/video downloaderA …...

编程日记 2024/6/11 6:22:48

【代码随想录训练营】【Day 50】【动态规划-9】| Leetcode 198, 213, 337

【代码随想录训练营】【Day 50】【动态规划-9】【需二刷】| Leetcode 198, 213, 337 需强化知识点需二刷，打家劫舍系列题目 198. 打家劫舍 class Solution:def rob(self, nums: List[int]) -> int:if len(nums) 1:return nums[0]dp [0] * (len(nums))dp…...

编程日记 2024/6/11 6:21:47

源码讲解kafka 如何使用零拷贝技术（zero-copy）

前言 kafka 作为一个高吞吐量的分布式消息系统，广泛应用与实时应用场景中。为了实现高效的数据传输，kafka使用了零拷贝技术（zero-copy）显著提高了性能。本文将详细讲解 Kafka 如何利用零拷贝技术优化数据传输。什么是零拷贝零拷贝技术目的是减少数据传输的效率。在传统…...

编程日记 2024/6/11 6:20:46

Ubuntu20.04配置qwen0.5B记录

环境简介 Ubuntu20.04、 NVIDIA-SMI 545.29.06、 Cuda 11.4、 python3.10、 pytorch1.11.0 开始搭建 python环境设置创建虚拟环境 conda create --name qewn python3.10预安装modelscope和transformers pip install modelscope pip install transformers安装pytorch co…...

编程日记 2024/6/11 6:18:44

java自学阶段二:JavaWeb开发--day80（项目实战2之苍穹外卖）

《项目案例—黑马苍穹外卖》目录： 学习目标项目介绍前端环境搭建(前期直接导入老师的项目，后期自己敲）后端环境搭建（导入初始项目，新建仓库使用git管理项目，新建数据库，修改登录功能&#xff…...

编程日记 2024/6/11 6:17:43

stm32G473的flash模式是单bank还是双bank？

今天突然有人stm32G473的flash模式是单bank还是双bank？由于时间太久，我真忘记了。搜搜发现，还真有人和我一样。见下面的链接：https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...

编程新知 2026/2/5 0:36:44

基础测试工具使用经验

背景 vtune，perf, nsight system等基础测试工具，都是用过的，但是没有记录，都逐渐忘了。所以写这篇博客总结记录一下，只要以后发现新的用法，就记得来编辑补充一下 perf 比较基础的用法： 先改这…...

编程新知 2025/11/22 7:38:58

苍穹外卖--缓存菜品

1.问题说明用户端小程序展示的菜品数据都是通过查询数据库获得，如果用户端访问量比较大，数据库访问压力随之增大 2.实现思路通过Redis来缓存菜品数据，减少数据库查询操作。缓存逻辑分析： ①每个分类下的菜品保持一份缓存数据…...

编程新知 2026/2/7 15:39:49

基于Java+MySQL实现（GUI）客户管理系统

客户资料管理系统的设计与实现第一章需求分析 1.1 需求总体介绍本项目为了方便维护客户信息为了方便维护客户信息，对客户进行统一管理，可以把所有客户信息录入系统，进行维护和统计功能。可通过文件的方式保存相关录入数据，对…...

编程新知 2026/1/25 10:12:06

【JVM面试篇】高频八股汇总——类加载和类加载器

目录 1. 讲一下类加载过程？ 2. Java创建对象的过程？ 3. 对象的生命周期？ 4. 类加载器有哪些？ 5. 双亲委派模型的作用（好处）？ 6. 讲一下类的加载和双亲委派原则？ 7. 双亲委派模…...

编程新知 2026/1/31 11:18:29

STM32HAL库USART源代码解析及应用

STM32HAL库USART源代码解析前言STM32CubeIDE配置串口USART和UART的选择使用模式参数设置GPIO配置DMA配置中断配置硬件流控制使能生成代码解析和使用方法串口初始化__UART_HandleTypeDef结构体浅析HAL库代码实际使用方法使用轮询方式发送使用轮询方式接收使用中断方式发送使用中…...

编程新知 2026/1/31 13:18:46

Razor编程中@Html的方法使用大全

文章目录 1. 基础HTML辅助方法1.1 Html.ActionLink()1.2 Html.RouteLink()1.3 Html.Display() / Html.DisplayFor()1.4 Html.Editor() / Html.EditorFor()1.5 Html.Label() / Html.LabelFor()1.6 Html.TextBox() / Html.TextBoxFor() 2. 表单相关辅助方法2.1 Html.BeginForm() …...

编程新知 2026/1/28 4:50:33