当前位置： 首页 > news >正文

Flink中的批和流

news 2026/5/15 19:49:08

批处理的特点是有界、持久、大量，非常适合需要访问全部记录才能完成的计算工作，一般用于离线统计。
流处理的特点是无界、实时, 无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计。
而在Flink中，一切都是由流组成的，Flink认为有界数据集是无界数据流的一种特例，离线数据是有界限的流，实时数据是一个没有界限的流，这就是所谓的有界流和无界流。
无界流：意思很明显，只有开始没有结束。必须连续的处理无界流数据，也即是在事件注入之后立即要对其进行处理。不能等待数据到达了再去全部处理，因为数据是无界的并且永远不会结束数据注入。处理无界流数据往往要求事件注入的时候有一定的顺序性，例如可以以事件产生的顺序注入，这样会使得处理结果完整。
有界流：也即是有明确的开始和结束的定义。有界流可以等待数据全部注入完成了再开始处理。注入的顺序不是必须的了，因为对于一个静态的数据集，我们是可以对其进行排序的。有界流的处理也可以称为批处理。

实时数仓：
数据的额实时清晰，归并，结构化
数仓的补充和优化
实时监控：
对用户行为或相关事件进行实时监测和分析，基于风控规则进行预警
用户行为预警，app crasn预警，服务器攻击预警
实时报表：
双11，双12等活动直播大屏
对外数据产品，生意参谋等
数据化运营
流数据分析：
实时计算相关指标反馈及时调整决策
内容投放，无线智能推送，实时个性化推荐等；

相关文章：

Flink中的批和流

批处理的特点是有界、持久、大量，非常适合需要访问全部记录才能完成的计算工作，一般用于离线统计。 流处理的特点是无界、实时, 无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计。 而在Flin…...

编程日记 2023/9/21 15:41:42

【LeetCode-中等题】150. 逆波兰表达式求值

文章目录 题目方法一&#xff1a;栈 题目 方法一&#xff1a;栈 class Solution {public int evalRPN(String[] tokens) {Deque<Integer> deque new LinkedList<>();String rpn "-*/";//符号集 用来判断扫描的是否为运算符int sum 0;for(int i 0 ; i…...

编程日记 2023/9/21 15:40:41

搭建ELK+Filebead+zookeeper+kafka实验

部署 Zookeeper 集群 准备 3 台服务器做 Zookeeper 集群 192.168.10.17 192.168.10.21 192.168.10.22 1.安装前准备 关闭防火墙 systemctl stop firewalld systemctl disable firewalld setenforce 0 安装 JDK yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-…...

编程日记 2023/9/21 15:39:40

java专题练习(抢红包)

package 专题练习;import java.util.Random;public class grab_red_packet {/* 需求:直播抽奖,分别由{2,588,888,1000,10000}五个奖金,请用代码模拟抽奖,奖项出现顺序要随机且不重复打印效果:588元的奖金被抽出*///思路://1. 先用数组把奖金定义好//2. 用random方法给出随机数索…...

编程日记 2023/9/21 15:38:38

AVR 单片机 调试环境 JTAG MKII

注意 驱动 的厂家: 如果驱动备改变为其他厂家的驱动 就与 AVR Studio7不兼容 保证驱动选择正确是 能够使用硬件调试的关键 如果驱动不对&#xff0c;使用 USB驱动修改工具 修改 比如 UsbDriverTool.exe...

编程日记 2023/9/21 15:37:37

C++ - AVL树实现（下篇）- 调试小技巧

前言 本博客是 AVL树的下篇&#xff0c;上篇请看&#xff1a;C - AVL 树 介绍 和 实现 &#xff08;上篇&#xff09;_chihiro1122的博客-CSDN博客 上篇当中写插入操作&#xff0c;和其中涉及的 旋转等等细节&#xff0c;还有AVL树的大体框架。 调试小技巧 条件断点 在大项目…...

编程日记 2023/9/21 15:36:34

Mybatis懒加载

懒加载是什么&#xff1f; 按需加载所需内容&#xff0c;当调用到关联的数据时才与数据库交互否则不交互&#xff0c;能大大提高数据库性能&#xff0c;并不是所有场景下使用懒加载都能提高效率。 Mybatis懒加载&#xff1a;resultMap里面的association、collection有延迟加载功…...

编程日记 2023/9/21 15:35:33

DSOX3012A是德科技keysight DSOX3012A示波器

181/2461/8938是德科技DSOX3012A(安捷伦)示波器 是德科技DSOX3012A(安捷伦)是InfiniiVision 3000 X系列中的双通道型号。这款可升级示波器采用突破性技术设计&#xff0c;提供卓越的性能和功能。其独特的5仪器合一设计为相同的预算提供了更大的范围。 是德科技DSOX3012A示波器…...

编程日记 2023/9/21 15:34:32

基于网络表示学习的 新闻推荐算法研究与系统实现

摘要 第1章绪论 新闻推荐通常是利用用户的阅读行为和习惯、阅读选择和爱好等信息，为 用户推荐新闻内容。新闻推荐能够减少用户在数量庞大数据信息中获取信息的 时间消耗，从而能够缓解“信息过载[7]”的难题。以文本为内容的新闻，和商品、 电影、短视频等推荐系统相比，新闻推…...

编程日记 2023/9/21 15:32:27

＜Altium Designer＞ 将.DSN文件导入并转换成SchDoc文件

目录 01 使用向导方式导入.DSN 02 消除Unique Identifiers Errors 03 文章总结 大家好&#xff0c;这里是程序员杰克。一名平平无奇的嵌入式软件工程师。 本文主要是总结和分享将OrCAD Capture画的原理图文件(.DSN)导入到Altium Designer&#xff0c;转换成对应的原理图文件…...

编程日记 2023/9/21 15:31:26

视频定格合璧，批量剪辑轻松插入图片

大家好&#xff01;想要将视频与图片完美融合吗&#xff1f;现在&#xff0c;我们为您推出一款强大的批量剪辑工具&#xff0c;让您能够轻松在图片中插入视频&#xff0c;让您的创作更加精彩动人&#xff01; 首先&#xff0c;第一步我们要进入媒体梦工厂主页面&#xff0c;并…...

编程日记 2023/9/21 15:30:24

【Tensorflow 2.12 电影推荐项目搭建】

Tensorflow 2.12 电影推荐项目搭建 学习笔记工具、环境创建项目项目配置安装相关python包召回模型实现排序模型实现实现电影推荐导入模块设置要推荐的用户召回推荐排序推荐推荐结果结尾学习笔记 Tensorflow 2.12 电影推荐项目搭建记录~ Tensorflow是谷歌开源的机器学习框架，可…...

编程日记 2023/9/21 15:28:21

python+opencv特征匹配算法

pythonopencv特征匹配算法 1.安装 pip install opencv-python pip install numpy2.算法明细 import cv2 import numpy as np# 读取两张图像 img1 cv2.imread(image1.jpg,0) # queryImage img2 cv2.imread(image2.jpg,0) # trainImage# 初始化SIFT对象 sift cv2.xfeatur…...

编程日记 2023/9/21 15:27:19

android Compose 实现 webView

在Compose中&#xff0c;目前还没有原生的WebView组件。但是&#xff0c;您可以使用Android Jetpack组件中的AndroidView来将传统的WebView集成到Compose中。下面是一个示例代码&#xff1a; Composable fun WebViewScreen(url: String) {AndroidView(factory { context ->…...

编程日记 2023/9/21 15:25:16

算法基础-数学知识-欧拉函数、快速幂、扩展欧几里德、中国剩余定理

算法基础-数学知识-欧拉函数、快速幂、扩展欧几里德、中国剩余定理 欧拉函数AcWing 874. 筛法求欧拉函数 快速幂AcWing 875. 快速幂AcWing 876. 快速幂求逆元 扩展欧几里德&#xff08;裴蜀定理&#xff09;AcWing 877. 扩展欧几里得算法AcWing 878. 线性同余方程 中国剩余定理…...

编程日记 2023/9/21 15:24:15

ElasticSearch系列-索引原理与数据读写流程详解

索引原理 倒排索引 倒排索引&#xff08;Inverted Index&#xff09;也叫反向索引&#xff0c;有反向索引必有正向索引。通俗地来讲&#xff0c;正向索引是通过key找value&#xff0c;反向索引则是通过value找key。ES底层在检索时底层使用的就是倒排索引。 索引模型 现有索…...

编程日记 2023/9/21 15:23:08

【码银送书第七期】七本考研书籍

八九月的朋友圈刮起了一股晒通知书潮&#xff0c;频频有大佬晒出“研究生入学通知书”&#xff0c;看着让人既羡慕又焦虑。果然应了那句老话——比你优秀的人&#xff0c;还比你努力。 心里痒痒&#xff0c;想考研的技术人儿~别再犹豫了。小编咨询了一大波上岸的大佬&#xff…...

编程日记 2023/9/21 15:21:05

docker容器的设置本地时间（/etc/localtime）和本地时区（/etc/timezone）

本地时区的修改 一般情况下&#xff0c;我们启动docker容器时指定了环境变量&#xff1a; -e TZ:Asia/Ho_Chi_Minh &#xff0c;容器内的时区就会变成东八区&#xff0c;某些软件则会读取该环境变量作为其使用的时区&#xff0c;该环境变量相当于"残缺版"的命令&…...

编程日记 2023/9/21 15:20:04

侯捷老师C++课程：内存管理

内存管理 第一讲&#xff1a;primitives c应用程序 c内存的基本工具 测试程序&#xff1a; #include <iostream> using namespace std; #include <complex> #include <ext/pool_allocator.h>int main() {// 三种使用方法void* p1 malloc(512); // 512 b…...

编程日记 2023/9/21 15:18:00

A股风格因子看板 (2023.09 第05期)

该因子看板跟踪A股风格因子&#xff0c;该因子主要解释沪深两市的市场收益、刻画市场风格趋势的系列风格因子&#xff0c;用以分析市场风格切换、组合风格暴露等。 今日为该因子跟踪第05期&#xff0c;指数组合数据截止日2023-08-31&#xff0c;要点如下 近1年A股风格因子检验统…...

编程日记 2023/9/21 15:16:58

Go语言集成Ollama本地大模型：gollama库实战指南

1. 项目概述&#xff1a;当Go语言遇上本地大模型如果你是一名Go语言开发者&#xff0c;同时又对本地运行的大型语言模型&#xff08;LLM&#xff09;感兴趣&#xff0c;那么你很可能已经感受到了两者之间的“次元壁”。一方面&#xff0c;Go以其简洁、高效和强大的并发能力&…...

编程新知 2026/5/15 18:47:49

Arm架构在中国市场的机遇、挑战与实战指南

1. 项目概述&#xff1a;Arm架构的“中国故事”与我的观察最近几年&#xff0c;在技术圈和投资圈里&#xff0c;“Arm架构”和“中国市场”这两个词的组合热度一直居高不下。作为一名长期关注处理器架构和产业生态的从业者&#xff0c;我几乎每周都能在行业交流、客户会议甚至供…...

编程新知 2026/5/15 18:27:42

VSCode搭配MinGW-w64打造Windows下C++开发环境：从安装、配置到调试一条龙

VSCode搭配MinGW-w64打造Windows下C开发环境&#xff1a;从安装、配置到调试一条龙 在Windows平台上进行C开发&#xff0c;选择合适的工具链往往能事半功倍。虽然Visual Studio提供了完整的解决方案&#xff0c;但许多开发者更青睐轻量级、高度可定制的VSCode编辑器。本文将带你…...

编程新知 2026/5/15 17:58:20

如何高效管理fg-data-profiling版本控制：Git工作流完整指南 [特殊字符]

如何高效管理fg-data-profiling版本控制&#xff1a;Git工作流完整指南 &#x1f680; 【免费下载链接】fg-data-profiling 1 Line of code data quality profiling & exploratory data analysis for Pandas and Spark DataFrames. 项目地址: https://gitcode.com/gh_mi…...

编程新知 2026/5/15 16:49:53

如何用DouyinLiveWebFetcher三步实现抖音直播弹幕实时采集？终极免费工具使用指南

如何用DouyinLiveWebFetcher三步实现抖音直播弹幕实时采集&#xff1f;终极免费工具使用指南 【免费下载链接】DouyinLiveWebFetcher 抖音直播间网页版的弹幕数据抓取&#xff08;2025最新版本&#xff09; 项目地址: https://gitcode.com/gh_mirrors/do/DouyinLiveWebFetche…...

编程新知 2026/5/15 15:55:03

构建插件化搜索聚合服务：从架构设计到Go语言实现

1. 项目概述与核心价值最近在折腾一个个人项目&#xff0c;需要实现一个轻量级的在线搜索聚合功能。我的需求很简单&#xff1a;不想在代码里写死一堆搜索引擎的API调用&#xff0c;也不想每次加个新搜索源就改一遍逻辑。就在我到处翻找有没有现成的轮子时&#xff0c;一个叫st…...

编程新知 2026/5/15 14:00:01

【紧急预警】NotebookLM在广义相对论语境下的概念漂移现象：基于57篇PRL论文的偏差审计报告

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;【紧急预警】NotebookLM在广义相对论语境下的概念漂移现象&#xff1a;基于57篇PRL论文的偏差审计报告 现象复现与基准测试协议 我们在标准LIGO-PRL语料集&#xff08;v2.3&#xff09;上对NotebookLM…...

编程新知 2026/5/15 13:08:09

WechatSogou微信公众号爬虫实战指南：高效获取公众号数据的Python解决方案

WechatSogou微信公众号爬虫实战指南&#xff1a;高效获取公众号数据的Python解决方案 【免费下载链接】WechatSogou 基于搜狗微信搜索的微信公众号爬虫接口 项目地址: https://gitcode.com/gh_mirrors/we/WechatSogou 在信息爆炸的时代&#xff0c;微信公众号已成为内容…...

编程新知 2026/5/15 10:00:06

WandEnhancer：开源WeMod增强工具，免费解锁Pro功能与远程控制

WandEnhancer&#xff1a;开源WeMod增强工具&#xff0c;免费解锁Pro功能与远程控制 【免费下载链接】Wand-Enhancer Advanced UX and interoperability extension for Wand (WeMod) app 项目地址: https://gitcode.com/gh_mirrors/we/Wand-Enhancer WandEnhancer是一款…...

编程新知 2026/5/15 9:47:27

烟花爆竹安全禁令（零售篇）

1.严禁无证/过期经营、超范围经营&#xff1b; 2.严禁下店上宅、前店后宅、与居住场所合一&#xff1b; 3.严禁超量储存、店外堆放、超高堆放&#xff1b; 4.严禁明火、吸烟、高温灯具、非防爆电气&#xff1b; 5.严禁消防设施&#xff08;灭火器&#xff09;缺失/失效、通道堵…...

编程新知 2026/5/15 8:40:55