当前位置： 首页 > news >正文

Flink SQL填坑记3：两个kafka数据关联查询

news 2025/12/12 16:22:38

在一个项目中，实时生成的统计数据需要关联另外一张表（并非维表），需要统计的数据表是Kafka数据，而需要关联的表，由于不是维度，不能按照主键查询，所以如果放在MySQL上，将存在严重的性能问题，这个时候我想到用将两张表的数据都生成为Kafka数据，然后进行Join操作。中途发现这种性能特别差，而且表变更会产生多条kakfa记录，导致计算越来越来，最后改成upsert-kafka，下面记录下处理过程。

刚开始用kafka，建表语句如下：

Create Table `kafka_t_test1` (`f_id` bigint,`f_name` string,PRIMARY KEY (`f_corp_id`,`f_id`) NOT ENFORCED) WITH ('connector' = 'kafka','topic' = 't_test','properties.bootstrap.servers' = '10.10.10.1','properties.group.id' = 'test','value.format' = 'json','value.fields-include'

相关文章：

Flink SQL填坑记3：两个kafka数据关联查询

在一个项目中，实时生成的统计数据需要关联另外一张表（并非维表），需要统计的数据表是Kafka数据，而需要关联的表，由于不是维度，不能按照主键查询，所以如果放在MySQL上，将存在严重的性能问题，这个时候我想到用将两张表的数据都生成为Kafka数据，然后进行Join操作。中途发…...

编程日记 2024/3/30 7:40:15

移动平台实时动态多点光源方案：Cluster Light

一、什么是 Cluster Light，它具体如何实现多点光源效果？ 对于移动设备，如何支持场景中大量的实时点光源一直以来都是比较棘手的问题，因此对于过去，往往有如下两种常规方案： 静态点光源直接烘焙&#xff0…...

编程日记 2024/3/30 7:39:14

2024年03月CCF-GESP编程能力等级认证C++编程八级真题解析

本文收录于专栏《C++等级认证CCF-GESP真题解析》，专栏总目录：点这里。订阅后可阅读专栏内所有文章。 一、单选题（每题 2 分，共 30 分） 第 1 题 为丰富食堂菜谱，炒菜部进行头脑风暴。肉类有鸡肉、牛肉、羊肉、猪肉4种，切法有肉排、肉块、肉末3种，配菜有圆白菜、油菜、…...

编程日记 2024/3/30 7:34:09

（十一）图像的罗伯特梯度锐化

环境：Windows10专业版 IDEA2021.2.3 jdk11.0.1 OpenCV-460.jar 系列文章： （一）PythonGDAL实现BSQ，BIP，BIL格式的相互转换 （二）BSQ,BIL,BIP存储格式的相互转换算法 （三…...

编程日记 2024/3/30 7:32:07

实验九 枚举问题（运算模拟）

实验名称：实验九 枚举问题（运算模拟） 实验目的：熟练掌握一些枚举问题的处理方法。 实验内容： 问题描述：（乘积为n个1的数字游戏）两位计算机爱好者在进行“积为n个1的数字游戏”&a…...

编程日记 2024/3/30 7:25:00

2024 年 AI 辅助研发趋势：从研发数字化到 AI + 开发工具 2.0，不止于 Copilot

1. 背景介绍 随着人工智能技术的飞速发展，AI在软件开发领域的应用越来越广泛。从最初的代码补全、错误提示，到现在的代码生成、自动化测试，AI正在逐步改变软件开发的模式。2024年，AI辅助研发的趋势已经从研发数字化向AI开发工具2…...

编程日记 2024/3/30 7:22:58

UE5数字孪生系列笔记(三)

C创建Pawn类玩家 创建一个GameMode蓝图用来加载我们自定义的游戏Mode新建一个Pawn的C，MyCharacter类作为玩家，新建一个相机组件与相机臂组件，box组件作为根组件 // Fill out your copyright notice in the Description page of Project Set…...

编程日记 2024/3/30 7:18:54

ASR-LLM-TTS 大模型对话实现案例；语音识别、大模型对话、声音生成

参考：https://blog.csdn.net/weixin_42357472/article/details/136305123（llm+tts） https://blog.csdn.net/weixin_42357472/article/details/136411769 （asr+vad） 这里LLM用的是chatglm；电脑声音播报用的playsound 1、实时语音识别版本 注意：暂时这项目有个缺陷就是tts…...

编程日记 2024/3/30 7:17:53

主干网络篇 | YOLOv8更换主干网络之EfficientNet

前言：Hello大家好，我是小哥谈。EfficientNet是一种高效的卷积神经网络架构，由Mingxing Tan和Quoc V. Le在2019年提出，其设计思想是在不增加计算复杂度的情况下提高模型的准确性。它引入了一个称为"复合系数"的概念，该系数用于同时缩放网络的深度、宽度和分辨率。…...

编程日记 2024/3/30 7:16:52

Web开发-Django学习笔记

客户端如何获取服务端的数据信息？ 通常 是 HTTP网络协议，通过网络传输数据信息。 客户端通过HTTP协议发送请求信息给服务端，并从服务端接收响应信息。 Web 前端开发： （HTML、CSS、JS）文件部署在后端服务…...

编程日记 2024/3/30 7:15:51

关于深度学习的 PyTorch 项目如何上手分析？从什么地方切入？

文章目录 PyTorch 项目分析1.背景2.分析流程 PyTorch 项目分析 1.背景 当我们拿到一个 PyTorch 的深度学习项目时，应该怎么入手？怎么去查看代码？ 2.分析流程 首先阅读对应项目的 README.md 文件。通过阅读 README.md ，一般可以…...

编程日记 2024/3/30 7:14:50

JavaEE企业开发新技术4

2.16 模拟Spring IOC容器功能-1 2.17 模拟Spring IOC容器功能-2 什么是IOC？ 控制反转，把对象创建和对象之间的调用过程交给Spring框架进行管理使用IOC的目的：为了耦合度降低 解释： 模仿 IOC容器的功能，我们利用 Map…...

编程日记 2024/3/30 7:13:49

CSS使用JS变量

1. CSS变量 CSS 变量（也称为自定义属性）允许我们在 CSS 中定义可重复使用的值，并将其应用于不同的选择器。为了创建一个 CSS 变量，我们需要使用 -- 前缀，然后可以像常规属性一样使用它。 :root {--primary-color: bl…...

编程日记 2024/3/30 7:12:48

拆分巨石：将MVPS和MVAS应用于遗留应用程序——可持续架构（六）

前言 MVP 和 MVA 的概念不仅适用于新应用程序；它们提供了一种新颖的方式来审视对遗留系统的范围变更，以防止过快地承担过多的变化 - 参见图1。MVA 可以帮助组织评估和更新其技术标准，通过展示新技术如何真正对支持 MVP 至关重要。创建 MVA 可…...

编程日记 2024/3/30 7:11:47

Linux renice命令教程：如何优雅地调整进程优先级(附案例详解和注意事项)

Linux renice命令介绍 renice命令在Linux中用于修改已经运行的进程的优先级。这个命令允许你改变一个已经运行的进程的调度优先级。如果我们给一个进程设置了更高的优先级，那么内核将为该进程分配更多的CPU时间。 Linux renice命令适用的Linux版本 renice命令在所…...

编程日记 2024/3/30 7:09:45

Gitea 的详细介绍

什么是 Gitea？ Gitea 是一个开源、轻量级的自托管 Git 服务，它允许用户搭建类似于 GitHub 或 GitLab 的代码托管平台。由于采用 Go 语言开发，Gitea 具有高效的性能和跨平台特性，适合个人开发者或小团队使用。 Gitea 的特点 轻量…...

编程日记 2024/3/30 7:08:44

Kotlin object

object 的三种用法 Kotlin 的 object 关键字有三种用法： 对象声明 ，一般用来实现单例伴生对象 ，类似 Java 的 static 关键字，也可以用于工厂方法模式对象表达式 ，一般用来代替 Java 的匿名内部类 对象声明 object 的语义是这样的： 定义一个类并创建一个实例 。不管是对象…...

编程日记 2024/3/30 7:06:40

【Redis】数据类型、事务执行、内存淘汰策略

目录 数据类型 Redis事务执行步骤 步骤： redis内存淘汰策略 设置内存淘汰策略 1.设置配置文件 2.通过命令设置 数据类型 官网解释 Understand Redis data types | Redis 首先，Redis 的所有键都是字符串,常用的数据类型有 5 种：Strin…...

编程日记 2024/3/30 7:05:39

Python Flask Web框架初步入门

前言 flask基础 搭建flask服务器 定义html 使用templates模板定义页面的html html页面编写 render_template传参变量 定义图片 创建static目录，存入图片 html编写 flask入门 网站多域名 网站之间超链接跳转 入门案例 将centos的rpm包下载链接集成到自…...

编程日记 2024/3/30 6:56:31

【设计模式】工厂方法模式详解

在java中，万物皆对象，这些对象都需要创建，如果创建的时候直接new该对象，就会对该对象耦合严重，假如我们要更换对象，所有new对象的地方都需要修改一遍，这显然违背了软件设计的开闭原则。如果我们…...

编程日记 2024/3/30 6:50:26

华为云AI开发平台ModelArts

华为云ModelArts：重塑AI开发流程的“智能引擎”与“创新加速器”！ 在人工智能浪潮席卷全球的2025年，企业拥抱AI的意愿空前高涨，但技术门槛高、流程复杂、资源投入巨大的现实，却让许多创新构想止步于实验室。数据科学家…...

编程新知 2025/12/11 16:25:21

JavaSec-RCE

简介 RCE(Remote Code Execution)，可以分为:命令注入(Command Injection)、代码注入(Code Injection) 代码注入 1.漏洞场景：Groovy代码注入 Groovy是一种基于JVM的动态语言，语法简洁，支持闭包、动态类型和Java互操作性&#xff0c…...

编程新知 2025/12/11 22:06:36

Vue记事本应用实现教程

文章目录 1. 项目介绍2. 开发环境准备3. 设计应用界面4. 创建Vue实例和数据模型5. 实现记事本功能5.1 添加新记事项5.2 删除记事项5.3 清空所有记事 6. 添加样式7. 功能扩展：显示创建时间8. 功能扩展：记事项搜索9. 完整代码10. Vue知识点解析10.1 数据绑…...

编程新知 2025/9/20 5:20:12

Xshell远程连接Kali（默认 | 私钥）Note版

前言:xshell远程连接，私钥连接和常规默认连接 任务一 开启ssh服务 service ssh status //查看ssh服务状态 service ssh start //开启ssh服务 update-rc.d ssh enable //开启自启动ssh服务 任务二 修改配置文件 vi /etc/ssh/ssh_config //第一…...

编程新知 2025/12/12 3:26:16

基于服务器使用 apt 安装、配置 Nginx

🧾 一、查看可安装的 Nginx 版本 首先，你可以运行以下命令查看可用版本： apt-cache madison nginx-core输出示例： nginx-core | 1.18.0-6ubuntu14.6 | http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages ng…...

编程新知 2025/12/4 11:14:19

深入理解JavaScript设计模式之单例模式

目录 什么是单例模式为什么需要单例模式常见应用场景包括 单例模式实现透明单例模式实现不透明单例模式用代理实现单例模式javaScript中的单例模式使用命名空间使用闭包封装私有变量 惰性单例通用的惰性单例 结语 什么是单例模式 单例模式（Singleton Pattern&#…...

编程新知 2025/12/9 21:22:39

376. Wiggle Subsequence

376. Wiggle Subsequence 代码 class Solution { public:int wiggleMaxLength(vector<int>& nums) {int n nums.size();int res 1;int prediff 0;int curdiff 0;for(int i 0;i < n-1;i){curdiff nums[i1] - nums[i];if( (prediff > 0 && curdif…...

编程新知 2025/12/9 1:33:12

HTML前端开发：JavaScript 常用事件详解

作为前端开发的核心&#xff0c;JavaScript 事件是用户与网页交互的基础。以下是常见事件的详细说明和用法示例&#xff1a; 1. onclick - 点击事件 当元素被单击时触发&#xff08;左键点击&#xff09; button.onclick function() {alert("按钮被点击了&#xff01;&…...

编程新知 2025/11/10 10:45:11

pikachu靶场通关笔记22-1 SQL注入05-1-insert注入(报错法)

目录 一、SQL注入 二、insert注入 三、报错型注入 四、updatexml函数 五、源码审计 六、insert渗透实战 1、渗透准备 2、获取数据库名database 3、获取表名table 4、获取列名column 5、获取字段 本系列为通过《pikachu靶场通关笔记》的SQL注入关卡(共10关&#xff0…...

编程新知 2025/12/5 1:47:15

GC1808高性能24位立体声音频ADC芯片解析

1. 芯片概述 GC1808是一款24位立体声音频模数转换器&#xff08;ADC&#xff09;&#xff0c;支持8kHz~96kHz采样率&#xff0c;集成Δ-Σ调制器、数字抗混叠滤波器和高通滤波器&#xff0c;适用于高保真音频采集场景。 2. 核心特性 高精度&#xff1a;24位分辨率&#xff0c…...

编程新知 2025/12/9 1:56:21