当前位置： 首页 > news >正文

Flink SQL填坑记3：两个kafka数据关联查询

news 2026/5/13 8:29:16

在一个项目中，实时生成的统计数据需要关联另外一张表（并非维表），需要统计的数据表是Kafka数据，而需要关联的表，由于不是维度，不能按照主键查询，所以如果放在MySQL上，将存在严重的性能问题，这个时候我想到用将两张表的数据都生成为Kafka数据，然后进行Join操作。中途发现这种性能特别差，而且表变更会产生多条kakfa记录，导致计算越来越来，最后改成upsert-kafka，下面记录下处理过程。

刚开始用kafka，建表语句如下：

Create Table `kafka_t_test1` (`f_id` bigint,`f_name` string,PRIMARY KEY (`f_corp_id`,`f_id`) NOT ENFORCED) WITH ('connector' = 'kafka','topic' = 't_test','properties.bootstrap.servers' = '10.10.10.1','properties.group.id' = 'test','value.format' = 'json','value.fields-include'

相关文章：

Flink SQL填坑记3：两个kafka数据关联查询

在一个项目中，实时生成的统计数据需要关联另外一张表（并非维表），需要统计的数据表是Kafka数据，而需要关联的表，由于不是维度，不能按照主键查询，所以如果放在MySQL上，将存在严重的性能问题，这个时候我想到用将两张表的数据都生成为Kafka数据，然后进行Join操作。中途发…...

编程日记 2024/3/30 7:40:15

移动平台实时动态多点光源方案：Cluster Light

一、什么是 Cluster Light，它具体如何实现多点光源效果？ 对于移动设备，如何支持场景中大量的实时点光源一直以来都是比较棘手的问题，因此对于过去，往往有如下两种常规方案： 静态点光源直接烘焙&#xff0…...

编程日记 2024/3/30 7:39:14

2024年03月CCF-GESP编程能力等级认证C++编程八级真题解析

本文收录于专栏《C++等级认证CCF-GESP真题解析》，专栏总目录：点这里。订阅后可阅读专栏内所有文章。 一、单选题（每题 2 分，共 30 分） 第 1 题 为丰富食堂菜谱，炒菜部进行头脑风暴。肉类有鸡肉、牛肉、羊肉、猪肉4种，切法有肉排、肉块、肉末3种，配菜有圆白菜、油菜、…...

编程日记 2024/3/30 7:34:09

（十一）图像的罗伯特梯度锐化

环境：Windows10专业版 IDEA2021.2.3 jdk11.0.1 OpenCV-460.jar 系列文章： （一）PythonGDAL实现BSQ，BIP，BIL格式的相互转换 （二）BSQ,BIL,BIP存储格式的相互转换算法 （三…...

编程日记 2024/3/30 7:32:07

实验九 枚举问题（运算模拟）

实验名称：实验九 枚举问题（运算模拟） 实验目的：熟练掌握一些枚举问题的处理方法。 实验内容： 问题描述：（乘积为n个1的数字游戏）两位计算机爱好者在进行“积为n个1的数字游戏”&a…...

编程日记 2024/3/30 7:25:00

2024 年 AI 辅助研发趋势：从研发数字化到 AI + 开发工具 2.0，不止于 Copilot

1. 背景介绍 随着人工智能技术的飞速发展，AI在软件开发领域的应用越来越广泛。从最初的代码补全、错误提示，到现在的代码生成、自动化测试，AI正在逐步改变软件开发的模式。2024年，AI辅助研发的趋势已经从研发数字化向AI开发工具2…...

编程日记 2024/3/30 7:22:58

UE5数字孪生系列笔记(三)

C创建Pawn类玩家 创建一个GameMode蓝图用来加载我们自定义的游戏Mode新建一个Pawn的C，MyCharacter类作为玩家，新建一个相机组件与相机臂组件，box组件作为根组件 // Fill out your copyright notice in the Description page of Project Set…...

编程日记 2024/3/30 7:18:54

ASR-LLM-TTS 大模型对话实现案例；语音识别、大模型对话、声音生成

参考：https://blog.csdn.net/weixin_42357472/article/details/136305123（llm+tts） https://blog.csdn.net/weixin_42357472/article/details/136411769 （asr+vad） 这里LLM用的是chatglm；电脑声音播报用的playsound 1、实时语音识别版本 注意：暂时这项目有个缺陷就是tts…...

编程日记 2024/3/30 7:17:53

主干网络篇 | YOLOv8更换主干网络之EfficientNet

前言：Hello大家好，我是小哥谈。EfficientNet是一种高效的卷积神经网络架构，由Mingxing Tan和Quoc V. Le在2019年提出，其设计思想是在不增加计算复杂度的情况下提高模型的准确性。它引入了一个称为"复合系数"的概念，该系数用于同时缩放网络的深度、宽度和分辨率。…...

编程日记 2024/3/30 7:16:52

Web开发-Django学习笔记

客户端如何获取服务端的数据信息？ 通常 是 HTTP网络协议，通过网络传输数据信息。 客户端通过HTTP协议发送请求信息给服务端，并从服务端接收响应信息。 Web 前端开发： （HTML、CSS、JS）文件部署在后端服务…...

编程日记 2024/3/30 7:15:51

关于深度学习的 PyTorch 项目如何上手分析？从什么地方切入？

文章目录 PyTorch 项目分析1.背景2.分析流程 PyTorch 项目分析 1.背景 当我们拿到一个 PyTorch 的深度学习项目时，应该怎么入手？怎么去查看代码？ 2.分析流程 首先阅读对应项目的 README.md 文件。通过阅读 README.md ，一般可以…...

编程日记 2024/3/30 7:14:50

JavaEE企业开发新技术4

2.16 模拟Spring IOC容器功能-1 2.17 模拟Spring IOC容器功能-2 什么是IOC？ 控制反转，把对象创建和对象之间的调用过程交给Spring框架进行管理使用IOC的目的：为了耦合度降低 解释： 模仿 IOC容器的功能，我们利用 Map…...

编程日记 2024/3/30 7:13:49

CSS使用JS变量

1. CSS变量 CSS 变量（也称为自定义属性）允许我们在 CSS 中定义可重复使用的值，并将其应用于不同的选择器。为了创建一个 CSS 变量，我们需要使用 -- 前缀，然后可以像常规属性一样使用它。 :root {--primary-color: bl…...

编程日记 2024/3/30 7:12:48

拆分巨石：将MVPS和MVAS应用于遗留应用程序——可持续架构（六）

前言 MVP 和 MVA 的概念不仅适用于新应用程序；它们提供了一种新颖的方式来审视对遗留系统的范围变更，以防止过快地承担过多的变化 - 参见图1。MVA 可以帮助组织评估和更新其技术标准，通过展示新技术如何真正对支持 MVP 至关重要。创建 MVA 可…...

编程日记 2024/3/30 7:11:47

Linux renice命令教程：如何优雅地调整进程优先级(附案例详解和注意事项)

Linux renice命令介绍 renice命令在Linux中用于修改已经运行的进程的优先级。这个命令允许你改变一个已经运行的进程的调度优先级。如果我们给一个进程设置了更高的优先级，那么内核将为该进程分配更多的CPU时间。 Linux renice命令适用的Linux版本 renice命令在所…...

编程日记 2024/3/30 7:09:45

Gitea 的详细介绍

什么是 Gitea？ Gitea 是一个开源、轻量级的自托管 Git 服务，它允许用户搭建类似于 GitHub 或 GitLab 的代码托管平台。由于采用 Go 语言开发，Gitea 具有高效的性能和跨平台特性，适合个人开发者或小团队使用。 Gitea 的特点 轻量…...

编程日记 2024/3/30 7:08:44

Kotlin object

object 的三种用法 Kotlin 的 object 关键字有三种用法： 对象声明 ，一般用来实现单例伴生对象 ，类似 Java 的 static 关键字，也可以用于工厂方法模式对象表达式 ，一般用来代替 Java 的匿名内部类 对象声明 object 的语义是这样的： 定义一个类并创建一个实例 。不管是对象…...

编程日记 2024/3/30 7:06:40

【Redis】数据类型、事务执行、内存淘汰策略

目录 数据类型 Redis事务执行步骤 步骤： redis内存淘汰策略 设置内存淘汰策略 1.设置配置文件 2.通过命令设置 数据类型 官网解释 Understand Redis data types | Redis 首先，Redis 的所有键都是字符串,常用的数据类型有 5 种：Strin…...

编程日记 2024/3/30 7:05:39

Python Flask Web框架初步入门

前言 flask基础 搭建flask服务器 定义html 使用templates模板定义页面的html html页面编写 render_template传参变量 定义图片 创建static目录，存入图片 html编写 flask入门 网站多域名 网站之间超链接跳转 入门案例 将centos的rpm包下载链接集成到自…...

编程日记 2024/3/30 6:56:31

【设计模式】工厂方法模式详解

在java中，万物皆对象，这些对象都需要创建，如果创建的时候直接new该对象，就会对该对象耦合严重，假如我们要更换对象，所有new对象的地方都需要修改一遍，这显然违背了软件设计的开闭原则。如果我们…...

编程日记 2024/3/30 6:50:26

AI增强自动化工作流：从规则驱动到意图驱动的智能决策实践

1. 项目概述：当AI遇见自动化工作流最近在GitHub上看到一个挺有意思的项目，叫“NitroRCr/AIaW”。光看名字，可能有点摸不着头脑，但点进去研究一下，你会发现它其实是一个将人工智能（AI）与自动化工…...

编程新知 2026/5/13 7:07:06

微博数据接口解决方案：Python爬虫工程实践与反爬策略

1. 项目概述与核心价值最近在折腾一个挺有意思的项目，叫longlannet/weibo。乍一看，这像是一个与微博相关的代码仓库，但它的价值远不止于一个简单的爬虫或客户端。作为一个在数据工程和自动化领域摸爬滚打多年的从业者，我深知在当今…...

编程新知 2026/5/13 5:38:35

一键部署Obsidian环境：自动化脚本实现跨设备配置同步

1. 项目概述：为什么我们需要一个“一键式”的 Obsidian 安装脚本？如果你是一个深度依赖 Obsidian 进行知识管理、笔记写作或项目规划的从业者，无论是程序员、作家、学生还是研究员，大概率都经历过这样的场景：换了一台新…...

编程新知 2026/5/13 5:18:59

Codepack：标准化开发配置与自动化工具链的工程实践

1. 项目概述：一个为开发者准备的“代码行囊” 最近在GitHub上闲逛，发现了一个挺有意思的项目，叫 JasonLovesDoggo/codepack 。乍一看名字，你可能会觉得这又是一个普通的代码库或者工具集。但点进去仔细研究后，我发现…...

编程新知 2026/5/13 2:07:17

使用Taotoken管理控制台进行APIKey的权限划分与审计日志查看

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 使用Taotoken管理控制台进行APIKey的权限划分与审计日志查看 在团队协作开发或构建多应用服务时，统一管理大模型API的访…...

编程新知 2026/5/13 1:56:48

基于 4SAPI 的 API 网关智能监控与故障诊断系统：MTTR 降低 90%，系统可用性提升至 99.99%

前言 在微服务架构盛行的今天，API 网关已经成为企业系统的核心入口，承担着流量路由、负载均衡、认证授权、限流熔断等关键功能。API 网关的稳定性直接决定了整个系统的可用性。但传统的 API 网关监控模式已经难以满足现代企业的需求： 告警风…...

编程新知 2026/5/13 1:52:35

自治性、反应性、学习能力：AI Agent的关键特性

自治性、反应性、学习能力：AI Agent的关键特性——从蚂蚁觅食到通用智能体的进化之路 关键词 AI Agent, 自治性, 反应性, 强化学习, 记忆机制, 环境交互, 通用人工智能萌芽 摘要 想象一下：你有一个能自己帮你规划周末露营路线（自治性）、中途遇到暴雨自动切换到附近民宿…...

编程新知 2026/5/13 1:13:14

为什么92%的DeepSeek私有化部署在K8s上遭遇OOMKilled？——GPU内存隔离、vLLM适配与cgroups v2调优三重解法

更多请点击： https://intelliparadigm.com 第一章：DeepSeek私有化部署的Kubernetes现状与OOMKilled困局 当前，DeepSeek系列大模型在企业私有化场景中广泛采用Kubernetes进行容器化编排部署。然而，实际落地过程中，内存…...

编程新知 2026/5/13 0:05:57

Taotoken官方价折扣活动对于高频用户的实际成本影响分析

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 Taotoken官方价折扣活动对于高频用户的实际成本影响分析 1. 理解Taotoken的计费模式 Taotoken平台采用按Token消耗量计费的模式。…...

编程新知 2026/5/12 22:48:42

全国跨省搬家专业靠谱无套路排行 跨省搬家公司选哪个物流平台便宜省心？哪个搬家公司专业安全保障，没有半路加价？

用户最担心的“半路加价”问题，几乎所有“搬家公司/搬家平台”每天都发生各样“半路加价”问题。本文根据各大社交平台用户避雷贴，统计出搬家公司/搬家平台专业靠谱无套路程度前5名，方便广大需要跨省搬家的用户，接近跨省搬家公司选…...

编程新知 2026/5/12 22:20:11