Flink SQL填坑记3：两个kafka数据关联查询
在一个项目中，实时生成的统计数据需要关联另外一张表（并非维表），需要统计的数据表是Kafka数据，而需要关联的表，由于不是维度，不能按照主键查询，所以如果放在MySQL上，将存在严重的性能问题，这个时候我想到用将两张表的数据都生成为Kafka数据，然后进行Join操作。中途发现这种性能特别差，而且表变更会产生多条kakfa记录，导致计算越来越来，最后改成upsert-kafka，下面记录下处理过程。
刚开始用kafka，建表语句如下：
Create Table `kafka_t_test1` (`f_id` bigint,`f_name` string,PRIMARY KEY (`f_corp_id`,`f_id`) NOT ENFORCED) WITH ('connector' = 'kafka','topic' = 't_test','properties.bootstrap.servers' = '10.10.10.1','properties.group.id' = 'test','value.format' = 'json','value.fields-include' 相关文章：
Flink SQL填坑记3：两个kafka数据关联查询
在一个项目中，实时生成的统计数据需要关联另外一张表（并非维表），需要统计的数据表是Kafka数据，而需要关联的表，由于不是维度，不能按照主键查询，所以如果放在MySQL上，将存在严重的性能问题，这个时候我想到用将两张表的数据都生成为Kafka数据，然后进行Join操作。中途发…...
移动平台实时动态多点光源方案：Cluster Light
一、什么是 Cluster Light，它具体如何实现多点光源效果？ 对于移动设备，如何支持场景中大量的实时点光源一直以来都是比较棘手的问题，因此对于过去，往往有如下两种常规方案： 静态点光源直接烘焙࿰…...
2024年03月CCF-GESP编程能力等级认证C++编程八级真题解析
本文收录于专栏《C++等级认证CCF-GESP真题解析》，专栏总目录：点这里。订阅后可阅读专栏内所有文章。 一、单选题（每题 2 分，共 30 分） 第 1 题 为丰富食堂菜谱，炒菜部进行头脑风暴。肉类有鸡肉、牛肉、羊肉、猪肉4种，切法有肉排、肉块、肉末3种，配菜有圆白菜、油菜、…...
（十一）图像的罗伯特梯度锐化
环境：Windows10专业版 IDEA2021.2.3 jdk11.0.1 OpenCV-460.jar 系列文章： （一）PythonGDAL实现BSQ，BIP，BIL格式的相互转换 （二）BSQ,BIL,BIP存储格式的相互转换算法 （三…...
实验九 枚举问题（运算模拟）
实验名称：实验九 枚举问题（运算模拟） 实验目的：熟练掌握一些枚举问题的处理方法。 实验内容： 问题描述：（乘积为n个1的数字游戏）两位计算机爱好者在进行“积为n个1的数字游戏”&a…...
2024 年 AI 辅助研发趋势：从研发数字化到 AI + 开发工具 2.0，不止于 Copilot
1. 背景介绍 随着人工智能技术的飞速发展，AI在软件开发领域的应用越来越广泛。从最初的代码补全、错误提示，到现在的代码生成、自动化测试，AI正在逐步改变软件开发的模式。2024年，AI辅助研发的趋势已经从研发数字化向AI开发工具2…...
UE5数字孪生系列笔记(三)
C创建Pawn类玩家 创建一个GameMode蓝图用来加载我们自定义的游戏Mode新建一个Pawn的C，MyCharacter类作为玩家，新建一个相机组件与相机臂组件，box组件作为根组件 // Fill out your copyright notice in the Description page of Project Set…...
ASR-LLM-TTS 大模型对话实现案例；语音识别、大模型对话、声音生成
参考：https://blog.csdn.net/weixin_42357472/article/details/136305123（llm+tts） https://blog.csdn.net/weixin_42357472/article/details/136411769 （asr+vad） 这里LLM用的是chatglm；电脑声音播报用的playsound 1、实时语音识别版本 注意：暂时这项目有个缺陷就是tts…...
主干网络篇 | YOLOv8更换主干网络之EfficientNet
前言：Hello大家好，我是小哥谈。EfficientNet是一种高效的卷积神经网络架构，由Mingxing Tan和Quoc V. Le在2019年提出，其设计思想是在不增加计算复杂度的情况下提高模型的准确性。它引入了一个称为"复合系数"的概念，该系数用于同时缩放网络的深度、宽度和分辨率。…...
Web开发-Django学习笔记
客户端如何获取服务端的数据信息？ 通常 是 HTTP网络协议，通过网络传输数据信息。 客户端通过HTTP协议发送请求信息给服务端，并从服务端接收响应信息。 Web 前端开发： （HTML、CSS、JS）文件部署在后端服务…...
关于深度学习的 PyTorch 项目如何上手分析？从什么地方切入？
文章目录 PyTorch 项目分析1.背景2.分析流程 PyTorch 项目分析 1.背景 当我们拿到一个 PyTorch 的深度学习项目时，应该怎么入手？怎么去查看代码？ 2.分析流程 首先阅读对应项目的 README.md 文件。通过阅读 README.md ，一般可以…...
JavaEE企业开发新技术4
2.16 模拟Spring IOC容器功能-1 2.17 模拟Spring IOC容器功能-2 什么是IOC？ 控制反转，把对象创建和对象之间的调用过程交给Spring框架进行管理使用IOC的目的：为了耦合度降低 解释： 模仿 IOC容器的功能，我们利用 Map…...
CSS使用JS变量
1. CSS变量 CSS 变量（也称为自定义属性）允许我们在 CSS 中定义可重复使用的值，并将其应用于不同的选择器。为了创建一个 CSS 变量，我们需要使用 -- 前缀，然后可以像常规属性一样使用它。 :root {--primary-color: bl…...
拆分巨石：将MVPS和MVAS应用于遗留应用程序——可持续架构（六）
前言 MVP 和 MVA 的概念不仅适用于新应用程序；它们提供了一种新颖的方式来审视对遗留系统的范围变更，以防止过快地承担过多的变化 - 参见图1。MVA 可以帮助组织评估和更新其技术标准，通过展示新技术如何真正对支持 MVP 至关重要。创建 MVA 可…...
)
Linux renice命令教程：如何优雅地调整进程优先级(附案例详解和注意事项)
Linux renice命令介绍 renice命令在Linux中用于修改已经运行的进程的优先级。这个命令允许你改变一个已经运行的进程的调度优先级。如果我们给一个进程设置了更高的优先级，那么内核将为该进程分配更多的CPU时间。 Linux renice命令适用的Linux版本 renice命令在所…...
Gitea 的详细介绍
什么是 Gitea？ Gitea 是一个开源、轻量级的自托管 Git 服务，它允许用户搭建类似于 GitHub 或 GitLab 的代码托管平台。由于采用 Go 语言开发，Gitea 具有高效的性能和跨平台特性，适合个人开发者或小团队使用。 Gitea 的特点 轻量…...
Kotlin object
object 的三种用法 Kotlin 的 object 关键字有三种用法： 对象声明 ，一般用来实现单例伴生对象 ，类似 Java 的 static 关键字，也可以用于工厂方法模式对象表达式 ，一般用来代替 Java 的匿名内部类 对象声明 object 的语义是这样的： 定义一个类并创建一个实例 。不管是对象…...
【Redis】数据类型、事务执行、内存淘汰策略
目录 数据类型 Redis事务执行步骤 步骤： redis内存淘汰策略 设置内存淘汰策略 1.设置配置文件 2.通过命令设置 数据类型 官网解释 Understand Redis data types | Redis 首先，Redis 的所有键都是字符串,常用的数据类型有 5 种：Strin…...
Python Flask Web框架初步入门
前言 flask基础 搭建flask服务器 定义html 使用templates模板定义页面的html html页面编写 render_template传参变量 定义图片 创建static目录，存入图片 html编写 flask入门 网站多域名 网站之间超链接跳转 入门案例 将centos的rpm包下载链接集成到自…...
【设计模式】工厂方法模式详解
在java中，万物皆对象，这些对象都需要创建，如果创建的时候直接new该对象，就会对该对象耦合严重，假如我们要更换对象，所有new对象的地方都需要修改一遍，这显然违背了软件设计的开闭原则。如果我们…...
rknn优化教程（二）
文章目录 1. 前述2. 三方库的封装2.1 xrepo中的库2.2 xrepo之外的库2.2.1 opencv2.2.2 rknnrt2.2.3 spdlog 3. rknn_engine库 1. 前述 OK，开始写第二篇的内容了。这篇博客主要能写一下： 如何给一些三方库按照xmake方式进行封装，供调用如何按…...
Golang dig框架与GraphQL的完美结合
将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用，可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器，能够帮助开发者更好地管理复杂的依赖关系，而 GraphQL 则是一种用于 API 的查询语言，能够提…...
【SQL学习笔记1】增删改查+多表连接全解析（内附SQL免费在线练习工具）
可以使用Sqliteviz这个网站免费编写sql语句，它能够让用户直接在浏览器内练习SQL的语法，不需要安装任何软件。 链接如下： sqliteviz 注意： 在转写SQL语法时，关键字之间有一个特定的顺序，这个顺序会影响到…...
SpringBoot+uniapp 的 Champion 俱乐部微信小程序设计与实现，论文初版实现
摘要 本论文旨在设计并实现基于 SpringBoot 和 uniapp 的 Champion 俱乐部微信小程序，以满足俱乐部线上活动推广、会员管理、社交互动等需求。通过 SpringBoot 搭建后端服务，提供稳定高效的数据处理与业务逻辑支持；利用 uniapp 实现跨平台前…...
2025盘古石杯决赛【手机取证】
前言 第三届盘古石杯国际电子数据取证大赛决赛 最后一题没有解出来，实在找不到，希望有大佬教一下我。 还有就会议时间，我感觉不是图片时间，因为在电脑看到是其他时间用老会议系统开的会。 手机取证 1、分析鸿蒙手机检材&#x…...
大模型多显卡多服务器并行计算方法与实践指南
一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术，以解决单机资源不足的问题。分布式训练主要分为两种模式： 数据并行：将数据分片到不同设备，每个设备拥有完整的模型副本 模型并行：将模型分割到不同设备，每个设备处理部分模型计算 现代大模型训练通常结合…...
3-11单元格区域边界定位(End属性)学习笔记
返回一个Range 对象，只读。该对象代表包含源区域的区域上端下端左端右端的最后一个单元格。等同于按键 End 向上键(End(xlUp))、End向下键(End(xlDown))、End向左键(End(xlToLeft)End向右键(End(xlToRight)) 注意：它移动的位置必须是相连的有内容的单元格…...
.Net Framework 4/C# 关键字（非常用，持续更新...）
一、is 关键字 is 关键字用于检查对象是否于给定类型兼容，如果兼容将返回 true，如果不兼容则返回 false，在进行类型转换前，可以先使用 is 关键字判断对象是否与指定类型兼容，如果兼容才进行转换，这样的转换是安全的。 例如有：首先创建一个字符串对象，然后将字符串对象隐…...
MySQL JOIN 表过多的优化思路
当 MySQL 查询涉及大量表 JOIN 时，性能会显著下降。以下是优化思路和简易实现方法： 一、核心优化思路 减少 JOIN 数量 数据冗余：添加必要的冗余字段（如订单表直接存储用户名）合并表：将频繁关联的小表合并成…...
mac 安装homebrew (nvm 及git)
mac 安装nvm 及git 万恶之源 mac 安装这些东西离不开Xcode。及homebrew 一、先说安装git步骤 通用： 方法一：使用 Homebrew 安装 Git（推荐） 步骤如下：打开终端（Terminal.app） 1.安装 Homebrew…...