当前位置：首页 > news >正文

Idea本地跑flink任务时，总是重复消费kafka的数据（kafka-＞mysql）

news 2025/9/21 4:28:46

在这里插入图片描述
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Idea中执行任务时，没法看到JobManager的错误，以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中，增加日志，发现jdbc连接被关闭了。重新消费，jdbc连接又启动了。

注意，在Flink的函数中，open和close方法只在任务启动和结束的时候执行一次。反之，可以推理出，如果close方法被执行了，那么说明任务挂了。
在本地任务中增加本地Flink UI，很明显可以看到任务在不断的重启。JobManager中有明显的Exception，就是

SQLSyntaxErrorException: Unknown column 'day_after_back' in 'field list'

相关文章：

Idea本地跑flink任务时，总是重复消费kafka的数据（kafka-＞mysql）

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 Idea中执行任务时，没法看到JobManager的错误，以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中，增加日志，发现jdbc连接被关闭了。重新…...

编程日记 2023/10/12 2:33:20

基于nodemailer实现邮件发送

概述 node中可用nodemailer实现邮件的发送。本文使用QQ邮箱实现邮件的发送。实现效果实现 1. QQ邮箱配置首先需要开启POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务，如下图所示。生成授权码 2. 发送邮件发送邮件的代码比较简单，如下&#xf…...

编程日记 2023/10/12 2:32:19

【PostgreSQL内核学习（十八）—— （数据库表参数）】

数据库表参数 default_reloptions 函数案例声明：本文的部分内容参考了他人的文章。在编写过程中，我们尊重他人的知识产权和学术成果，力求遵循合理使用原则，并在适用的情况下注明引用来源。本文主要参考了《PostgresSQL数据库内核…...

编程日记 2023/10/12 2:31:16

区块链的两个核心概念之一签名，另一个是共识.

Alice的公私钥， 签名和验证签名仅仅确定了Alice对数字资产A所有权的宣言. 之后, Bob也可以用自己的私钥对资产A进行签名宣誓所有权。区块链中叫双花，即重复宣称所有权， 也称重复花费交易。这时候需要共识算法(集体成员pow或委员会代表pos监督…...

编程日记 2023/10/12 2:30:15

wpf中prism框架切换页面

主页面...

编程日记 2023/10/12 2:29:13

正则表达式（Regular Expression）学习网址分享

正则表达式（Regular expressions，也叫REs、 regexs 或regex patterns），是一种文本模式，包括普通字符（例如，a 到z 之间的字母）和特殊字符（称为"元字符"&#xf…...

编程日记 2023/10/12 2:28:12

【已解决】socket.gaierror: [Errno -3] Temporary failure in name resolution

问题描述今天在环境迁移的过程中遇到多个问题，包括ModuleNotFoundError: No module named flask，socket.gaierror: [Errno -3] Temporary failure in name resolution以及Downloading: "https://huggingface.co/gyrojeff/YuzuMarker.FontDetection…...

编程日记 2023/10/12 2:27:11

CUDA code=700(cudaErrorIllegalAddress) 报错与排查方法

CUDA code700(cudaErrorIllegalAddress) 报错与排查方法最近笔者在调试自己写的 CUDA 代码时, 遇到了 code700(cudaErrorIllegalAddress) 的报错, 在此记录一下排查和解决方法. 报错报错是由 CUDA API 函数执行时产生的, 由 checkCudaErrors() 函数检测出(CUDA 常用错误检…...

编程日记 2023/10/12 2:26:09

项目管理过程组

项目管理有2条主线，一条是技术，一条是管理。项目过程由项目团队实施。一般术语以下两大类之一：一类是项目管理过程。另一类是面向产品的过程。在大多数情况下，大多数项目都有共同的项目管理过程。它们通过有目的的实施而互相联系起…...

编程日记 2023/10/12 2:25:08

python每日一练(5)

🌈write in front🌈 🧸大家好，我是Aileen🧸.希望你看完之后，能对你有所帮助，不足请指正！共同学习交流. 🆔本文由Aileen_0v0🧸 原创 CSDN首发🐒 如…...

编程日记 2023/10/12 2:24:07

经典循环命题：百钱百鸡

翁五钱一只，母三钱，小鸡三只一钱；百钱百鸡百鸡花百钱。 (本笔记适合能熟练应用for循环、会使if条件分支语句、能格式化字符输出的 coder 翻阅) 【学习的细节是欢悦的历程】 Python 官网：https://www.python.org/ Free&#xff1a…...

编程日记 2023/10/12 2:23:06

IDEA使用模板创建webapp时，web.xml文件版本过低的一种解决方法

创建完成后的web.xml 文件，版本太低 <!DOCTYPE web-app PUBLIC"-//Sun Microsystems, Inc.//DTD Web Application 2.3//EN""http://java.sun.com/dtd/web-app_2_3.dtd" ><web-app><display-name>Archetype Created Web Appl…...

编程日记 2023/10/12 2:22:05

在Openresty中使用lua语言向请求浏览器返回请求头User-Agent里边的值

可以参考《Linux学习之Ubuntu 20.04在https://openresty.org下载源码安装Openresty 1.19.3.1，使用systemd管理OpenResty服务》安装Openresty。然后把下边的内容写入到openresty配置文件/usr/local/openresty/nginx/conf/nginx.conf（根据实际情况进行选…...

编程日记 2023/10/12 2:21:03

Hive面试常见基础问题

以下是一些Hive面试问题和答案： Hive是什么？ 答：Hive是一个开源的数据仓库工具，用于处理和分析大规模结构化数据。它能够创建、修改和查询表结构，支持多种数据类型和查询操作，同时提供数据汇总和数据查询的…...

编程日记 2023/10/12 2:20:02

设计模式 - 观察者模式

目录一. 前言二. 实现三. 优缺点一. 前言观察者模式属于行为型模式。在程序设计中，观察者模式通常由两个对象组成：观察者和被观察者。当被观察者状态发生改变时，它会通知所有的观察者对象，使他们能够及时做出响应&#xf…...

编程日记 2023/10/12 2:19:01

【自动驾驶】PETR/PETRv2/StreamPETR论文分析

1.PETR PETR网络结构如下，主要包括image-backbone, 3D Coordinates Generator, 3D Position Encoder, transformer Decoder 1.1 Images Backbone 采用resnet 或者 vovNet,下面的x表示concatenate 1.2 3D Coordinates Generator 坐标生成跟lss类似，假…...

编程日记 2023/10/12 2:18:00

GPT实战系列-Baichuan2本地化部署实战方案

目录一、百川2（Baichuan 2）模型介绍二、资源需求模型文件类型推理的GPU资源要求模型获取途径国外: Huggingface 国内：ModelScope 三、部署安装配置环境安装过程...

编程日记 2023/10/12 2:16:59

用netty实现简易rpc

文章目录 rpc介绍：rpc调用流程:代码： rpc介绍： RPC是远程过程调用（Remote Procedure Call）的缩写形式。SAP系统RPC调用的原理其实很简单，有一些类似于三层构架的C/S系统，第三方的客户程序通过接…...

编程日记 2023/10/12 2:14:57

【计算机网络】第三章课后习题答案

习题目录： 【3-01】数据链路（即逻辑链路）与链路（即物理链路）有何区别？"链路接通了"与"数据链路接通了"的区别何在？ 【3-02】数据链路层中的链路控制包括哪些功能&#xf…...

编程日记 2023/10/12 2:13:57

cesium 地图蒙版遮罩效果

示例代码 <!DOCTYPE html> <html lang"en"><head><meta charset"utf-8" /><meta http-equiv"X-UA-Compatible"…...

编程日记 2023/10/12 2:12:55

（十）学生端搭建

本次旨在将之前的已完成的部分功能进行拼装到学生端，同时完善学生端的构建。本次工作主要包括： 1.学生端整体界面布局 2.模拟考场与部分个人画像流程的串联 3.整体学生端逻辑一、学生端在主界面可以选择自己的用户角色选择学生则进入学生登录界面…...

编程新知 2025/9/17 9:39:25

Java如何权衡是使用无序的数组还是有序的数组

在 Java 中，选择有序数组还是无序数组取决于具体场景的性能需求与操作特点。以下是关键权衡因素及决策指南： ⚖️ 核心权衡维度维度有序数组无序数组查询性能二分查找 O(log n) ✅线性扫描 O(n) ❌插入/删除需移位维护顺序 O(n) ❌直接操作尾部 O(1) ✅内存开销与无序数组相…...

编程新知 2025/8/3 11:17:37

oracle与MySQL数据库之间数据同步的技术要点

Oracle与MySQL数据库之间的数据同步是一个涉及多个技术要点的复杂任务。由于Oracle和MySQL的架构差异，它们的数据同步要求既要保持数据的准确性和一致性，又要处理好性能问题。以下是一些主要的技术要点： 数据结构差异数据类型差异&#xff…...

编程新知 2025/8/12 3:03:43

《通信之道——从微积分到 5G》读书总结

第1章绪论 1.1 这是一本什么样的书通信技术，说到底就是数学。那些最基础、最本质的部分。 1.2 什么是通信通信发送方接收方承载信息的信号解调出其中承载的信息信息在发送方那里被加工成信号（调制） 把信息从信号中抽取出来&am…...

编程新知 2025/9/1 7:30:10

代理篇12|深入理解 Vite中的Proxy接口代理配置

在前端开发中，常常会遇到跨域请求接口的情况。为了解决这个问题，Vite 和 Webpack 都提供了 proxy 代理功能，用于将本地开发请求转发到后端服务器。什么是代理（proxy）？代理是在开发过程中，前端项目通过开发服务器，将指定的请求“转发”到真实的后端服务器，从而绕…...

编程新知 2025/9/13 13:10:12

逻辑回归暴力训练预测金融欺诈

简述「使用逻辑回归暴力预测金融欺诈，并不断增加特征维度持续测试」的做法，体现了一种逐步建模与迭代验证的实验思路，在金融欺诈检测中非常有价值，本文作为一篇回顾性记录了早年间公司给某行做反欺诈预测用到的技术和思路。百度…...

编程新知 2025/9/2 1:07:37

C++实现分布式网络通信框架RPC(2)——rpc发布端

有了上篇文章的项目的基本知识的了解，现在我们就开始构建项目。目录一、构建工程目录二、本地服务发布成RPC服务 2.1理解RPC发布 2.2实现三、Mprpc框架的基础类设计 3.1框架的初始化类 MprpcApplication 代码实现 3.2读取配置文件类 MprpcConfig 代码实现…...

编程新知 2025/9/20 3:22:24

C++--string的模拟实现

一,引言 string的模拟实现是只对string对象中给的主要功能经行模拟实现，其目的是加强对string的底层了解，以便于在以后的学习或者工作中更加熟练的使用string。本文中的代码仅供参考并不唯一。二,默认成员函数 string主要有三个成员变量，…...

编程新知 2025/9/9 10:04:09

Linux入门课的思维导图

耗时两周，终于把慕课网上的Linux的基础入门课实操、总结完了！ 第一次以Blog的形式做学习记录，过程很有意思，但也很耗时。课程时长5h，涉及到很多专有名词，要去逐个查找，以前接触过的概念因为时…...

编程新知 2025/9/19 23:28:46

视觉slam--框架

视觉里程计的框架传感器 VO--front end VO的缺点后端--back end 后端对什么数据进行优化利用什么数据进行优化的后端是怎么进行优化的回环检测建图建图是指构建地图的过程。构建的地图是点云地图还是什么信息的地图？ 建图并没有一个固定的形式和算法…...

编程新知 2025/9/17 19:22:25