当前位置： 首页 > news >正文

基于流计算 Oceanus（Flink） CDC 做好数据集成场景

news 2026/3/29 16:50:26

由于第一次做实时，所以踩坑比较多，见谅(测试环境用的flink),小公司没有用到hadoop组件

一、踩坑记录

1:本地代码的flink版本是flink1.15.4，生产环境是flink1.16.1，在使用侧输出流时报错，需要使用以下写法,需要使用SideOutputDataStream不能用DataStream，同时将pom下的flink版本切换为1.16.1

SideOutputDataStream<String> tblHotelGuestSnapStreamDS = processedDS.getSideOutput(tblHotelGuestSnaptag);

2: Oceanus环境运行flink时候会默认使用RocksDB State Backend,不需要再手动配置检查点

3:可以利用checkpoint检查点来保证数据的端到端一致

4:打包可以使用maven协助打包

5: bin/start-cluster.sh启动后测试环境的8081无法访问,需要修改flink-conf.yml的属性rest.bind-address: 0.0.0.0和rest.bind-port: 8081和rest.port: 8081,之后重启就可以访问

相关文章：

基于流计算 Oceanus（Flink） CDC 做好数据集成场景

由于第一次做实时&#xff0c;所以踩坑比较多&#xff0c;见谅(测试环境用的flink),小公司没有用到hadoop组件 一、踩坑记录 1:本地代码的flink版本是flink1.15.4&#xff0c;生产环境是flink1.16.1&#xff0c;在使用侧输出流时报错&#xff0c;需要使用以下写法,需要使用Si…...

编程日记 2023/8/30 1:50:05

MySQL8.Xx安装控制台未生成随机密码解决方案

MySQL8.xx一主两从复制安装与配置 MySQL8.XX随未生成随机密码解决方案 MySQL8.0.30一主两从复制与配置(一) 一: Mysql 安装时控制台未生成密码 安装过程中解压或者安装时报错等,这种情况一般是因网络等其他原因导致下载的安装包不完整&#xff0c; 重新下载安装即可; 二:…...

编程日记 2023/8/30 1:49:04

安装VS2005时提示：请插入磁盘:visual studio 2005 DVD

安装VS2005时提示&#xff1a;请插入磁盘:visual studio 2005 DVD 修改卷标为 "DVD1"...

编程日记 2023/8/30 1:48:01

OpenVINO2023使用简介

1 下载安装 先在anaconda中创建一个虚拟环境&#xff0c;该环境的python版本为3.7&#xff0c;之所以使用python3.7&#xff0c;是因为我在3.9上安装过程中出现不少bug&#xff0c;后面新建了一个3.7的环境才解决&#xff0c;我不知道是否由于和我已有环境中某些包不兼容&…...

编程日记 2023/8/30 1:47:00

基于React实现无限滚动的日历详细教程，附源码【手写日历教程第二篇】

前言 最常见的日历大部分都是滚动去加载更多的月份&#xff0c;而不是让用户手动点击按钮切换日历月份。滚动加载的交互方式对于用户而言是更加丝滑和舒适的&#xff0c;没有明显的操作割裂感。 那么现在需要做一个这样的无限滚动的日历&#xff0c;前端开发者应该如何去思考…...

编程日记 2023/8/30 1:45:59

68、使用aws官方的demo和配置aws服务，进行视频流上传播放

基本思想：参考官方视频，进行了配置aws，测试了视频推流，rtsp和mp4格式的视频貌似有问题，待调研和解决 第一步：1) 进入aws的网站，然后进入ioT Core 2)先配置 Thing types & Thing，选择香港的节点，然后AWS ioT--->Manage---> Thing type 然后输入名字，创建Th…...

编程日记 2023/8/30 1:44:58

数据库

表 记录&#xff1a;行 字段&#xff08;属性&#xff09;: 列 以行列的形式就组成了表&#xff08;数据存储在表中&#xff09; 关系数据库的表由记录组成&#xff0c;记录由字段组成&#xff0c;字段由字符或数字组成。它可以供各种用户共享&#xff0c; 具有最小冗余度和较高…...

编程日记 2023/8/30 1:43:56

深入了解fcntl函数：Linux系统编程中的文件控制

文章目录 概述介绍函数原型与参数 拓展&#xff1a;fcntl改文件属性总结 概述 摘要: fcntl函数是Linux系统编程中一个重要的函数&#xff0c;用于对文件描述符进行各种控制操作。本文将详细介绍fcntl函数的原型、各个参数的用法&#xff0c;以及阻塞和非阻塞模式切换的方法&am…...

编程日记 2023/8/30 1:42:55

汇川技术内推码

[庆祝]不一样的内推码[庆祝]&#xff1a;IVSM2R 投递了可以评论下名字&#xff0c;我会帮忙留意进度。 汇尔成川&#xff0c;共赴星海&#xff0c;欢迎加入&#xff0c;职等你来。 嵌入式软硬件&#xff0c;机器人算法&#xff0c;电机控制&#xff0c;通信软件&#xff0c;PLC…...

编程日记 2023/8/30 1:41:54

nacos服务器启动报错集合

报错1 Error creating bean with name ‘user‘: Unsatisfied dependency expressed through field ‘jwtTokenManage 开启鉴权之后&#xff0c;你可以自定义用于生成JWT令牌的密钥&#xff0c;application.properties中的配置信息为&#xff1a; ### Since 1.4.1, worked when…...

编程日记 2023/8/30 1:40:53

C语言_分支和循环语句（2）

文章目录 前言一、for 循环1.1语法1.2 for 语句的循环控制变量1.3 一些 for 循环的变种 二、do ... while()循环2.1 do 语句的语法2.2 do ... while 循环中的 break 和 continue2.3 练习1 **- 计算n的阶乘**2. - **在一个有序数组中查找具体的某个数字 n** 二分查找算法&#x…...

编程日记 2023/8/30 1:39:52

JMeter 接口自动化测试：从入门到精通的完全指南

JMeter 是一个开源的负载测试工具&#xff0c;它可以模拟多种协议和应用程序的负载&#xff0c;包括 HTTP、FTP、SMTP、JMS、SOAP 和 JDBC 等。在进行接口自动化测试时&#xff0c;使用 JMeter 可以帮助我们快速地构建测试用例&#xff0c;模拟多种场景&#xff0c;发现接口的性…...

编程日记 2023/8/30 1:38:50

【Java】集合List的toArray()方法及其重载

在Java中&#xff0c;集合&#xff08;List 接口的实现类&#xff09;提供了一个名为 toArray 的方法&#xff0c;用于将集合中的元素转换成数组。该方法有两个主要的重载形式&#xff0c;分别用于不同的情况。 toArray()重载方法1 <T> T[] toArray(T[] a)这个方法将集…...

编程日记 2023/8/30 1:37:49

Python学习笔记：Requests库安装、通过url下载文件

1.下载安装requests库 在pipy或者github下载&#xff0c;通常是个zip&#xff0c;解压缩后在路径输入cmd&#xff0c;并运行以下代码 Python setup.py install 安装完成后&#xff0c;输入python再输入import requests得到可以判断时候完成安装 2.通过url下载文件 使用的是u…...

编程日记 2023/8/30 1:36:47

git pull --rebase 用法

git pull --rebase git pull --rebase 是 Git 命令中的一个选项&#xff0c;它的作用是在从远程仓库拉取更新时使用 rebase 而不是默认的合并方式。使用这个命令会使您的提交历史更加整洁&#xff0c;因为它将您的本地提交在远程更新之前重新应用到新的提交之上。 这个命令的…...

编程日记 2023/8/30 1:35:46

react antd框架中的徽标获取数据对应状态的数量

实现思路&#xff1a;获取数量的思路是通过filter过滤符合数据来实现。 列表数组.filter(item > item.status 值).length; 例子&#xff1a;以下这个例子是判断data数组中的status中在职的数量。 data.filter((item) > item.status 在职).length 效果展示&#xff…...

编程日记 2023/8/30 1:34:44

【多线程】Thread类的用法

文章目录 1. Thread类的创建1.1 自己创建类继承Thread类1.2 实现Runnable接口1.3 使用匿名内部类创建Thread子类对象1.4 使用匿名内部类创建Runnable子类对象1.5 使用lambda创建 2. Thread常见的构造方法2.1 Thread()2.2 Thread(Runnable target)2.3 Thread(String name)2.4 Th…...

编程日记 2023/8/30 1:33:42

第八章 贪心算法 part03 1005.K次取反后最大化的数组和 134. 加油站 135. 分发糖果 （day34补）

本文章代码以c为例&#xff01; 一、力扣第1005题&#xff1a;K 次取反后最大化的数组和 题目: 给你一个整数数组 nums 和一个整数 k &#xff0c;按以下方法修改该数组&#xff1a; 选择某个下标 i 并将 nums[i] 替换为 -nums[i] 。 重复这个过程恰好 k 次。可以多次选择…...

编程日记 2023/8/30 1:32:40

Android Activity启动过程一：从Intent到Activity创建

关于作者&#xff1a;CSDN内容合伙人、技术专家&#xff0c; 从零开始做日活千万级APP。 专注于分享各领域原创系列文章 &#xff0c;擅长java后端、移动开发、人工智能等&#xff0c;希望大家多多支持。 目录 一、概览二、应用内启动源码流程 (startActivity)2.1 startActivit…...

编程日记 2023/8/30 1:31:39

第9章：聚类

聚类任务 性能度量 距离度量 非度量距离 原型聚类 有很好的统计学上的意义&#xff0c;但是只能找到椭球形的聚类。 密度聚类 层次聚类...

编程日记 2023/8/30 1:30:38

手机号定位终极指南：3分钟掌握号码背后的位置秘密

手机号定位终极指南&#xff1a;3分钟掌握号码背后的位置秘密 【免费下载链接】location-to-phone-number This a project to search a location of a specified phone number, and locate the map to the phone number location. 项目地址: https://gitcode.com/gh_mirrors/…...

编程新知 2026/3/29 16:44:28

保姆级教程：用PyTorch 1.13+Win11搞定MSTAR数据集分类（附完整代码）

从零实现MSTAR数据集分类&#xff1a;PyTorch全卷积网络实战指南 1. 环境配置与工具准备 在Windows 11系统上搭建PyTorch开发环境需要特别注意版本兼容性问题。以下是经过验证的稳定组合&#xff1a; PyTorch 1.13.0 CUDA 11.6 cuDNN 8.3.2Python 3.8-3.10&#xff08;推荐…...

编程新知 2026/3/29 16:06:17

手把手教你用Vivado 2021配置Zynq UltraScale+ GTH回环测试（附工程源码）

Zynq UltraScale GTH回环测试实战指南&#xff1a;从原理到源码解析 在FPGA开发领域&#xff0c;高速串行接口的验证一直是工程师面临的关键挑战。Xilinx UltraScale架构中的GTH收发器以其高达16.3Gbps的线速率&#xff0c;成为医疗成像、雷达信号处理等高性能应用的理想选择。…...

编程新知 2026/3/29 15:50:11

Notepad--终极指南：5分钟掌握国产跨平台文本编辑器的完整解决方案

Notepad--终极指南&#xff1a;5分钟掌握国产跨平台文本编辑器的完整解决方案 【免费下载链接】notepad-- 一个支持windows/linux/mac的文本编辑器&#xff0c;目标是做中国人自己的编辑器&#xff0c;来自中国。 项目地址: https://gitcode.com/GitHub_Trending/no/notepad-…...

编程新知 2026/3/29 15:38:02

GLM-OCR在办公场景的应用：快速将合同、票据图片转为可编辑文本

GLM-OCR在办公场景的应用&#xff1a;快速将合同、票据图片转为可编辑文本 1. 引言 每天面对堆积如山的纸质合同和发票&#xff0c;财务和法务同事最头疼的是什么&#xff1f;是手动录入时眼花缭乱的数字&#xff0c;还是反复核对时的精神紧绷&#xff1f;我曾见过一位财务专…...

编程新知 2026/3/29 15:07:46

避坑指南：解决多Livox雷达在ROS中TF树报错‘extrapolation into the past’的完整流程

避坑指南&#xff1a;解决多Livox雷达在ROS中TF树报错‘extrapolation into the past’的完整流程 当你在ROS系统中整合多个Livox雷达时&#xff0c;突然遭遇[WARN] Lookup would require extrapolation into the past的警告信息&#xff0c;Rviz中点云显示异常或TF树断裂&…...

编程新知 2026/3/29 12:56:18

3步实现专业级字幕去除：面向视频创作者的AI处理工具全指南

3步实现专业级字幕去除&#xff1a;面向视频创作者的AI处理工具全指南 【免费下载链接】video-subtitle-remover 基于AI的图片/视频硬字幕去除、文本水印去除&#xff0c;无损分辨率生成去字幕、去水印后的图片/视频文件。无需申请第三方API&#xff0c;本地实现。AI-based too…...

编程新知 2026/3/29 11:33:23

懒人精灵实战：用Lua脚本读写安卓手游内存（以libunity.so为例）

懒人精灵实战&#xff1a;用Lua脚本读写安卓手游内存&#xff08;以libunity.so为例&#xff09; 在移动游戏开发与逆向工程领域&#xff0c;内存读写技术一直是一个既神秘又实用的技能。对于想要深入了解游戏机制或进行自动化测试的开发者来说&#xff0c;掌握这项技术无疑会带…...

编程新知 2026/3/29 10:20:21

Ollama部署避坑指南：Ubuntu环境下常见错误排查与性能优化

Ollama部署避坑指南&#xff1a;Ubuntu环境下常见错误排查与性能优化 在Ubuntu系统上部署Ollama时&#xff0c;即使是经验丰富的开发者也可能遇到各种"坑"。本文将深入剖析这些常见问题&#xff0c;并提供切实可行的解决方案&#xff0c;帮助您快速定位和解决问题&am…...

编程新知 2026/3/29 8:45:54

零基础玩转RetinaFace：一键部署人脸检测，合影/监控都能精准识别

零基础玩转RetinaFace&#xff1a;一键部署人脸检测&#xff0c;合影/监控都能精准识别 1. 为什么选择RetinaFace人脸检测 在当今数字时代&#xff0c;人脸检测技术已经成为众多应用的基础功能。无论是社交媒体上的自动标记、安防监控系统的人脸识别&#xff0c;还是手机相册…...

编程新知 2026/3/29 7:31:25