基于流计算 Oceanus（Flink） CDC 做好数据集成场景
由于第一次做实时，所以踩坑比较多，见谅(测试环境用的flink),小公司没有用到hadoop组件
一、踩坑记录
1:本地代码的flink版本是flink1.15.4，生产环境是flink1.16.1，在使用侧输出流时报错，需要使用以下写法,需要使用SideOutputDataStream不能用DataStream，同时将pom下的flink版本切换为1.16.1
SideOutputDataStream<String> tblHotelGuestSnapStreamDS = processedDS.getSideOutput(tblHotelGuestSnaptag);2: Oceanus环境运行flink时候会默认使用RocksDB State Backend,不需要再手动配置检查点
3:可以利用checkpoint检查点来保证数据的端到端一致
4:打包可以使用maven协助打包
5: bin/start-cluster.sh启动后测试环境的8081无法访问,需要修改flink-conf.yml的属性rest.bind-address: 0.0.0.0和rest.bind-port: 8081和rest.port: 8081,之后重启就可以访问
相关文章：
基于流计算 Oceanus（Flink） CDC 做好数据集成场景
由于第一次做实时，所以踩坑比较多，见谅(测试环境用的flink),小公司没有用到hadoop组件 一、踩坑记录 1:本地代码的flink版本是flink1.15.4，生产环境是flink1.16.1，在使用侧输出流时报错，需要使用以下写法,需要使用Si…...
MySQL8.Xx安装控制台未生成随机密码解决方案
MySQL8.xx一主两从复制安装与配置 MySQL8.XX随未生成随机密码解决方案 MySQL8.0.30一主两从复制与配置(一) 一: Mysql 安装时控制台未生成密码 安装过程中解压或者安装时报错等,这种情况一般是因网络等其他原因导致下载的安装包不完整， 重新下载安装即可; 二:…...
安装VS2005时提示：请插入磁盘:visual studio 2005 DVD
安装VS2005时提示：请插入磁盘:visual studio 2005 DVD 修改卷标为 "DVD1"...
OpenVINO2023使用简介
1 下载安装 先在anaconda中创建一个虚拟环境，该环境的python版本为3.7，之所以使用python3.7，是因为我在3.9上安装过程中出现不少bug，后面新建了一个3.7的环境才解决，我不知道是否由于和我已有环境中某些包不兼容&…...
基于React实现无限滚动的日历详细教程，附源码【手写日历教程第二篇】
前言 最常见的日历大部分都是滚动去加载更多的月份，而不是让用户手动点击按钮切换日历月份。滚动加载的交互方式对于用户而言是更加丝滑和舒适的，没有明显的操作割裂感。 那么现在需要做一个这样的无限滚动的日历，前端开发者应该如何去思考…...
68、使用aws官方的demo和配置aws服务，进行视频流上传播放
基本思想：参考官方视频，进行了配置aws，测试了视频推流，rtsp和mp4格式的视频貌似有问题，待调研和解决 第一步：1) 进入aws的网站，然后进入ioT Core 2)先配置 Thing types & Thing，选择香港的节点，然后AWS ioT--->Manage---> Thing type 然后输入名字，创建Th…...
数据库
表 记录：行 字段（属性）: 列 以行列的形式就组成了表（数据存储在表中） 关系数据库的表由记录组成，记录由字段组成，字段由字符或数字组成。它可以供各种用户共享， 具有最小冗余度和较高…...
深入了解fcntl函数：Linux系统编程中的文件控制
文章目录 概述介绍函数原型与参数 拓展：fcntl改文件属性总结 概述 摘要: fcntl函数是Linux系统编程中一个重要的函数，用于对文件描述符进行各种控制操作。本文将详细介绍fcntl函数的原型、各个参数的用法，以及阻塞和非阻塞模式切换的方法&am…...
汇川技术内推码
[庆祝]不一样的内推码[庆祝]：IVSM2R 投递了可以评论下名字，我会帮忙留意进度。 汇尔成川，共赴星海，欢迎加入，职等你来。 嵌入式软硬件，机器人算法，电机控制，通信软件，PLC…...
nacos服务器启动报错集合
报错1 Error creating bean with name ‘user‘: Unsatisfied dependency expressed through field ‘jwtTokenManage 开启鉴权之后，你可以自定义用于生成JWT令牌的密钥，application.properties中的配置信息为： ### Since 1.4.1, worked when…...
C语言_分支和循环语句（2）
文章目录 前言一、for 循环1.1语法1.2 for 语句的循环控制变量1.3 一些 for 循环的变种 二、do ... while()循环2.1 do 语句的语法2.2 do ... while 循环中的 break 和 continue2.3 练习1 **- 计算n的阶乘**2. - **在一个有序数组中查找具体的某个数字 n** 二分查找算法&#x…...
JMeter 接口自动化测试：从入门到精通的完全指南
JMeter 是一个开源的负载测试工具，它可以模拟多种协议和应用程序的负载，包括 HTTP、FTP、SMTP、JMS、SOAP 和 JDBC 等。在进行接口自动化测试时，使用 JMeter 可以帮助我们快速地构建测试用例，模拟多种场景，发现接口的性…...
方法及其重载)
【Java】集合List的toArray()方法及其重载
在Java中，集合（List 接口的实现类）提供了一个名为 toArray 的方法，用于将集合中的元素转换成数组。该方法有两个主要的重载形式，分别用于不同的情况。 toArray()重载方法1 <T> T[] toArray(T[] a)这个方法将集…...
Python学习笔记：Requests库安装、通过url下载文件
1.下载安装requests库 在pipy或者github下载，通常是个zip，解压缩后在路径输入cmd，并运行以下代码 Python setup.py install 安装完成后，输入python再输入import requests得到可以判断时候完成安装 2.通过url下载文件 使用的是u…...
git pull --rebase 用法
git pull --rebase git pull --rebase 是 Git 命令中的一个选项，它的作用是在从远程仓库拉取更新时使用 rebase 而不是默认的合并方式。使用这个命令会使您的提交历史更加整洁，因为它将您的本地提交在远程更新之前重新应用到新的提交之上。 这个命令的…...
react antd框架中的徽标获取数据对应状态的数量
实现思路：获取数量的思路是通过filter过滤符合数据来实现。 列表数组.filter(item > item.status 值).length; 例子：以下这个例子是判断data数组中的status中在职的数量。 data.filter((item) > item.status 在职).length 效果展示ÿ…...
【多线程】Thread类的用法
文章目录 1. Thread类的创建1.1 自己创建类继承Thread类1.2 实现Runnable接口1.3 使用匿名内部类创建Thread子类对象1.4 使用匿名内部类创建Runnable子类对象1.5 使用lambda创建 2. Thread常见的构造方法2.1 Thread()2.2 Thread(Runnable target)2.3 Thread(String name)2.4 Th…...
第八章 贪心算法 part03 1005.K次取反后最大化的数组和 134. 加油站 135. 分发糖果 （day34补）
本文章代码以c为例！ 一、力扣第1005题：K 次取反后最大化的数组和 题目: 给你一个整数数组 nums 和一个整数 k ，按以下方法修改该数组： 选择某个下标 i 并将 nums[i] 替换为 -nums[i] 。 重复这个过程恰好 k 次。可以多次选择…...
Android Activity启动过程一：从Intent到Activity创建
关于作者：CSDN内容合伙人、技术专家， 从零开始做日活千万级APP。 专注于分享各领域原创系列文章 ，擅长java后端、移动开发、人工智能等，希望大家多多支持。 目录 一、概览二、应用内启动源码流程 (startActivity)2.1 startActivit…...
第9章：聚类
聚类任务 性能度量 距离度量 非度量距离 原型聚类 有很好的统计学上的意义，但是只能找到椭球形的聚类。 密度聚类 层次聚类...
)
椭圆曲线密码学(ECC)
一、ECC算法概述 椭圆曲线密码学（Elliptic Curve Cryptography）是基于椭圆曲线数学理论的公钥密码系统，由Neal Koblitz和Victor Miller在1985年独立提出。相比RSA，ECC在相同安全强度下密钥更短（256位ECC ≈ 3072位RSA…...
线程与协程
1. 线程与协程 1.1. “函数调用级别”的切换、上下文切换 1. 函数调用级别的切换 “函数调用级别的切换”是指：像函数调用/返回一样轻量地完成任务切换。 举例说明： 当你在程序中写一个函数调用： funcA() 然后 funcA 执行完后返回&…...
相机Camera日志分析之三十一：高通Camx HAL十种流程基础分析关键字汇总（后续持续更新中）
【关注我，后续持续新增专题博文，谢谢！！！】 上一篇我们讲了：有对最普通的场景进行各个日志注释讲解，但相机场景太多，日志差异也巨大。后面将展示各种场景下的日志。 通过notepad++打开场景下的日志，通过下列分类关键字搜索，即可清晰的分析不同场景的相机运行流程差异…...
涂鸦T5AI手搓语音、emoji、otto机器人从入门到实战
“🤖手搓TuyaAI语音指令 😍秒变表情包大师，让萌系Otto机器人🔥玩出智能新花样！开整！” 🤖 Otto机器人 → 直接点明主体 手搓TuyaAI语音 → 强调 自主编程/自定义 语音控制（TuyaAI…...
css3笔记 （1） 自用
outline: none 用于移除元素获得焦点时默认的轮廓线 broder:0 用于移除边框 font-size：0 用于设置字体不显示 list-style: none 消除<li> 标签默认样式 margin: xx auto 版心居中 width:100% 通栏 vertical-align 作用于行内元素 / 表格单元格ÿ…...
vue3+vite项目中使用.env文件环境变量方法
vue3vite项目中使用.env文件环境变量方法 .env文件作用命名规则常用的配置项示例使用方法注意事项在vite.config.js文件中读取环境变量方法 .env文件作用 .env 文件用于定义环境变量，这些变量可以在项目中通过 import.meta.env 进行访问。Vite 会自动加载这些环境变…...
3-11单元格区域边界定位(End属性)学习笔记
返回一个Range 对象，只读。该对象代表包含源区域的区域上端下端左端右端的最后一个单元格。等同于按键 End 向上键(End(xlUp))、End向下键(End(xlDown))、End向左键(End(xlToLeft)End向右键(End(xlToRight)) 注意：它移动的位置必须是相连的有内容的单元格…...
MySQL的pymysql操作
本章是MySQL的最后一章，MySQL到此完结，下一站Hadoop！！！ 这章很简单，完整代码在最后，详细讲解之前python课程里面也有，感兴趣的可以往前找一下 一、查询操作 我们需要打开pycharm …...
《Docker》架构
文章目录 架构模式单机架构应用数据分离架构应用服务器集群架构读写分离/主从分离架构冷热分离架构垂直分库架构微服务架构容器编排架构什么是容器，docker，镜像，k8s 架构模式 单机架构 单机架构其实就是应用服务器和单机服务器都部署在同一…...
2025年- H71-Lc179--39.组合总和(回溯,组合）--Java版
1.题目描述 2.思路 当前的元素可以重复使用。 （1）确定回溯算法函数的参数和返回值（一般是void类型） （2）因为是用递归实现的，所以我们要确定终止条件 （3）单层搜索逻辑 二…...