基于流计算 Oceanus（Flink） CDC 做好数据集成场景
由于第一次做实时，所以踩坑比较多，见谅(测试环境用的flink),小公司没有用到hadoop组件
一、踩坑记录
1:本地代码的flink版本是flink1.15.4，生产环境是flink1.16.1，在使用侧输出流时报错，需要使用以下写法,需要使用SideOutputDataStream不能用DataStream，同时将pom下的flink版本切换为1.16.1
SideOutputDataStream<String> tblHotelGuestSnapStreamDS = processedDS.getSideOutput(tblHotelGuestSnaptag);2: Oceanus环境运行flink时候会默认使用RocksDB State Backend,不需要再手动配置检查点
3:可以利用checkpoint检查点来保证数据的端到端一致
4:打包可以使用maven协助打包
5: bin/start-cluster.sh启动后测试环境的8081无法访问,需要修改flink-conf.yml的属性rest.bind-address: 0.0.0.0和rest.bind-port: 8081和rest.port: 8081,之后重启就可以访问
相关文章：
基于流计算 Oceanus（Flink） CDC 做好数据集成场景
由于第一次做实时，所以踩坑比较多，见谅(测试环境用的flink),小公司没有用到hadoop组件 一、踩坑记录 1:本地代码的flink版本是flink1.15.4，生产环境是flink1.16.1，在使用侧输出流时报错，需要使用以下写法,需要使用Si…...
MySQL8.Xx安装控制台未生成随机密码解决方案
MySQL8.xx一主两从复制安装与配置 MySQL8.XX随未生成随机密码解决方案 MySQL8.0.30一主两从复制与配置(一) 一: Mysql 安装时控制台未生成密码 安装过程中解压或者安装时报错等,这种情况一般是因网络等其他原因导致下载的安装包不完整， 重新下载安装即可; 二:…...
安装VS2005时提示：请插入磁盘:visual studio 2005 DVD
安装VS2005时提示：请插入磁盘:visual studio 2005 DVD 修改卷标为 "DVD1"...
OpenVINO2023使用简介
1 下载安装 先在anaconda中创建一个虚拟环境，该环境的python版本为3.7，之所以使用python3.7，是因为我在3.9上安装过程中出现不少bug，后面新建了一个3.7的环境才解决，我不知道是否由于和我已有环境中某些包不兼容&…...
基于React实现无限滚动的日历详细教程，附源码【手写日历教程第二篇】
前言 最常见的日历大部分都是滚动去加载更多的月份，而不是让用户手动点击按钮切换日历月份。滚动加载的交互方式对于用户而言是更加丝滑和舒适的，没有明显的操作割裂感。 那么现在需要做一个这样的无限滚动的日历，前端开发者应该如何去思考…...
68、使用aws官方的demo和配置aws服务，进行视频流上传播放
基本思想：参考官方视频，进行了配置aws，测试了视频推流，rtsp和mp4格式的视频貌似有问题，待调研和解决 第一步：1) 进入aws的网站，然后进入ioT Core 2)先配置 Thing types & Thing，选择香港的节点，然后AWS ioT--->Manage---> Thing type 然后输入名字，创建Th…...
数据库
表 记录：行 字段（属性）: 列 以行列的形式就组成了表（数据存储在表中） 关系数据库的表由记录组成，记录由字段组成，字段由字符或数字组成。它可以供各种用户共享， 具有最小冗余度和较高…...
深入了解fcntl函数：Linux系统编程中的文件控制
文章目录 概述介绍函数原型与参数 拓展：fcntl改文件属性总结 概述 摘要: fcntl函数是Linux系统编程中一个重要的函数，用于对文件描述符进行各种控制操作。本文将详细介绍fcntl函数的原型、各个参数的用法，以及阻塞和非阻塞模式切换的方法&am…...
汇川技术内推码
[庆祝]不一样的内推码[庆祝]：IVSM2R 投递了可以评论下名字，我会帮忙留意进度。 汇尔成川，共赴星海，欢迎加入，职等你来。 嵌入式软硬件，机器人算法，电机控制，通信软件，PLC…...
nacos服务器启动报错集合
报错1 Error creating bean with name ‘user‘: Unsatisfied dependency expressed through field ‘jwtTokenManage 开启鉴权之后，你可以自定义用于生成JWT令牌的密钥，application.properties中的配置信息为： ### Since 1.4.1, worked when…...
C语言_分支和循环语句（2）
文章目录 前言一、for 循环1.1语法1.2 for 语句的循环控制变量1.3 一些 for 循环的变种 二、do ... while()循环2.1 do 语句的语法2.2 do ... while 循环中的 break 和 continue2.3 练习1 **- 计算n的阶乘**2. - **在一个有序数组中查找具体的某个数字 n** 二分查找算法&#x…...
JMeter 接口自动化测试：从入门到精通的完全指南
JMeter 是一个开源的负载测试工具，它可以模拟多种协议和应用程序的负载，包括 HTTP、FTP、SMTP、JMS、SOAP 和 JDBC 等。在进行接口自动化测试时，使用 JMeter 可以帮助我们快速地构建测试用例，模拟多种场景，发现接口的性…...
方法及其重载)
【Java】集合List的toArray()方法及其重载
在Java中，集合（List 接口的实现类）提供了一个名为 toArray 的方法，用于将集合中的元素转换成数组。该方法有两个主要的重载形式，分别用于不同的情况。 toArray()重载方法1 <T> T[] toArray(T[] a)这个方法将集…...
Python学习笔记：Requests库安装、通过url下载文件
1.下载安装requests库 在pipy或者github下载，通常是个zip，解压缩后在路径输入cmd，并运行以下代码 Python setup.py install 安装完成后，输入python再输入import requests得到可以判断时候完成安装 2.通过url下载文件 使用的是u…...
git pull --rebase 用法
git pull --rebase git pull --rebase 是 Git 命令中的一个选项，它的作用是在从远程仓库拉取更新时使用 rebase 而不是默认的合并方式。使用这个命令会使您的提交历史更加整洁，因为它将您的本地提交在远程更新之前重新应用到新的提交之上。 这个命令的…...
react antd框架中的徽标获取数据对应状态的数量
实现思路：获取数量的思路是通过filter过滤符合数据来实现。 列表数组.filter(item > item.status 值).length; 例子：以下这个例子是判断data数组中的status中在职的数量。 data.filter((item) > item.status 在职).length 效果展示ÿ…...
【多线程】Thread类的用法
文章目录 1. Thread类的创建1.1 自己创建类继承Thread类1.2 实现Runnable接口1.3 使用匿名内部类创建Thread子类对象1.4 使用匿名内部类创建Runnable子类对象1.5 使用lambda创建 2. Thread常见的构造方法2.1 Thread()2.2 Thread(Runnable target)2.3 Thread(String name)2.4 Th…...
第八章 贪心算法 part03 1005.K次取反后最大化的数组和 134. 加油站 135. 分发糖果 （day34补）
本文章代码以c为例！ 一、力扣第1005题：K 次取反后最大化的数组和 题目: 给你一个整数数组 nums 和一个整数 k ，按以下方法修改该数组： 选择某个下标 i 并将 nums[i] 替换为 -nums[i] 。 重复这个过程恰好 k 次。可以多次选择…...
Android Activity启动过程一：从Intent到Activity创建
关于作者：CSDN内容合伙人、技术专家， 从零开始做日活千万级APP。 专注于分享各领域原创系列文章 ，擅长java后端、移动开发、人工智能等，希望大家多多支持。 目录 一、概览二、应用内启动源码流程 (startActivity)2.1 startActivit…...
第9章：聚类
聚类任务 性能度量 距离度量 非度量距离 原型聚类 有很好的统计学上的意义，但是只能找到椭球形的聚类。 密度聚类 层次聚类...
挑战杯推荐项目
“人工智能”创意赛 - 智能艺术创作助手：借助大模型技术，开发能根据用户输入的主题、风格等要求，生成绘画、音乐、文学作品等多种形式艺术创作灵感或初稿的应用，帮助艺术家和创意爱好者激发创意、提高创作效率。 - 个性化梦境…...
Chapter03-Authentication vulnerabilities
文章目录 1. 身份验证简介1.1 What is authentication1.2 difference between authentication and authorization1.3 身份验证机制失效的原因1.4 身份验证机制失效的影响 2. 基于登录功能的漏洞2.1 密码爆破2.2 用户名枚举2.3 有缺陷的暴力破解防护2.3.1 如果用户登录尝试失败次…...
React 第五十五节 Router 中 useAsyncError的使用详解
前言 useAsyncError 是 React Router v6.4 引入的一个钩子，用于处理异步操作（如数据加载）中的错误。下面我将详细解释其用途并提供代码示例。 一、useAsyncError 用途 处理异步错误：捕获在 loader 或 action 中发生的异步错误替…...
Auto-Coder使用GPT-4o完成：在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务
通过akshare库，获取股票数据，并生成TabPFN这个模型 可以识别、处理的格式，写一个完整的预处理示例，并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务，进行预测并输…...
全面解析各类VPN技术：GRE、IPsec、L2TP、SSL与MPLS VPN对比
目录 引言 VPN技术概述 GRE VPN 3.1 GRE封装结构 3.2 GRE的应用场景 GRE over IPsec 4.1 GRE over IPsec封装结构 4.2 为什么使用GRE over IPsec？ IPsec VPN 5.1 IPsec传输模式（Transport Mode） 5.2 IPsec隧道模式（Tunne…...
【碎碎念】宝可梦 Mesh GO : 基于MESH网络的口袋妖怪 宝可梦GO游戏自组网系统
目录 游戏说明《宝可梦 Mesh GO》 —— 局域宝可梦探索Pokmon GO 类游戏核心理念应用场景Mesh 特性 宝可梦玩法融合设计游戏构想要素1. 地图探索（基于物理空间 广播范围）2. 野生宝可梦生成与广播3. 对战系统4. 道具与通信5. 延伸玩法 安全性设计 技术选…...
以光量子为例，详解量子获取方式
光量子技术获取量子比特可在室温下进行。该方式有望通过与名为硅光子学（silicon photonics）的光波导（optical waveguide）芯片制造技术和光纤等光通信技术相结合来实现量子计算机。量子力学中，光既是波又是粒子。光子本…...
Docker 本地安装 mysql 数据库
Docker: Accelerated Container Application Development 下载对应操作系统版本的 docker ；并安装。 基础操作不再赘述。 打开 macOS 终端，开始 docker 安装mysql之旅 第一步 docker search mysql 》〉docker search mysql NAME DE…...
Python Ovito统计金刚石结构数量
大家好，我是小马老师。 本文介绍python ovito方法统计金刚石结构的方法。 Ovito Identify diamond structure命令可以识别和统计金刚石结构，但是无法直接输出结构的变化情况。 本文使用python调用ovito包的方法，可以持续统计各步的金刚石结构，具体代码如下： from ovito…...
（一）单例模式
一、前言 单例模式属于六大创建型模式，即在软件设计过程中，主要关注创建对象的结果，并不关心创建对象的过程及细节。创建型设计模式将类对象的实例化过程进行抽象化接口设计，从而隐藏了类对象的实例是如何被创建的，封装了软件系统使用的具体对象类型。 六大创建型模式包括…...