当前位置: 首页 > news >正文

【Flink】FlinkSQL实现数据从Kafka到MySQL

简介

       未来Flink通用化,代码可能就会转换为sql进行执行,大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台,去提交FlinkSQL实现任务,学习Flinksql势在必行。

       本博客在sql-client中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Kafka传输到MySQL具体操作,这个在生产开发中比较常用,通常生产用kafka作为数据的输入,本例子Flink版本1.13.6,具体操作如下:

创建mysql测试目标表

下面是创建mysql测试目标表的例子

CREATE TABLE `kafka_target` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增ID',
`name` varchar(64) DEFAULT NULL COMMENT '姓名',
`create_time` datetime  COMMENT '创建时间',
PRIMARY KEY (`id`)

ENGINE = InnoDB;

创建kafka的topic

 /opt/kafka/bin/kafka-topics.sh --create --bootstrap-server 192.168.0.1:9092 --replication-factor 1 --partitions 1 --topic mysqlsource

 可执行FlinkSQL(sql-client中执行)

注意在执行Fli

相关文章:

【Flink】FlinkSQL实现数据从Kafka到MySQL

简介 未来Flink通用化,代码可能就会转换为sql进行执行,大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台,去提交FlinkSQL实现任务,学习Flinksql势在必行。 本博客在sql-client中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Kafka传…...

Unity GC

本文由 简悦 SimpRead 转码, 原文地址 mp.weixin.qq.com 简略版本 在 Unity 中,垃圾回收(Garbage Collection,GC)采用的是基于标记-清除(Mark and Sweep)算法的自动内存管理机制。 基于标记-清…...

Vue源码系列讲解——变化侦测篇【下】(Array的变化侦测)

目录 1. 前言 2. 在哪里收集依赖 3. 使Array型数据可观测 3.1 思路分析 3.2 数组方法拦截器 3.3 使用拦截器 4. 再谈依赖收集 4.1 把依赖收集到哪里 4.2 如何收集依赖 4.3 如何通知依赖 5. 深度侦测 6. 数组新增元素的侦测 7. 不足之处 8. 总结 1. 前言 上一篇文…...

【机器学习笔记】贝叶斯学习

贝叶斯学习 文章目录 贝叶斯学习1 贝叶斯学习背景2 贝叶斯定理3 最大后验假设MAP(Max A Posterior)4 极大似然假设ML(Maximum Likelihood)5 朴素贝叶斯NB6 最小描述长度MDL 1 贝叶斯学习背景 试图发现两件事情的关系(因果关系,先决条件&结论&#x…...

ElasticSearch之倒排索引

写在前面 本文看下es的倒排索引相关内容。 1:正排索引和倒排索引 正排索引就是通过文档id找文档内容,而倒排索引就是通过文档内容找文档id,如下图: 2:倒排索引原理 假定我们有如下的数据: 为了建立倒…...

win11安装mysql8.3.0压缩包版 240206

mysql社区版安装包版windows安装包下载地址 在系统环境变量path无点.的情况下 powershell 可以 .\ 或 ./ 开头表示当前文件夹cmd 可以直接命令或.\开头, 不能./开头 所以 .\ 在cmd和powershell中通用 步骤 在解压目录 .\mysqld --initialize-insecure root无密码初始化.\m…...

数据库索引与优化:深入了解索引的种类、使用与优化

数据库索引与优化:深入了解索引的种类、使用与优化 索引的种类 数据库索引是提高查询速度的重要手段之一,主要分为以下几种类型: 主键索引(Primary Key Index): 唯一标识表中的每一行数据,保…...

React 错误边界组件 react-error-boundary 源码解析

文章目录 捕获错误 hook创建错误边界组件 Provider定义错误边界组件定义边界组件状态捕捉错误渲染备份组件重置组件通过 useHook 控制边界组件 捕获错误 hook getDerivedStateFromError 返回值会作为组件的 state 用于展示错误时的内容 componentDidCatch 创建错误边界组件 P…...

分享66个相册特效,总有一款适合您

分享66个相册特效,总有一款适合您 66个相册特效下载链接:https://pan.baidu.com/s/1jqctaho4sL_iGSNExhWB6A?pwd8888 提取码:8888 Python采集代码下载链接:采集代码.zip - 蓝奏云 学习知识费力气,收集整理更不…...

chagpt的原理详解

GPT(Generative Pre-trained Transformer)是一种基于Transformer架构的生成式预训练模型。GPT-3是其中的第三代,由OpenAI开发。下面是GPT的基本原理: Transformer架构: GPT基于Transformer架构,该架构由Att…...

dockerfile 详细讲解

当编写 Dockerfile 时,你需要考虑你的应用程序所需的环境和依赖项,并将其描述为一系列指令。下面是一个简单的示例,演示如何编写一个用于部署基于 Node.js 的网站的 Dockerfile: Dockerfile # 使用官方 Node.js 镜像作为基础镜像…...

跟着pink老师前端入门教程-day23

苏宁网首页案例制作 设置视口标签以及引入初始化样式 <meta name"viewport" content"widthdevice-width, user-scalableno, initial-scale1.0, maximum-scale1.0, minimum-scale1.0"> <link rel"stylesheet" href"css/normaliz…...

JRT监听程序

本次设计避免以往设计缺陷&#xff0c;老的主要为了保持兼容性&#xff0c;在用的设计就不好调了。 首先&#xff0c;接口抽象时候就不在给参数放仪器ID和处理类了&#xff0c;直接放仪器配置实体&#xff0c;接口实现想用什么属性就用什么属性&#xff0c;避免老方式要扩参数时…...

MCU+SFU视频会议一体化,视频监控,指挥调度(AR远程协助)媒体中心解决方案。

视频互动应用已经是政务和协同办公必备系统&#xff0c;早期的分模块&#xff0c;分散的视频应该不能满足业务需要&#xff0c;需要把视频监控&#xff0c;会议&#xff0c;录存一体把视频资源整合起来&#xff0c;根据客户需求&#xff0c;需要能够多方视频互动&#xff0c;直…...

1184. 欧拉回路(欧拉回路,模板题)

活动 - AcWing 给定一张图&#xff0c;请你找出欧拉回路&#xff0c;即在图中找一个环使得每条边都在环上出现恰好一次。 输入格式 第一行包含一个整数 t&#xff0c;t∈{1,2}&#xff0c;如果 t1&#xff0c;表示所给图为无向图&#xff0c;如果 t2&#xff0c;表示所给图为…...

学习 Redis 基础数据结构,不讲虚的。

学习 Redis 基础数据结构&#xff0c;不讲虚的。 一个群友给我发消息&#xff0c;“该学的都学了&#xff0c;怎么就找不到心意的工作&#xff0c;太难了”。 很多在近期找过工作的同学一定都知道了&#xff0c;背诵八股文已经不是找工作的绝对王牌。企业最终要的是可以创造价…...

Android 11 webview webrtc无法使用问题

问题&#xff1a;Android 11 webview 调用webrtc无法使用, 看logcat日志会报如下错误 [ERROR:address_tracker_linux.cc(245)] Could not send NETLINK request: Permission denied (13) 查了下相关的网络权限都有配置了还是不行&#xff0c;还是报这个权限问题 原因&#xff1…...

嵌入式单片机中晶振的工作原理

晶振在单片机中是必不可少的元器件&#xff0c;只要用到CPU的地方就必定有晶振的存在&#xff0c;那么晶振是如何工作的呢&#xff1f; 什么是晶振 晶振一般指晶体振荡器&#xff0c;晶体振荡器是指从一块石英晶体上按一定方位角切下的薄片&#xff0c;简称为晶片。 石英晶体谐…...

AWS配置内网EC2服务器上网【图形化配置】

第一种方法&#xff1a;创建EC2选择启用分配公网ip 1. 创建vpc 2. 创建子网 3. 创建互联网网关 创建互联网网关 创建互联网网关 &#xff0c;设置名称即可 然后给网关附加到新建的vpc即可 4. 给新建子网添加路由规则&#xff0c;添加新建的互联网网关然后点击保存更改 5. 新建…...

Android中的MVVM

演变 开发常用的框架包括MVC、MVP和本文的MVVM&#xff0c;三种框架都是为了分离ui界面和处理逻辑而出现的框架模式。mvp、mvvm都由mvc演化而来&#xff0c;他们不属于某种语言的框架&#xff0c;当存在ui页面和逻辑代码时&#xff0c;我们就可以使用这三种模式。 model和vie…...

开源CRM Clawnify:轻量自托管,专为SaaS与AI Agent设计

1. 项目概述&#xff1a;一个为SaaS和AI Agent设计的开源CRM如果你正在为你的SaaS产品寻找一个轻量、可自托管、且能无缝嵌入的客户关系管理&#xff08;CRM&#xff09;模块&#xff0c;或者你厌倦了HubSpot、Salesforce这类重量级SaaS的复杂配置、高昂费用和API限制&#xff…...

跨越软件壁垒:GoB插件重构Blender与ZBrush的无缝建模工作流

跨越软件壁垒&#xff1a;GoB插件重构Blender与ZBrush的无缝建模工作流 【免费下载链接】GoB Fork of original GoB script (I just added some fixes) 项目地址: https://gitcode.com/gh_mirrors/go/GoB 在3D创作的世界里&#xff0c;艺术家常常面临一个技术困境&#…...

【ElevenLabs旁白语音工业级交付标准】:帧精度±3ms同步、响度LUFS≤-23、动态范围≥14dB——你达标了吗?

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;ElevenLabs纪录片旁白语音工业级交付标准全景定义 在纪录片制作工业化进程中&#xff0c;旁白语音已从“可用即可”跃迁至“毫秒级对齐、语义级情感建模、多语种零偏差复现”的交付新范式。ElevenLabs …...

告别蓝屏与闪退:揪出“ntdll.dll”相关故障的五大根源及实战修复

在Windows的世界里&#xff0c;ntdll.dll就像一位无处不在的“幕后总调度”。无论是您点击的办公软件&#xff0c;还是运行的游戏&#xff0c;最终都需要通过它来向系统内核发出请求。正因如此&#xff0c;一旦它出现问题&#xff0c;故障现象会千奇百怪&#xff1a;程序突然闪…...

ONFI5.0实战避坑:VccQ电压选1.8V还是1.2V?DQS采样与ZQ校准那些事儿

ONFI5.0硬件设计实战&#xff1a;VccQ电压选择与信号完整性优化指南 在嵌入式存储系统设计中&#xff0c;ONFI5.0协议的采用正成为行业新标准&#xff0c;但随之而来的硬件兼容性问题也让不少工程师头疼。最近一位同行就遇到了典型的案例&#xff1a;他们的NV-DDR3接口NAND闪存…...

3步解锁WeMod Pro:Wand-Enhancer免费增强工具完全指南

3步解锁WeMod Pro&#xff1a;Wand-Enhancer免费增强工具完全指南 【免费下载链接】Wand-Enhancer Advanced UX and interoperability extension for Wand (WeMod) app 项目地址: https://gitcode.com/gh_mirrors/we/Wand-Enhancer 阅读预期&#xff1a;你能从本文获得什…...

JS如何获取元素高度

在前端开发中&#xff0c;获取元素高度是最基础也是最常用的操作之一。本文将详细介绍 原生JavaScript 和 jQuery 中获取元素高度的各种方法&#xff0c;帮你彻底搞懂它们的区别&#xff01; &#x1f4d6; 目录 原生JavaScript获取高度jQuery获取高度各方法对比实际应用场景常…...

投稿前一定要预审

作为一个拿过2项国自然青年基金、带过3届硕博生的高校青椒&#xff0c;今天给大家聊点掏心窝子的稿件打磨经验&#xff0c;都是我踩了无数坑、熬了无数夜攒出来的干货&#xff0c;不管你是要申基金、写毕业论文还是报专利&#xff0c;都能用得上。首先先给大家列3个科研人最容易…...

XRZero-G0:机器人灵巧操作数据采集的创新解决方案

1. XRZero-G0&#xff1a;机器人灵巧操作的数据采集革命在机器人灵巧操作领域&#xff0c;高质量演示数据的获取一直是制约技术发展的关键瓶颈。传统的主从遥操作&#xff08;Master-Slave Teleoperation&#xff09;虽然能提供精确的本体感受数据&#xff0c;但存在硬件成本高…...

LabVIEW调用海康VisionMaster 4.2 SDK避坑指南:从‘加载程序集错误’到完美运行的完整流程

LabVIEW与海康VisionMaster 4.2深度集成实战&#xff1a;从程序集加载异常到工业级视觉方案部署 当LabVIEW的图形化编程能力遇上海康VisionMaster的机器视觉算法库&#xff0c;本应碰撞出高效开发的火花&#xff0c;但许多工程师在首次集成VM4.2 SDK时&#xff0c;往往被突如其…...