当前位置：首页 > news >正文

【Flink名称解释一】什么是cataLog

news 2026/1/19 18:42:58

Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。

数据处理最关键的方面之一是管理元数据。元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。元数据也可以是持久化的，例如 Hive Metastore 中的元数据。Catalog 提供了一个统一的API，用于管理元数据，并使其可以从 Table API 和 SQL 查询语句中来访问。

CataLog类型：

GenericInMemoryCatalog，GenericInMemoryCatalog 是基于内存实现的 Catalog，所有元数据只在 session 的生命周期内可用。
JdbcCatalog 使得用户可以将 Flink 通过 JDBC 协议连接到关系数据库。PostgresCatalog 是当前实现的唯一一种 JDBC Catalog。参考 JdbcCatalog 文档获取关于配置 JDBC catalog 的详细信息。
HiveCatalog 有两个用途：作为原生 Flink 元数据的持久化存储，以及作为读写现有 Hive 元数据的接口。 Flink 的 Hive 文档提供了有关设置 HiveCatalog 以及访问现有 Hive 元数据的详细信息。

注意：Hive Metastore 以小写形式存储所有元数据对象名称。而 GenericInMemoryCatalog 区分大小写。

-----之后补充如何创建 Flink 表并将其注册到 Catalog

【Flink名称解释一】什么是cataLog

Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。元数据也可以是持久化的&#x…...

编程日记 2023/12/16 22:05:46

ES如何提高准确率之【term-centric】

提高准确率的方法有很多，但是要在提高准确率的同时保证召回率往往比较困难，本文只介绍一种比较常见的情况。问题场景我们经常搜索内容，往往不止针对某个字段进行搜索，比如：标题、内容，往往都是一起搜索…...

编程日记 2023/12/16 21:58:40

DDD落地：爱奇艺打赏服务，如何DDD架构？

尼恩说在前面在40岁老架构师尼恩的读者交流群(50)中，最近有小伙伴拿到了一线互联网企业如阿里、滴滴、极兔、有赞、希音、百度、网易、美团的面试资格，遇到很多很重要的面试题： 谈谈你的DDD落地经验？ 谈谈你对DDD的理解&#x…...

编程日记 2023/12/16 21:54:37

基于JavaWeb+SSM+Vue居住证申报系统小程序的设计和实现

基于JavaWebSSMVue居住证申报系统小程序的设计和实现源码获取入口KaiTi 报告Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》源码获取源码获取入口 KaiTi 报告 1.1题目背景随着时代的发展，人口流动越来越频繁&#xff0…...

编程日记 2023/12/16 21:49:32

环境安全之配置管理及配置安全设置指导

一、前言 IT运维过程中，配置的变更和管理是一件非常重要且必要的事，除了一般宏观层面的配置管理，还有应用配置参数的配置优化，本文手机整理常用应用组件配置项配置，尤其安全层面，以提供安全加固指导实践。…...

编程日记 2023/12/16 21:48:31

一、文档链接 C# 文档 - 入门、教程、参考。| Microsoft Learn 二、基础学习 1、输出语法 Console.WriteLine() using System; namespace HelloWorldApplication {class HelloWorld{static void Main(string[] args){Console.WriteLine("Hello World!");}} }Hel…...

编程日记 2023/12/16 21:47:30

【已解决-实操篇】SaTokenException: 非Web上下文无法获取Request问题解决-实操篇

在上一篇《【理论篇】SaTokenException: 非Web上下文无法获取Request问题解决 -理论篇》中，凯哥(公众号：凯哥Java)介绍了了产生这个问题的源码在哪里，以及怎么解决的方案。没有给出实际操作步骤。本文，凯哥就通过threadLocal方案…...

编程日记 2023/12/16 21:45:28

论文润色机构哪个好快码论文

大家好，今天来聊聊论文润色机构哪个好，希望能给大家提供一点参考。以下是针对论文重复率高的情况，提供一些修改建议和技巧，可以借助此类工具： 标题：论文润色机构哪个好――专业、高效、可靠的学术支持一…...

编程日记 2023/12/16 21:44:27

Idea执行bat使用maven打包springboot项目成docker镜像并push到Harbor

如果执行以下命令失败，先把mvn的-q参数去掉，让错误输出到控制台。《idea配置优化、Maven配置镜像、并行构建加速打包、解决maven打包时偶尔几个文件没权限的问题》下面的使用company-repo私有仓库和阿里云镜像仓库同时使用的配置参考。 bat echo off …...

编程日记 2023/12/16 21:40:23

NCNN 源码学习【三】：数据处理

一、Topic：数据处理这次我们来一段NCNN应用代码中，除了推理外最重要的一部分代码，数据处理： ncnn::Mat in ncnn::Mat::from_pixels_resize(bgr.data, ncnn::Mat::PIXEL_BGR, bgr.cols, bgr.rows, 227, 227);const float mean_v…...

编程日记 2023/12/16 21:38:21

RabbitMq基本使用

目录 SpringAMQP1.准备Demo工程2.快速入门1.1.消息发送1.2.消息接收1.3.测试 3.WorkQueues模型3.1.消息发送3.2.消息接收3.3.测试3.4.能者多劳3.5.总结 SpringAMQP 将来我们开发业务功能的时候，肯定不会在控制台收发消息，而是应该基于编程的方式。由于R…...

编程日记 2023/12/16 21:36:20

windows wsl2 ubuntu上部署 redroid云手机

Redroid WSL2部署文档下载wsl内核源码 #文档注明 5.15和5.10 版本内核可以部署成功，这里我当前最新的发布版本 #下载wsl 源码 wget --progressbar:force --output-documentlinux-msft-wsl-5.15.133.1.tar.gz https://codeload.github.com/microsoft/WSL2-Linux-Ker…...

编程日记 2023/12/16 21:33:16

创维电视机 | 用当贝播放器解决创维电视机不能播放MKV视频的问题

小故事在下面，感兴趣可以看看，开头我就直接放解决方案创维电视虽然是基于Android开发的，可以安装apk软件，但是基本不能用，一定要选择适配电视的视频播放器，或者使用本文中提供的创维版当贝播放器。原软…...

编程日记 2023/12/16 21:32:15

【STM32】DMA直接存储器存取

1 DMA简介 DMA（Direct Memory Access）直接存储器存取可以直接访问STM32的存储器的，包括运行SRAM、程序存储器Flash和寄存器等等 DMA可以提供外设寄存器和存储器或者存储器和存储器之间的高速数据传输，无须CPU干预，节…...

编程日记 2023/12/16 21:31:14

Vue3-09-条件渲染-v-show 的基本使用

v-show 的作用 v-show 可以根据条件表达式的值【展示】或【隐藏】html 元素。v-show 的特点 v-show 的实现方式是控制 dom 元素的 css的 display的属性， 因此，无论该元素是否展示，该元素都会正常渲染在页面上， 当v-show 的条件…...

编程日记 2023/12/16 21:30:13

ArrayList与LinkLIst

ArrayList 在Java中，ArrayList是java.util包中的一个类，它实现了List接口，是一个动态数组，可以根据需要自动增长或缩小。下面是ArrayList的一些基本特性以及其底层原理的简要讲解： ArrayList基本特性： 动…...

编程日记 2023/12/16 21:29:12

位运算（、|、^、~、＞＞、＜＜）

分类编程技术 1.位运算概述从现代计算机中所有的数据二进制的形式存储在设备中。即 0、1 两种状态，计算机对二进制数据进行的运算(、-、*、/)都是叫位运算，即将符号位共同参与运算的运算。口说无凭，举一个简单的例子来看下 CPU 是如何进…...

编程日记 2023/12/16 21:19:04

Centos7部署SVN

文章目录 （1）SVN概述（2）SVN与Samba共享（3）安装SVN（4）SVN搭建实例（5）pc连接svn服务器（6）svn图标所代表含义 （1）…...

编程日记 2023/12/16 21:14:00

Vue中this.$nextTick的执行时机

一、Vue中this.$nextTick的执行时机，整体可分为两种情况： 第一种：下一次 Dom 更新之后执行（即等待DOM更新结束之后，执行nextTick的延迟回调函数）； 第二种：页面挂载后 （m…...

编程日记 2023/12/16 21:08:56

Unity中的ShaderToy

文章目录前言一、ShaderToy网站二、ShaderToy基本框架1、我们可以在ShaderToy网站中，这样看用到的GLSL文档2、void mainImage 是我们的程序入口，类似于片断着色器3、fragColor作为输出变量，为屏幕每一像素的颜色，alpha一般赋值为…...

编程日记 2023/12/16 21:07:55

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …...

编程新知 2026/1/18 20:26:29

手游刚开服就被攻击怎么办？如何防御DDoS？

开服初期是手游最脆弱的阶段，极易成为DDoS攻击的目标。一旦遭遇攻击，可能导致服务器瘫痪、玩家流失，甚至造成巨大经济损失。本文为开发者提供一套简洁有效的应急与防御方案，帮助快速应对并构建长期防护体系。一、遭遇攻击的紧急应…...

编程新知 2026/1/15 8:08:13

Linux链表操作全解析

Linux C语言链表深度解析与实战技巧一、链表基础概念与内核链表优势1.1 为什么使用链表？1.2 Linux 内核链表与用户态链表的区别二、内核链表结构与宏解析常用宏/函数三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势5.1 插入效率5.2 安全…...

编程新知 2025/12/3 20:14:32

MongoDB学习和应用(高效的非关系型数据库)

一丶 MongoDB简介对于社交类软件的功能，我们需要对它的功能特点进行分析： 数据量会随着用户数增大而增大读多写少价值较低非好友看不到其动态信息地理位置的查询… 针对以上特点进行分析各大存储工具： mysql：关系型数据库&am…...

编程新知 2026/1/15 5:48:27

Python爬虫实战：研究feedparser库相关技术

1. 引言 1.1 研究背景与意义在当今信息爆炸的时代，互联网上存在着海量的信息资源。RSS（Really Simple Syndication）作为一种标准化的信息聚合技术，被广泛用于网站内容的发布和订阅。通过 RSS，用户可以方便地获取网站更新的内容，而无需频繁访问各个网站。然而，互联网…...

编程新知 2025/8/18 9:54:31