【Flink】FlinkSQL读取hive数据（批量）
一、简介：
Hive在整个数仓中扮演了非常重要的一环，我们可以使用FlinkSQL实现对hive数据的读取，方便后续的操作，本次例子为Flink1.13.6版本
二、依赖jar包准备：
官网地址如下：
Overview | Apache Flink
1、我们需要准备相关的jar包到Flink安装目录的lib目录下，我们需要根据官网hive的版本下载Flink的live连接包
2、额外我们需要准备Flink的hadoop依赖包，否则会报缺少包的错误，下载过程见如下博客
【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration-CSDN博客
下载后的jar包传到Flink安装目录的lib目录下，如下图：
相关文章：
【Flink】FlinkSQL读取hive数据（批量）
一、简介： Hive在整个数仓中扮演了非常重要的一环，我们可以使用FlinkSQL实现对hive数据的读取，方便后续的操作，本次例子为Flink1.13.6版本 二、依赖jar包准备： 官网地址如下： Overview | Apache Flink 1、我们需要准备相关的jar包到Flink安装目录的lib目录下，我们需…...
list链表
1. list基本概念 功能：将数据进行链式存储 链表（list）是一种物理存储单元上非连续的存储结构，数据元素的逻辑顺序是通过链表中的指针链接实现的 链表的组成：链表由一系列结点组成 结点的组成：一个是存储数据…...
＜网络安全＞《42 网络攻防专业课＜第八课 - SQL注入漏洞攻击与防范＞》
1 SQL注入漏洞利用及防范 1 SQL注入的地位 2 SQL注入的危害及本质 这些危害包括但不局限于： 数据库信息泄漏：数据库中存放的用户的隐私信息的泄露。网页篡改：通过操作数据库对特定网页进行篡改。网站被挂马，传播恶意软件&#…...
微服务开发工具及环境搭建
后端 安装jdk a. 官网下载b. 安装c. 配置环境变量参考： 博客 安装IDEA a. 官网下载社区版（免费） IntelliJ IDEA Community b. 安装 下载链接 前端 安装node 及 npm 下载链接 安装vscode 下载链接 安装Hbuilderx 下载链接 虚拟机环境 …...
HTML学习笔记——08：表单＜form＞
HTML <form> 元素表示文档中的一个区域，此区域包含交互控件，用于向 Web 服务器提交信息。 例如：登录页面。 作用：搜集不同类型的用户输入，并向服务器传送数据。 注意：表单本身并不可见！…...
什么是跨端，常用的跨端技术
跨平台是跨操作系统，跨端是指客户端 常见的客户端有，web、android、ios 等，客户端的特点是有界面、由逻辑，所以包含逻辑跨端和渲染跨端。 常用的跨端技术方案 React Native： 由 Facebook 推出的开源框架，…...
【书生·浦语大模型实战营】第6节：OpenCompass 大模型评测（笔记版）
OpenCompass 大模型评测 1.关于评测的三个问题 为什么需要评测：模型选型、能力提升、应用场景效果测评。测什么：知识、推理、语言；长文本、智能体、多轮对话、情感、认知、价值观。怎样测：自动化客观测评、人机交互测评、基于大…...
为什么需要写Java单元测试总结
目录 前言 一、为什么写单元测试 写单测好处 1、提升效率 2、场景覆盖全 单测怎么写 1、集成测试 2、单元测试 Mock框架 1、Mockito单元测试 2、Mockito 中文文档地址 二、强制要求 1.好的单元测试必须遵守AIR原则。 2.单元测试应该是全自动执行的，并…...
Gin框架: 控制器, 中间件的分层设计案例
对控制器的分组与继承 1 ）设计项目目录结构 yourGinProject/ 根目录├── go.mod go mod 文件├── go.sum go sum 文件├── main.go main 文件└── tpls html模板目录│ └── web│ │ └── index.html├── routers 路由目录│ …...
日常遇到Maven出现依赖版本/缓存问题通用思路。
Maven依赖错误联想 明明自己的工程是直接从大佬哪里拉下来的，并且自己的setting文件也是没有问题，可是自己偏偏编译有问题。这里介绍一种通用解决方案，仅供参考。 前置排查确认 我遇到原因是在JDK升级过程中遇到的： java.lang.…...
安卓11-HDMI插拔检测流程
hdmi从插入到拔出经过底层一系列检测到应用层，应用层获取hdmi插入状态后又会做出一系列相应的动作，下面梳理了从应用层到底层一步步追踪到芯片的hpd-pin的检测过程。 frameworks/base/services/core/java/com/android/server/policy/PhoneWindowManager.…...
OkHttp Retrofit HttpClient之间的区别
OkHttp、Retrofit 和 HttpClient 是三个不同的 HTTP 客户端库，它们各自有不同的特点和用途。下面是它们之间的主要区别： 1. **OkHttp**： - OkHttp 是一个高性能的 HTTP 和 HTTP/2 客户端，由 Square 公司开发。 - 它…...
Paddlepaddle使用自己的VOC数据集训练目标检测（0废话简易教程）
一 安装paddlepaddle和paddledection（略） 笔者使用的是自己的数据集 二 在dataset目录下新建自己的数据集文件，如下： 其中 xml文件内容如下： 另外新建一个createList.py文件： # -- coding: UTF-8 -- imp…...
【解析】C语言两个实例
例一： 下面程序输出什么？ int main() { int i 43; int n printf("%d\n",i); printf("%d\n",n); return 0; } 大家深入考虑一下为什么返回是3这背后有什么鲜为人知的秘密到底是C语言离奇的规定还是深思熟…...
阅读笔记（Multimedia Systems2020）Review on image-stitching techniques
Wang Z, Yang Z. Review on image-stitching techniques[J]. Multimedia Systems, 2020, 26: 413-430. DOI https://doi.org/10.1007/s00530-020-00651-y...
【Java程序员面试专栏 数据结构】三 高频面试算法题：栈和队列
一轮的算法训练完成后，对相关的题目有了一个初步理解了，接下来进行专题训练，以下这些题目就是汇总的高频题目，因为栈和队列这两哥们结构特性比较向对应，所以放到一篇Blog中集中练习 题目题干直接给出对应博客链接，这里只给出简单思路、代码实现、复杂度分析 题目关键字…...
Python | Conda常用命令
一、介绍 1、Anaconda工具 Anaconda是一个用于数据科学和机器学习的开源软件包管理器和环境管理器。它包含了许多流行的数据科学工具和库，如Python、Jupyter Notebook、numpy、pandas、scikit-learn等，可以帮助用户轻松地管理和安装这些工具和库。Anaco…...
Linux 驱动开发基础知识——APP 怎么读取按键值（十二）
个人名片： 🦁作者简介：学生 🐯个人主页：妄北y 🐧个人QQ：2061314755 🐻个人邮箱：2061314755qq.com 🦉个人WeChat：Vir2021GKBS 🐼本文由…...
【FastAPI】P3 请求与响应
目录 请求路径参数查询参数 响应JSON 响应文本响应返回 Pydantic 模型 在网络通讯中，请求（Request） 与 响应（Response） 扮演着至关重要的角色，它们构成了客户端与服务器间互动的根本理念。 请求࿰…...
Python学习-流程图、分支与循环（branch and loop）
十、流程图 1、流程图（Flowchart） 流程图是一种用于表示算法或代码流程的框图组合，它以不同类型的框框代表不同种类的程序步骤，每两个步骤之间以箭头连接起来。 好处： 1）代码的指导文档 2）有助…...
Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？
Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？ 在 Golang 的面试中，map 类型的使用是一个常见的考点，其中对 key 类型的合法性 是一道常被提及的基础却很容易被忽视的问题。本文将带你深入理解 Golang 中…...
ssc377d修改flash分区大小
1、flash的分区默认分配16M、 / # df -h Filesystem Size Used Available Use% Mounted on /dev/root 1.9M 1.9M 0 100% / /dev/mtdblock4 3.0M...
鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院查看报告小程序
一、开发环境准备 工具安装： 下载安装DevEco Studio 4.0（支持HarmonyOS 5）配置HarmonyOS SDK 5.0确保Node.js版本≥14 项目初始化： ohpm init harmony/hospital-report-app 二、核心功能模块实现 1. 报告列表…...
DBAPI如何优雅的获取单条数据
API如何优雅的获取单条数据 案例一 对于查询类API，查询的是单条数据，比如根据主键ID查询用户信息，sql如下： select id, name, age from user where id #{id}API默认返回的数据格式是多条的，如下： {&qu…...
leetcodeSQL解题：3564. 季节性销售分析
leetcodeSQL解题：3564. 季节性销售分析 题目： 表：sales ---------------------- | Column Name | Type | ---------------------- | sale_id | int | | product_id | int | | sale_date | date | | quantity | int | | price | decimal | -…...
C# SqlSugar：依赖注入与仓储模式实践
C# SqlSugar：依赖注入与仓储模式实践 在 C# 的应用开发中，数据库操作是必不可少的环节。为了让数据访问层更加简洁、高效且易于维护，许多开发者会选择成熟的 ORM（对象关系映射）框架，SqlSugar 就是其中备受…...
Maven 概述、安装、配置、仓库、私服详解
目录 1、Maven 概述 1.1 Maven 的定义 1.2 Maven 解决的问题 1.3 Maven 的核心特性与优势 2、Maven 安装 2.1 下载 Maven 2.2 安装配置 Maven 2.3 测试安装 2.4 修改 Maven 本地仓库的默认路径 3、Maven 配置 3.1 配置本地仓库 3.2 配置 JDK 3.3 IDEA 配置本地 Ma…...
Web 架构之 CDN 加速原理与落地实践
文章目录 一、思维导图二、正文内容（一）CDN 基础概念1. 定义2. 组成部分 （二）CDN 加速原理1. 请求路由2. 内容缓存3. 内容更新 （三）CDN 落地实践1. 选择 CDN 服务商2. 配置 CDN3. 集成到 Web 架构 …...
高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数
高效线程安全的单例模式：Python 中的懒加载与自定义初始化参数 在软件开发中，单例模式（Singleton Pattern）是一种常见的设计模式，确保一个类仅有一个实例，并提供一个全局访问点。在多线程环境下，实现单例模式时需要注意线程安全问题，以防止多个线程同时创建实例，导致…...
淘宝扭蛋机小程序系统开发：打造互动性强的购物平台
淘宝扭蛋机小程序系统的开发，旨在打造一个互动性强的购物平台，让用户在购物的同时，能够享受到更多的乐趣和惊喜。 淘宝扭蛋机小程序系统拥有丰富的互动功能。用户可以通过虚拟摇杆操作扭蛋机，实现旋转、抽拉等动作，增…...