Apache Hive
目录
数据仓库（DW）
SQL语法分类
Hive 和Hadoop之间的关系（底层是Hadoop Hive将SQL转换为MapReduce）
为什么使用Hive
使用Hadoop MapReduce直接处理数据所面临的问题
使用Hive处理数据的好处
对Hive的理解
Apache Hive--架构图
组件用户接口
元数据存储
Driver驱动程序、包括语法解析器、计划编译器、优化器、执行器
执行引擎
数据仓库（DW）
用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成数据环境。
数仓主要特征
1.面向主题
2.集成性（ETL抽取、转换、加载）
3.非易失性
4.时变性
SQL语法分类
数据定义语言（DDL）和数据操（DML）
DDL语言是我们创建或删除表
CREATE DATABASE -
CREATE TABLE
DML语法进行数据插入、更新、删除、查询
SELETE UPDATE DELETE INSERT
结构化数据是由二维表结构来逻辑表达和实现的数据
Hive 和Hadoop之间的关系（底层是Hadoop Hive将SQL转换为MapReduce）
Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以在存储Hadoop文件中的结构化、半结构化数据映射为一张数据库表，称为HQL语言
Hive核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop集群执行
Hive由FaceBook实现开源
为什么使用Hive
使用Hadoop MapReduce直接处理数据所面临的问题
1.人员学习成本高、需要掌握java语言
2.MapReduce实现复杂查询逻辑开发难度大
使用Hive处理数据的好处
1.操作接口采用SQL语法、提供快速开发的能力（简单容易上手）
2、避免直接写MapReduce,减少开发人员的学习成本
3.支持自定义函数、功能扩展很方便
4.背靠Hadoop，擅长存储分析海量数据
对Hive的理解
1.Hive能将数据文件映射成为一张表、这个映射是指什么？
文件和表之间的对应关系
2.Hive软件本身承担了什么功能职责
将SQL语法转换成MapReduce
Apache Hive--架构图
组件用户接口
包括CLI、JDBC/ODBC。其中，CLI为shell命令行；Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC协议，WebGUI是通过浏览器访问Hive
元数据存储
映射关系
Driver驱动程序、包括语法解析器、计划编译器、优化器、执行器
完成HQL查询语句从语法分析、编译、优化以及查询计划生成。生成计划存储在HDFS中，并在随后有执行的引擎调用
执行引擎
HIve本身不直接处理数据文件 MapReduce、Tez、Spark
相关文章：
Apache Hive
目录 数据仓库（DW） SQL语法分类 Hive 和Hadoop之间的关系（底层是Hadoop Hive将SQL转换为MapReduce） 为什么使用Hive 使用Hadoop MapReduce直接处理数据所面临的问题 使用Hive处理数据的好处 对Hive的理解 A…...
[idea]关于idea开发乱码的配置
在JAVA开发中，一般统一设置为UTF-8的编码，包括但不限于开发工具、日志架构、虚拟机、文件编码等。常见配置如下： 1、IDEA工具 在idea64.exe.vmoptions、idea.exe.vmoptions中添加： -Dfile.encodingUTF-8 2、JAVA 运行在window…...
比较一个结构分割平面的两种方式
在8*8的范围内，差值结构4a81把空间分割成4个部分， 31 31 31 27 27 31 31 31 31 31 31 27 27 31 31 31 9 9 9 1 1 9 9 9 9 9 9 1 1 9 9 9 9 9 9 1 1 9 9 9 9 9 9 1 1 9 9 9 31 31 31 27 27 31 31 …...
学习笔记二十九：K8S配置管理中心Configmap实现微服务配置管理
Configmap概述 Configmap概述Configmap能解决哪些问题？Configmap应用场景局限性 Configmap创建方法命令行直接创建通过文件创建指定目录创建configmap 编写configmap资源清单YAML文件使用Configmap通过环境变量引入：使用configMapKeyRef通过环境变量引入…...
AITO问界崛起的“临门一脚”，落在了赛力斯汽车的智慧工厂里
文 | 智能相对论 作者 | 沈浪 AITO问界新M7的销量爆了，口碑也紧接着“爆”了。 AITO问界新M7系列上市以来50天，累计大定突破8万辆。AITO问界M9预计今年12月上市，预订超过了1.5万辆。根据最新公布的产销数据，在过去的10月份&…...
影视企业有哪些方式将视频文件快速海外跨国传输国内？
影视行业是一个高度国际化的行业，影视企业在跨国合作、制作、发行等方面有着强烈的需求。然而，影视企业在跨国文件传输方面也面临着诸多的问题和难题。视频文件通常具有较大的文件大小、多样的文件格式、高要求的文件质量等特点，这些特点使得…...
Android原生分享与指定app分享
什么是 Android 系统的原生分享呢，如下图所示 创建一个 Intent ，指定其 Action 为 Intent.ACTION_SEND，这表示要创建一个发送指定内容的行动。 Intent sendIntent new Intent(); sendIntent.setAction(Intent.ACTION_SEND); 指定需要发送的…...
ActiveMQ是什么？-九五小庞
MQ是消息中间件，是一种在分布式系统中应用程序借以传递消息的媒介，常用的有ActiveMQ，RabbitMQ，kafka。ActiveMQ是Apache下的开源项目，完全支持JMS1.1和J2EE1.4规范的JMS Provider实现。特点：1、支持多种语言…...
＜蓝桥杯软件赛＞零基础备赛20周--第4周--杂题-1
报名明年4月蓝桥杯软件赛的同学们，如果你是大一零基础，目前懵懂中，不知该怎么办，可以看看本博客系列：备赛20周合集 20周的完整安排请点击：20周计划 每周发1个博客，共20周（读者可以按…...
Telnet/ssh/Serial远程工具WindTerm
Telnet/ssh/Serial远程工具WindTerm 一、WindTerm 概述二、WindTerm 下载 一、WindTerm 概述 在远程终端工具中，secureCrt 和 XShell 是两款比较有名的远程工具，但收费。上一篇文章就介绍了一款免费软件MobaXterm，但菜单都是英文的࿰…...
电脑技巧：台式机噪音非常大的几个原因以及解决办法
目录 一、CPU风扇灰尘太厚、风扇轴承老化 二、电源风扇有灰尘或者老化 三、显卡风扇有灰尘或者老化 四、硬盘老化导致的电脑主机声音大 五、台式机CPU风扇声音过大 今天小编给大家分享台式机噪音非常大的几个原因以及解决办法，值得收藏！ 一、CPU风…...
C++名称空间
名称空间只是用来对名称进行管理的一种方式，首先要了解一下传统C名称空间。 1.声明区域:声明区域是指可以在其中声明的区域，例如可以在函数外部声明全局变量(区域为所在的文件)，在函数块内声明局部变量(区域为所在的块)，其声明区域…...
Centos7扩容
Centos7扩容 保证虚拟机关机且没有快照的情况下按照下图进行操作： 设置好后开机，查看分区情况： [rootlocalhost ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/centos-root 17G 12G 5.4G 69% / …...
)
react中ref的使用(useRef,forwardRef,useImperativeHandle,createRef)
文章目录 一、什么是ref二、在函数式组件中使用ref1. useRef 获取dom2. forwardRef获取子组件的dom3. useImperativeHandle将某些指定的行为暴露给父组件 三、在类组件中使用ref1. createRef2. 回调函数3. 字符串 一、什么是ref 在React中，ref是一个用于访问真实DO…...
正点原子嵌入式linux驱动开发——Linux USB驱动
USB是很常用的接口，目前大多数的设备都是USB接口的，比如鼠标、键盘、USB摄像 头等，在实际开发中也常常遇到USB接口的设备，本章就来学习一下如何使能Linux内核自带的USB驱动。这里不会具体学习USB的驱动开发。 USB接口简介 什么是…...
(四)docker：为mysql和java jar运行环境创建同一网络，容器互联
看了很多资料，说做互联的一个原因是容器内ip不固定，关掉重启后如果有别的容器启动，之前的ip会被占用，所以做互联创建一个网络，让几个容器处于同一个网络，就可以互联还不受关闭再启动ip会改变的影响…...
【kafka】记一次kafka基于linux的原生命令的使用
环境是linux，4台机器，版本3.6，kafka安装在node 1 2 3 上，zookeeper安装在node2 3 4上。 安装好kafka，进入bin目录，可以看到有很多sh文件，是我们执行命令的基础。 启动kafka，下面的…...
C语言或C++结构体及其变量的创建方式汇总
第一种： struct 结构体类型名{ 任意类型 变量； }; 结构体类型名 *结构体变量new 结构体类型名; #include<bits/stdc.h> using namespace std; struct LNode {int data;struct LNode *next; }; /*void PutElem(LNode *t){while(t->next!NULL){…...
mysql之基础语句
数据库的列类型 int：整型 用于定义整数类型的数据 float：单精度浮点4字节32位 准确表示到小数点后六位 double：双精度浮点8字节64位 char：固定长度的字符类 用于定义字符类型数据&…...
Sentinel 哨兵数据 更新下载地址 2023年11月
1. 欧空局官方下载 2023年11月开始，原来欧空局的下载地址和应用有了变化，现在迁移到以下新地址下载： https://dataspace.copernicus.eu/ 我这边测试需要重新注册用户才能进行登录和使用，界面使用和之前差不多，具体操作…...
设计模式和设计原则回顾
设计模式和设计原则回顾 23种设计模式是设计原则的完美体现，设计原则设计原则是设计模式的理论基石， 设计模式 在经典的设计模式分类中（如《设计模式：可复用面向对象软件的基础》一书中），总共有23种设计模式，分为三大类： 一、创建型模式（5种） 1. 单例模式（Sing…...
TDengine 快速体验（Docker 镜像方式）
简介 TDengine 可以通过安装包、Docker 镜像 及云服务快速体验 TDengine 的功能，本节首先介绍如何通过 Docker 快速体验 TDengine，然后介绍如何在 Docker 环境下体验 TDengine 的写入和查询功能。如果你不熟悉 Docker，请使用 安装包的方式快…...
Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？
Golang 面试经典题：map 的 key 可以是什么类型？哪些不可以？ 在 Golang 的面试中，map 类型的使用是一个常见的考点，其中对 key 类型的合法性 是一道常被提及的基础却很容易被忽视的问题。本文将带你深入理解 Golang 中…...
从WWDC看苹果产品发展的规律
WWDC 是苹果公司一年一度面向全球开发者的盛会，其主题演讲展现了苹果在产品设计、技术路线、用户体验和生态系统构建上的核心理念与演进脉络。我们借助 ChatGPT Deep Research 工具，对过去十年 WWDC 主题演讲内容进行了系统化分析，形成了这份…...
线程与协程
1. 线程与协程 1.1. “函数调用级别”的切换、上下文切换 1. 函数调用级别的切换 “函数调用级别的切换”是指：像函数调用/返回一样轻量地完成任务切换。 举例说明： 当你在程序中写一个函数调用： funcA() 然后 funcA 执行完后返回&…...
Opencv中的addweighted函数
一.addweighted函数作用 addweighted（）是OpenCV库中用于图像处理的函数，主要功能是将两个输入图像（尺寸和类型相同）按照指定的权重进行加权叠加（图像融合），并添加一个标量值&#x…...
MVC 数据库
MVC 数据库 引言 在软件开发领域，Model-View-Controller（MVC）是一种流行的软件架构模式，它将应用程序分为三个核心组件：模型（Model）、视图（View）和控制器（Controller）。这种模式有助于提高代码的可维护性和可扩展性。本文将深入探讨MVC架构与数据库之间的关系，以…...
Java多线程实现之Callable接口深度解析
Java多线程实现之Callable接口深度解析 一、Callable接口概述1.1 接口定义1.2 与Runnable接口的对比1.3 Future接口与FutureTask类 二、Callable接口的基本使用方法2.1 传统方式实现Callable接口2.2 使用Lambda表达式简化Callable实现2.3 使用FutureTask类执行Callable任务 三、…...
P3 QT项目----记事本（3.8）
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...
Unit 1 深度强化学习简介
Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库，例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体，比如 SnowballFight、Huggy the Do…...