Apache Hive
目录
数据仓库（DW）
SQL语法分类
Hive 和Hadoop之间的关系（底层是Hadoop Hive将SQL转换为MapReduce）
为什么使用Hive
使用Hadoop MapReduce直接处理数据所面临的问题
使用Hive处理数据的好处
对Hive的理解
Apache Hive--架构图
组件用户接口
元数据存储
Driver驱动程序、包括语法解析器、计划编译器、优化器、执行器
执行引擎
数据仓库（DW）
用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成数据环境。
数仓主要特征
1.面向主题
2.集成性（ETL抽取、转换、加载）
3.非易失性
4.时变性
SQL语法分类
数据定义语言（DDL）和数据操（DML）
DDL语言是我们创建或删除表
CREATE DATABASE -
CREATE TABLE
DML语法进行数据插入、更新、删除、查询
SELETE UPDATE DELETE INSERT
结构化数据是由二维表结构来逻辑表达和实现的数据
Hive 和Hadoop之间的关系（底层是Hadoop Hive将SQL转换为MapReduce）
Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以在存储Hadoop文件中的结构化、半结构化数据映射为一张数据库表，称为HQL语言
Hive核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop集群执行
Hive由FaceBook实现开源
为什么使用Hive
使用Hadoop MapReduce直接处理数据所面临的问题
1.人员学习成本高、需要掌握java语言
2.MapReduce实现复杂查询逻辑开发难度大
使用Hive处理数据的好处
1.操作接口采用SQL语法、提供快速开发的能力（简单容易上手）
2、避免直接写MapReduce,减少开发人员的学习成本
3.支持自定义函数、功能扩展很方便
4.背靠Hadoop，擅长存储分析海量数据
对Hive的理解
1.Hive能将数据文件映射成为一张表、这个映射是指什么？
文件和表之间的对应关系
2.Hive软件本身承担了什么功能职责
将SQL语法转换成MapReduce
Apache Hive--架构图
组件用户接口
包括CLI、JDBC/ODBC。其中，CLI为shell命令行；Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC协议，WebGUI是通过浏览器访问Hive
元数据存储
映射关系
Driver驱动程序、包括语法解析器、计划编译器、优化器、执行器
完成HQL查询语句从语法分析、编译、优化以及查询计划生成。生成计划存储在HDFS中，并在随后有执行的引擎调用
执行引擎
HIve本身不直接处理数据文件 MapReduce、Tez、Spark
相关文章：
Apache Hive
目录 数据仓库（DW） SQL语法分类 Hive 和Hadoop之间的关系（底层是Hadoop Hive将SQL转换为MapReduce） 为什么使用Hive 使用Hadoop MapReduce直接处理数据所面临的问题 使用Hive处理数据的好处 对Hive的理解 A…...
[idea]关于idea开发乱码的配置
在JAVA开发中，一般统一设置为UTF-8的编码，包括但不限于开发工具、日志架构、虚拟机、文件编码等。常见配置如下： 1、IDEA工具 在idea64.exe.vmoptions、idea.exe.vmoptions中添加： -Dfile.encodingUTF-8 2、JAVA 运行在window…...
比较一个结构分割平面的两种方式
在8*8的范围内，差值结构4a81把空间分割成4个部分， 31 31 31 27 27 31 31 31 31 31 31 27 27 31 31 31 9 9 9 1 1 9 9 9 9 9 9 1 1 9 9 9 9 9 9 1 1 9 9 9 9 9 9 1 1 9 9 9 31 31 31 27 27 31 31 …...
学习笔记二十九：K8S配置管理中心Configmap实现微服务配置管理
Configmap概述 Configmap概述Configmap能解决哪些问题？Configmap应用场景局限性 Configmap创建方法命令行直接创建通过文件创建指定目录创建configmap 编写configmap资源清单YAML文件使用Configmap通过环境变量引入：使用configMapKeyRef通过环境变量引入…...
AITO问界崛起的“临门一脚”，落在了赛力斯汽车的智慧工厂里
文 | 智能相对论 作者 | 沈浪 AITO问界新M7的销量爆了，口碑也紧接着“爆”了。 AITO问界新M7系列上市以来50天，累计大定突破8万辆。AITO问界M9预计今年12月上市，预订超过了1.5万辆。根据最新公布的产销数据，在过去的10月份&…...
影视企业有哪些方式将视频文件快速海外跨国传输国内？
影视行业是一个高度国际化的行业，影视企业在跨国合作、制作、发行等方面有着强烈的需求。然而，影视企业在跨国文件传输方面也面临着诸多的问题和难题。视频文件通常具有较大的文件大小、多样的文件格式、高要求的文件质量等特点，这些特点使得…...
Android原生分享与指定app分享
什么是 Android 系统的原生分享呢，如下图所示 创建一个 Intent ，指定其 Action 为 Intent.ACTION_SEND，这表示要创建一个发送指定内容的行动。 Intent sendIntent new Intent(); sendIntent.setAction(Intent.ACTION_SEND); 指定需要发送的…...
ActiveMQ是什么？-九五小庞
MQ是消息中间件，是一种在分布式系统中应用程序借以传递消息的媒介，常用的有ActiveMQ，RabbitMQ，kafka。ActiveMQ是Apache下的开源项目，完全支持JMS1.1和J2EE1.4规范的JMS Provider实现。特点：1、支持多种语言…...
＜蓝桥杯软件赛＞零基础备赛20周--第4周--杂题-1
报名明年4月蓝桥杯软件赛的同学们，如果你是大一零基础，目前懵懂中，不知该怎么办，可以看看本博客系列：备赛20周合集 20周的完整安排请点击：20周计划 每周发1个博客，共20周（读者可以按…...
Telnet/ssh/Serial远程工具WindTerm
Telnet/ssh/Serial远程工具WindTerm 一、WindTerm 概述二、WindTerm 下载 一、WindTerm 概述 在远程终端工具中，secureCrt 和 XShell 是两款比较有名的远程工具，但收费。上一篇文章就介绍了一款免费软件MobaXterm，但菜单都是英文的࿰…...
电脑技巧：台式机噪音非常大的几个原因以及解决办法
目录 一、CPU风扇灰尘太厚、风扇轴承老化 二、电源风扇有灰尘或者老化 三、显卡风扇有灰尘或者老化 四、硬盘老化导致的电脑主机声音大 五、台式机CPU风扇声音过大 今天小编给大家分享台式机噪音非常大的几个原因以及解决办法，值得收藏！ 一、CPU风…...
C++名称空间
名称空间只是用来对名称进行管理的一种方式，首先要了解一下传统C名称空间。 1.声明区域:声明区域是指可以在其中声明的区域，例如可以在函数外部声明全局变量(区域为所在的文件)，在函数块内声明局部变量(区域为所在的块)，其声明区域…...
Centos7扩容
Centos7扩容 保证虚拟机关机且没有快照的情况下按照下图进行操作： 设置好后开机，查看分区情况： [rootlocalhost ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/centos-root 17G 12G 5.4G 69% / …...
react中ref的使用(useRef,forwardRef,useImperativeHandle,createRef)
文章目录 一、什么是ref二、在函数式组件中使用ref1. useRef 获取dom2. forwardRef获取子组件的dom3. useImperativeHandle将某些指定的行为暴露给父组件 三、在类组件中使用ref1. createRef2. 回调函数3. 字符串 一、什么是ref 在React中，ref是一个用于访问真实DO…...
正点原子嵌入式linux驱动开发——Linux USB驱动
USB是很常用的接口，目前大多数的设备都是USB接口的，比如鼠标、键盘、USB摄像 头等，在实际开发中也常常遇到USB接口的设备，本章就来学习一下如何使能Linux内核自带的USB驱动。这里不会具体学习USB的驱动开发。 USB接口简介 什么是…...
(四)docker：为mysql和java jar运行环境创建同一网络，容器互联
看了很多资料，说做互联的一个原因是容器内ip不固定，关掉重启后如果有别的容器启动，之前的ip会被占用，所以做互联创建一个网络，让几个容器处于同一个网络，就可以互联还不受关闭再启动ip会改变的影响…...
【kafka】记一次kafka基于linux的原生命令的使用
环境是linux，4台机器，版本3.6，kafka安装在node 1 2 3 上，zookeeper安装在node2 3 4上。 安装好kafka，进入bin目录，可以看到有很多sh文件，是我们执行命令的基础。 启动kafka，下面的…...
C语言或C++结构体及其变量的创建方式汇总
第一种： struct 结构体类型名{ 任意类型 变量； }; 结构体类型名 *结构体变量new 结构体类型名; #include<bits/stdc.h> using namespace std; struct LNode {int data;struct LNode *next; }; /*void PutElem(LNode *t){while(t->next!NULL){…...
mysql之基础语句
数据库的列类型 int：整型 用于定义整数类型的数据 float：单精度浮点4字节32位 准确表示到小数点后六位 double：双精度浮点8字节64位 char：固定长度的字符类 用于定义字符类型数据&…...
Sentinel 哨兵数据 更新下载地址 2023年11月
1. 欧空局官方下载 2023年11月开始，原来欧空局的下载地址和应用有了变化，现在迁移到以下新地址下载： https://dataspace.copernicus.eu/ 我这边测试需要重新注册用户才能进行登录和使用，界面使用和之前差不多，具体操作…...
动态路由协议OSPF项目部署(二)
1. 静态和动态路由的区别； 2. OSPF协议通信过程与部署； 3. OSPF协议在项目上的应用场景 - OSPF - 开放式最短路径优先 - 一个动态路由协议 - 路由器转发数据 - 路由器需要一张地图 - 路由表 - 路由表如何构建的？ - 依靠手动 或…...
winscp文件增量同步到linux服务器
一，点击同步 场景：在做服务器迁移的时候，文件好几十个G一天也迁移不完，每天还有增量的文件，先全量同步一次，然后再用增量同步，然后你用winscp的同步工具，进增量同步。 将本地文件同…...
足足68个！Python函数合集请收好！
内置函数就是python给你提供的, 拿来直接用的函数，比如print.，input等。 #68个内置函数 # abs() dict() help() min() setattr() # all() dir() hex() next() sli…...
vue2.0 打包，nginx部署
1、修改这里为空 否则报错：vue is undefined 2、修改为hash，重点：打包dist文件运行，必须这样 3、安装ngnix，重点：使用node的包：httpserve，失败 4、重点：配置代理转发 前端…...
微服务架构之路1，服务如何拆分？使用微服务的注意事项？
目录 一、前言二、单体服务的弊端三、微服务化四、服务如何拆分？五、使用微服务的注意事项1、服务如何定义2、服务如何发布和订阅3、服务如何监控4、服务如何治理5、故障如何定位 大家好，我是哪吒。 一、前言 微服务已经是Java开发的必备技能ÿ…...
解决Mac电脑音乐显示歌名的乱码问题
最近想听「万能青年旅店」的歌，结果在Mac电脑的「音乐」里面打开后是乱码。 【原因】(求助于chatGPT) 乱码问题可能是由于MP3文件的元数据（比如歌曲名、艺术家、专辑等信息）的编码问题导致的。如果这些信息是用非标准的或者不兼容的字符编码…...
赢在电商设计！2024年最新电商设计实战技巧盘点
双十一、双十二、黑五的电商大促即将轮番将至，电商运营人迎来大忙季，选品、直播、采购入库、售后……各种环节都是影响电商转化的关键因素，而电商设计作为打通这些环节，打造高转化率电商平台的关键要素，能够吸引用户注…...
约数之和 (普通快速幂求逆元做法）
假设现在有两个自然数 A 和 B，S 是 AB 的所有约数之和。 请你求出 Smod9901 的值是多少。 输入格式 在一行中输入用空格隔开的两个整数 A 和 B 。 输出格式 输出一个整数，代表 Smod9901 的值。 数据范围 0≤A,B≤5107 输入样例： …...
每日一题(LeetCode)----二分查找（三）
每日一题(LeetCode)----二分查找（三） 1.题目（69. x 的平方根 ） 给你一个非负整数 x ，计算并返回 x 的 算术平方根 。 由于返回类型是整数，结果只保留 整数部分 ，小数部分将被 舍去 。 **注意…...
使用 TensorFlow FasterRCNN 网络进行目标检测
目录 描述 此示例的工作原理 处理输入图形 数据准备 sampleUffFasterRCNN 插件 验证输出 TensorRT API 层和操作 TensorRT API 层和操作 先决条件 运行示例 示例 --help 选项 附加资源 许可 变更记录 已知问题 本示例，sampleUffFasterRCNN࿰…...