Apache Hive
目录
数据仓库（DW）
SQL语法分类
Hive 和Hadoop之间的关系（底层是Hadoop Hive将SQL转换为MapReduce）
为什么使用Hive
使用Hadoop MapReduce直接处理数据所面临的问题
使用Hive处理数据的好处
对Hive的理解
Apache Hive--架构图
组件用户接口
元数据存储
Driver驱动程序、包括语法解析器、计划编译器、优化器、执行器
执行引擎
数据仓库（DW）
用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成数据环境。
数仓主要特征
1.面向主题
2.集成性（ETL抽取、转换、加载）
3.非易失性
4.时变性
SQL语法分类
数据定义语言（DDL）和数据操（DML）
DDL语言是我们创建或删除表
CREATE DATABASE -
CREATE TABLE
DML语法进行数据插入、更新、删除、查询
SELETE UPDATE DELETE INSERT
结构化数据是由二维表结构来逻辑表达和实现的数据
Hive 和Hadoop之间的关系（底层是Hadoop Hive将SQL转换为MapReduce）
Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以在存储Hadoop文件中的结构化、半结构化数据映射为一张数据库表，称为HQL语言
Hive核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop集群执行
Hive由FaceBook实现开源
为什么使用Hive
使用Hadoop MapReduce直接处理数据所面临的问题
1.人员学习成本高、需要掌握java语言
2.MapReduce实现复杂查询逻辑开发难度大
使用Hive处理数据的好处
1.操作接口采用SQL语法、提供快速开发的能力（简单容易上手）
2、避免直接写MapReduce,减少开发人员的学习成本
3.支持自定义函数、功能扩展很方便
4.背靠Hadoop，擅长存储分析海量数据
对Hive的理解
1.Hive能将数据文件映射成为一张表、这个映射是指什么？
文件和表之间的对应关系
2.Hive软件本身承担了什么功能职责
将SQL语法转换成MapReduce
Apache Hive--架构图
组件用户接口
包括CLI、JDBC/ODBC。其中，CLI为shell命令行；Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC协议，WebGUI是通过浏览器访问Hive
元数据存储
映射关系
Driver驱动程序、包括语法解析器、计划编译器、优化器、执行器
完成HQL查询语句从语法分析、编译、优化以及查询计划生成。生成计划存储在HDFS中，并在随后有执行的引擎调用
执行引擎
HIve本身不直接处理数据文件 MapReduce、Tez、Spark
相关文章：
Apache Hive
目录 数据仓库（DW） SQL语法分类 Hive 和Hadoop之间的关系（底层是Hadoop Hive将SQL转换为MapReduce） 为什么使用Hive 使用Hadoop MapReduce直接处理数据所面临的问题 使用Hive处理数据的好处 对Hive的理解 A…...
[idea]关于idea开发乱码的配置
在JAVA开发中，一般统一设置为UTF-8的编码，包括但不限于开发工具、日志架构、虚拟机、文件编码等。常见配置如下： 1、IDEA工具 在idea64.exe.vmoptions、idea.exe.vmoptions中添加： -Dfile.encodingUTF-8 2、JAVA 运行在window…...
比较一个结构分割平面的两种方式
在8*8的范围内，差值结构4a81把空间分割成4个部分， 31 31 31 27 27 31 31 31 31 31 31 27 27 31 31 31 9 9 9 1 1 9 9 9 9 9 9 1 1 9 9 9 9 9 9 1 1 9 9 9 9 9 9 1 1 9 9 9 31 31 31 27 27 31 31 …...
学习笔记二十九：K8S配置管理中心Configmap实现微服务配置管理
Configmap概述 Configmap概述Configmap能解决哪些问题？Configmap应用场景局限性 Configmap创建方法命令行直接创建通过文件创建指定目录创建configmap 编写configmap资源清单YAML文件使用Configmap通过环境变量引入：使用configMapKeyRef通过环境变量引入…...
AITO问界崛起的“临门一脚”，落在了赛力斯汽车的智慧工厂里
文 | 智能相对论 作者 | 沈浪 AITO问界新M7的销量爆了，口碑也紧接着“爆”了。 AITO问界新M7系列上市以来50天，累计大定突破8万辆。AITO问界M9预计今年12月上市，预订超过了1.5万辆。根据最新公布的产销数据，在过去的10月份&…...
影视企业有哪些方式将视频文件快速海外跨国传输国内？
影视行业是一个高度国际化的行业，影视企业在跨国合作、制作、发行等方面有着强烈的需求。然而，影视企业在跨国文件传输方面也面临着诸多的问题和难题。视频文件通常具有较大的文件大小、多样的文件格式、高要求的文件质量等特点，这些特点使得…...
Android原生分享与指定app分享
什么是 Android 系统的原生分享呢，如下图所示 创建一个 Intent ，指定其 Action 为 Intent.ACTION_SEND，这表示要创建一个发送指定内容的行动。 Intent sendIntent new Intent(); sendIntent.setAction(Intent.ACTION_SEND); 指定需要发送的…...
ActiveMQ是什么？-九五小庞
MQ是消息中间件，是一种在分布式系统中应用程序借以传递消息的媒介，常用的有ActiveMQ，RabbitMQ，kafka。ActiveMQ是Apache下的开源项目，完全支持JMS1.1和J2EE1.4规范的JMS Provider实现。特点：1、支持多种语言…...
＜蓝桥杯软件赛＞零基础备赛20周--第4周--杂题-1
报名明年4月蓝桥杯软件赛的同学们，如果你是大一零基础，目前懵懂中，不知该怎么办，可以看看本博客系列：备赛20周合集 20周的完整安排请点击：20周计划 每周发1个博客，共20周（读者可以按…...
Telnet/ssh/Serial远程工具WindTerm
Telnet/ssh/Serial远程工具WindTerm 一、WindTerm 概述二、WindTerm 下载 一、WindTerm 概述 在远程终端工具中，secureCrt 和 XShell 是两款比较有名的远程工具，但收费。上一篇文章就介绍了一款免费软件MobaXterm，但菜单都是英文的࿰…...
电脑技巧：台式机噪音非常大的几个原因以及解决办法
目录 一、CPU风扇灰尘太厚、风扇轴承老化 二、电源风扇有灰尘或者老化 三、显卡风扇有灰尘或者老化 四、硬盘老化导致的电脑主机声音大 五、台式机CPU风扇声音过大 今天小编给大家分享台式机噪音非常大的几个原因以及解决办法，值得收藏！ 一、CPU风…...
C++名称空间
名称空间只是用来对名称进行管理的一种方式，首先要了解一下传统C名称空间。 1.声明区域:声明区域是指可以在其中声明的区域，例如可以在函数外部声明全局变量(区域为所在的文件)，在函数块内声明局部变量(区域为所在的块)，其声明区域…...
Centos7扩容
Centos7扩容 保证虚拟机关机且没有快照的情况下按照下图进行操作： 设置好后开机，查看分区情况： [rootlocalhost ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/centos-root 17G 12G 5.4G 69% / …...
)
react中ref的使用(useRef,forwardRef,useImperativeHandle,createRef)
文章目录 一、什么是ref二、在函数式组件中使用ref1. useRef 获取dom2. forwardRef获取子组件的dom3. useImperativeHandle将某些指定的行为暴露给父组件 三、在类组件中使用ref1. createRef2. 回调函数3. 字符串 一、什么是ref 在React中，ref是一个用于访问真实DO…...
正点原子嵌入式linux驱动开发——Linux USB驱动
USB是很常用的接口，目前大多数的设备都是USB接口的，比如鼠标、键盘、USB摄像 头等，在实际开发中也常常遇到USB接口的设备，本章就来学习一下如何使能Linux内核自带的USB驱动。这里不会具体学习USB的驱动开发。 USB接口简介 什么是…...
(四)docker：为mysql和java jar运行环境创建同一网络，容器互联
看了很多资料，说做互联的一个原因是容器内ip不固定，关掉重启后如果有别的容器启动，之前的ip会被占用，所以做互联创建一个网络，让几个容器处于同一个网络，就可以互联还不受关闭再启动ip会改变的影响…...
【kafka】记一次kafka基于linux的原生命令的使用
环境是linux，4台机器，版本3.6，kafka安装在node 1 2 3 上，zookeeper安装在node2 3 4上。 安装好kafka，进入bin目录，可以看到有很多sh文件，是我们执行命令的基础。 启动kafka，下面的…...
C语言或C++结构体及其变量的创建方式汇总
第一种： struct 结构体类型名{ 任意类型 变量； }; 结构体类型名 *结构体变量new 结构体类型名; #include<bits/stdc.h> using namespace std; struct LNode {int data;struct LNode *next; }; /*void PutElem(LNode *t){while(t->next!NULL){…...
mysql之基础语句
数据库的列类型 int：整型 用于定义整数类型的数据 float：单精度浮点4字节32位 准确表示到小数点后六位 double：双精度浮点8字节64位 char：固定长度的字符类 用于定义字符类型数据&…...
Sentinel 哨兵数据 更新下载地址 2023年11月
1. 欧空局官方下载 2023年11月开始，原来欧空局的下载地址和应用有了变化，现在迁移到以下新地址下载： https://dataspace.copernicus.eu/ 我这边测试需要重新注册用户才能进行登录和使用，界面使用和之前差不多，具体操作…...
Linux应用开发之网络套接字编程(实例篇)
服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …...
简易版抽奖活动的设计技术方案
1.前言 本技术方案旨在设计一套完整且可靠的抽奖活动逻辑，确保抽奖活动能够公平、公正、公开地进行，同时满足高并发访问、数据安全存储与高效处理等需求，为用户提供流畅的抽奖体验，助力业务顺利开展。本方案将涵盖抽奖活动的整体架构设计、核心流程逻辑、关键功能实现以及…...
React hook之useRef
React useRef 详解 useRef 是 React 提供的一个 Hook，用于在函数组件中创建可变的引用对象。它在 React 开发中有多种重要用途，下面我将全面详细地介绍它的特性和用法。 基本概念 1. 创建 ref const refContainer useRef(initialValue);initialValu…...
【Oracle APEX开发小技巧12】
有如下需求： 有一个问题反馈页面，要实现在apex页面展示能直观看到反馈时间超过7天未处理的数据，方便管理员及时处理反馈。 我的方法：直接将逻辑写在SQL中，这样可以直接在页面展示 完整代码： SELECTSF.FE…...
STM32+rt-thread判断是否联网
一、根据NETDEV_FLAG_INTERNET_UP位判断 static bool is_conncected(void) {struct netdev *dev RT_NULL;dev netdev_get_first_by_flags(NETDEV_FLAG_INTERNET_UP);if (dev RT_NULL){printf("wait netdev internet up...");return false;}else{printf("loc…...
页面渲染流程与性能优化
页面渲染流程与性能优化详解（完整版） 一、现代浏览器渲染流程（详细说明） 1. 构建DOM树 浏览器接收到HTML文档后，会逐步解析并构建DOM（Document Object Model）树。具体过程如下： (…...
Spring Boot+Neo4j知识图谱实战：3步搭建智能关系网络！
一、引言 在数据驱动的背景下，知识图谱凭借其高效的信息组织能力，正逐步成为各行业应用的关键技术。本文聚焦 Spring Boot与Neo4j图数据库的技术结合，探讨知识图谱开发的实现细节，帮助读者掌握该技术栈在实际项目中的落地方法。 …...
selenium学习实战【Python爬虫】
selenium学习实战【Python爬虫】 文章目录 selenium学习实战【Python爬虫】一、声明二、学习目标三、安装依赖3.1 安装selenium库3.2 安装浏览器驱动3.2.1 查看Edge版本3.2.2 驱动安装 四、代码讲解4.1 配置浏览器4.2 加载更多4.3 寻找内容4.4 完整代码 五、报告文件爬取5.1 提…...
CMake控制VS2022项目文件分组
我们可以通过 CMake 控制源文件的组织结构，使它们在 VS 解决方案资源管理器中以“组”（Filter）的形式进行分类展示。 🎯 目标 通过 CMake 脚本将 .cpp、.h 等源文件分组显示在 Visual Studio 2022 的解决方案资源管理器中。 ✅ 支持的方法汇总（共4种） 方法描述是否推荐…...
Netty从入门到进阶（二）
二、Netty入门 1. 概述 1.1 Netty是什么 Netty is an asynchronous event-driven network application framework for rapid development of maintainable high performance protocol servers & clients. Netty是一个异步的、基于事件驱动的网络应用框架，用于…...