L2 数据仓库和Hive环境配置
1.数据仓库架构
- 数据仓库DW主要是一个用于存储，分析，报告的数据系统。
- 数据仓库的目的是面向分析的集成化数据环境，分析结果为企业提供决策支持。
- -DW不产生和消耗数据
- 结构数据：数据库中数据，CSV文件 直接导入DW
- 非结构数据：基本数据处理后导入DW
针对部门需求可以做不同DW，为一个数据集市，最终目的是做一个数据应用，报表等
数据仓库分层
- 数据仓库分层：针对多种数据表的情况，根据业务场景进行分层融合和合并。
用于报表的数据，每个指标出现了几次 —— 应用层
二、怎么实现数仓 - Hive
- Hive是基于Hadop的DW工具，用来进行数据提取，转化，加载，是一种大规模数据机制。
- Hive数据仓库工作将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
利用Hive可以直接在SQL上层编写语句，通过SQL Parser解析器转换为Java程序。
元数据组件存放映射的表。
Hive特点：
- 适合ETL,报表查询，数据分析等数据仓库任务
- Hive支持运行在不同的计算框架上，MapReduce,Spark等
- 支持Java数据库连接
- 避免编写复杂的MapReduce任务
- 可直接使用Hadoop文件系统中的数据
Hive和Hadoop
- Hive利用HDFS存储数据，MapReduce查询分析数据
- Hadoop是自己实现了上述两种能力。
Hive适应场景
- Hive适用于结构化数据的离线分析
- Hive的执行延迟较高
- Hive适合处理大批量数据
Hive与MySql
- Hive面向分析，MySql面向业务
3.Hive安装
最终直接写SQL语句就行，不要管MapReduce任务
相关文章：
L2 数据仓库和Hive环境配置
1.数据仓库架构 数据仓库DW主要是一个用于存储，分析，报告的数据系统。数据仓库的目的是面向分析的集成化数据环境，分析结果为企业提供决策支持。-DW不产生和消耗数据 结构数据：数据库中数据，CSV文件 直接导入DW非结构…...
【iOS】MVC
文章目录 前言一、MVC各层职责1.1、controller层1.2、model层1.3、view层 二、总结三、优缺点3.1、优点3.2、缺点 四、代码示例 前言 MVC模式的目的是实现一种动态的程序设计，使后续对程序的修改和扩展简化，并且使程序某一部分的重复利用成为可能。除此…...
JavaScript-----jQuery
目录 前言： 1. jQuery介绍 2. 工厂函数 - $() jQuery通过选择器获取元素，$("选择器") 过滤选择器，需要结合其他选择器使用。 3.操作元素内容 4. 操作标签属性 5. 操作标签样式 6. 元素的创建,添加,删除 7.数据与对象遍历…...
Stream流
Stream操作流 在Java 8中，得益于Lambda所带来的函数式编程，引入了一个全新的Stream概念，用于解决已有集合类库既有的弊端。 1.1 集合的迭代 几乎所有的集合（如 Collection 接口或 Map 接口等）都支持直接或间接的迭代…...
javaee spring 声明式事务管理方式2 注解方式
spring配置文件 <?xml version"1.0" encoding"UTF-8"?> <beans xmlns"http://www.springframework.org/schema/beans"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xmlns:context"http://www.springframewo…...
基于SpringBoot+微信小程序的智慧医疗线上预约问诊小程序
✌全网粉丝20W,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取项目下载方式🍅 一、项目背景介绍： 近年来，随…...
注意力机制讲解与代码解析
一、SEBlock(通道注意力机制) 先在H*W维度进行压缩，全局平均池化将每个通道平均为一个值。 （B, C, H, W）---- (B, C, 1, 1) 利用各channel维度的相关性计算权重 (B, C, 1, 1) --- (B, C//K, 1, 1) --- (B, C, 1, 1) --- sigmoid 与原特征相…...
微调 TrOCR – 训练 TrOCR 识别弯曲文本
TrOCR（基于 Transformer 的光学字符识别）模型是性能最佳的 OCR 模型之一。在我们之前的文章中，我们分析了它们在单行打印和手写文本上的表现。然而，与任何其他深度学习模型一样，它们也有其局限性。TrOCR 在处理开箱即用的弯曲文本时表现不佳。本文将通过在弯曲文本数据集上…...
Jetsonnano B01 笔记7：Mediapipe与人脸手势识别
今日继续我的Jetsonnano学习之路，今日学习安装使用的是：MediaPipe 一款开源的多媒体机器学习模型应用框架。可在移动设备、工作站和服务 器上跨平台运行，并支持移动 GPU 加速。 介绍与程序搬运官方，只是自己的学习记录笔记&am…...
vue学习之v-if/v-else/v-else-if
v-else/v-else-if 创建 demo7.html,内容如下 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Docum…...
ansible的安装和简单的块使用
目录 一、概述 二、安装 1、选择源 2、安装ansible 3、模块查看 三、实验 1、拓扑编辑 2、设置组、ping模块 3、hostname模块 4、file模块 编辑 5、stat模块 6、copy模块（本地拷贝到远程） 7、fetch模块与copy模块类似，但作用…...
Android 状态栏显示运营商名称
Android 原生设计中在锁屏界面会显示运营商名称，用户界面中，大概是基于 icon 数量长度显示考虑，对运营商名称不作显示。但是国内基本都加上运营商名称。对图标显示长度优化基本都是：缩小运营商字体、限制字数长度、信号图标压缩上…...
10.Xaml ListBox控件
1.运行界面 2.运行源码 a.Xaml 源码 <Grid Name="Grid1"><!--IsSelected="True" 表示选中--><ListBox x:Name="listBo...
基于vue3和element-plus的省市区级联组件
git地址：https://github.com/ht-sauce/elui-china-area-dht 使用:npm i elui-china-area-dht 默认使用 使用方法 <template><div class"app"><!--默认使用--><elui-china-area-dht change"onChange"></elui-china…...
Paper: 利用RNN来提取恶意软件家族的API调用模式
论文 摘要 恶意软件家族分类是预测恶意软件特征的好方法，因为属于同一家族的恶意软件往往有相似的行为特征恶意软件检测或分类方法分静态分析和动态分析两种： 静态分析基于恶意软件中包含的特定签名进行分析，优点是分析的范围覆盖了整个代码…...
sdkman 安装以及 graalvm安装
sdkman安装以及graalvm安装全过程, (可能需要梯子) tiamTiam-Lenovo:~$ curl -s "https://get.sdkman.io" | bash-syyyyyyys:/yho: -yd./yh/ m..oho. hy ..sh/ :N -/…...
如何正确使用 WEB 接口的 HTTP 状态码和业务状态码？
当设计和开发 Web 接口时，必然会和 HTTP 状态码与业务状态码这两个概念打交道。很多同学可能没有注意过这两个概念或者两者的区别，做得稀里糊涂，接下来详细讲解下二者的定义、区别和使用方法。 HTTP 状态码 HTTP 状态码是由 HTTP 协议定义的…...
Spark【Spark SQL（三）DataSet】
DataSet DataFrame 的出现，让 Spark 可以更好地处理结构化数据的计算，但存在一个问题：编译时的类型安全问题，为了解决它，Spark 引入了 DataSet API（DataFrame API 的扩展）。DataSet 是分布式的数…...
制作立体图像实用软件：3DMasterKit 10.7 Crack
3DMasterKit 软件专为创建具有逼真 3D 和运动效果的光栅图片而设计：翻转、动画、变形和缩放。 打印机、广告工作室、摄影工作室和摄影师将发现 3DMasterKit 是一种有用且经济高效的解决方案，可将其业务扩展到新的维度，提高生成的 3D 图像和光…...
高校 Web 站点网络安全面临的主要的威胁
校园网 Web 站点的主要安全威胁来源于计算机病毒、内部用户恶意攻击和 破坏、内部用户非恶意的错误操作和网络黑客入侵等。 2.1 计算机病毒 计算机病毒是指编制者在计算机程序中插入的破坏计算机功能或者数据， 影响计算机使用并且能够自我复制的一组计算机指令或…...
从仿真到PCB：基于74LS系列芯片的十字路口交通灯系统实战设计
1. 项目背景与设计目标 十字路口交通灯控制系统是数字电路课程的经典实践项目。记得我第一次接触这个课题时，既兴奋又忐忑——兴奋的是终于能把课本上的与非门、触发器应用到真实场景，忐忑的是从仿真到实物可能存在的各种"坑"。这个基于74LS系…...
别再让代码异味溜走：手把手教你用SonarQube为团队搭建代码质量守护神
别再让代码异味溜走：手把手教你用SonarQube为团队搭建代码质量守护神 当项目规模从几千行扩展到几十万行代码时，技术债务就像房间里的大象——人人都知道存在，却少有人主动清理。去年我们团队在重构一个核心模块时，发现其中隐藏的…...
DRAM计算内存的电源传输网络优化策略
1. DRAM计算内存中的电源传输网络挑战与优化在数据密集型应用爆炸式增长的今天，传统冯诺依曼架构面临严峻的"内存墙"挑战。计算内存（Compute-in-Memory, CIM）技术通过在内存内部执行计算任务，从根本上改变了数据处理范式…...
Arm A64指令集SIMD与浮点寄存器架构解析
1. A64指令集的SIMD与浮点寄存器架构解析在Armv8-A架构中，A64指令集引入了强大的向量处理能力，通过32个128位宽的V寄存器（V0-V31）实现了高效的SIMD（单指令多数据）和浮点运算支持。这套寄存器文件的设计巧妙…...
60 秒应急窗口下 AI 钓鱼攻击防御体系构建与工程实践
摘要 2026 年网络钓鱼攻击呈现秒级入侵、全域渗透、AI 驱动的显著特征，钓鱼邮件抵达至用户输入敏感信息的中位时间仅 60 秒，勒索软件攻击频率约每 2 秒一起，AI 自动化鱼叉式钓鱼点击率高达 54%，传统防御机制已无法适配当前威胁节奏…...
【AI原生架构黄金法则】：SITS 2026现场实录的7条反直觉设计铁律（仅限首批参会专家内部流出）
AI原生应用架构设计：SITS 2026技术专家实战经验分享 更多请点击： https://intelliparadigm.com 第一章：SITS 2026现场共识与AI原生架构范式跃迁 在SITS 2026全球智能系统技术峰会上，来自37个国家的架构师、AI平台工程师与标准化组…...
告别手搓测试平台：用Synopsys SVT APB VIP快速搭建你的SoC验证环境（附完整配置流程）
告别手搓测试平台：用Synopsys SVT APB VIP快速搭建你的SoC验证环境（附完整配置流程） 在SoC验证领域，APB总线作为AMBA协议家族中最基础的外设连接标准，几乎出现在每一个现代芯片设计中。然而，许多验证工程师…...
 - Android 反编译器和调试器)
JEB Pro 5.40 (macOS, Linux, Windows) - Android 反编译器和调试器
JEB Pro 5.40 (macOS, Linux, Windows) - 逆向工程平台 Reverse Engineering for Professionals. 请访问原文链接：https://sysin.org/blog/jeb/ 查看最新版。原创作品，转载请保留出处。 作者主页：sysin.org JEB Decompiler JEB 是逆向工程…...
手把手教你用STM32和电位器，临时搭建一个TTL转485调试器（附电路图）
应急调试利器：用STM32和电位器快速搭建TTL转485监听器 在嵌入式开发现场调试时，最让人头疼的莫过于设备串口输出异常却找不到合适的调试工具。上周在客户工厂就遇到了这样的窘境——需要监控设备TTL串口数据，但手边只有RS485转换器和几根杜邦…...
解锁智能告警管理：Keep开源AIOps平台从零到生产实战指南
解锁智能告警管理：Keep开源AIOps平台从零到生产实战指南 【免费下载链接】keep The open-source AIOps and alert management platform 项目地址: https://gitcode.com/GitHub_Trending/kee/keep 在当今复杂的云原生环境中，运维团队每天都要面对海…...