00Hadoop数据仓库平台
在这里是学习大数据的第一站
- 什么是数据仓库
- 常见大数据平台组件及介绍
什么是数据仓库
在计算领域，数据仓库（DW 或 DWH）也称为企业数据仓库（EDW），是一种用于报告和数据分析的系统，被认为是商业智能的核心组件。 数据仓库是来自一个或多个不同来源的集成数据的中央存储库。 它们将当前和历史数据存储在一个位置，用于为整个企业的员工创建分析报告。这对公司来说是有益的，因为它使他们能够询问数据并从数据中汲取见解并做出决策。
Extract, transform, load （ETL）是用于构建数据仓库系统的两种主要方法。
数据仓库的输入通常包括：业务数据、用户行为数据和爬虫数据等。
业务数据: 各行业在处理事务过程中产生的数据。比如用户在电商网站的登录、下单、支付等过程，和业务数据库进行的增删改查交互数据，这些产生的数据就是业务数据。业务数据通常存储在MySQL和Oracle中。
用户行为数据： 用户在使用产品的过程中，通过客户端交互的数据和业务埋点数据将发往服务器保存，例如页面浏览、点击、停留、评论、点赞、收藏等。用户行为数据往往存储在日志文件中。
常见大数据平台组件及介绍
技术选型主要考虑因素：数据量大小、业务需求、行业内经验、技术成熟度、开发维护成本、总成本预算，常见的数据仓库平台选型如下：
- 数据采集传输：Flume、Kafka、DataX、Maxwell，Sqoop，Logstash
- 数据存储：MySQL，HDFS\ Hadoop，HBase，Redis，MongoDB
- 数据计算：Hive，Spark，Flink，Storm，Tez
- 即席查询：Presto，Kylin，Impala，Druid，ClickHouse，Doris
- 数据可视化：Superset，Echarts，Sugar，QuickBI，DataV
- 任务调度：DolphinScheduler，Azkaban，NIFI，Airflow
- 集群监控：Zabbix，Prometheus
- 元数据管理：Atlas
- 权限管理：Ranger，Sentry
具体组件的介绍与安装，请点击各个组件名称进行跳转。
相关文章：
00Hadoop数据仓库平台
在这里是学习大数据的第一站 什么是数据仓库常见大数据平台组件及介绍 什么是数据仓库 在计算领域，数据仓库（DW 或 DWH）也称为企业数据仓库（EDW），是一种用于报告和数据分析的系统，被认为是商业智…...
java-jar包
jar包类似于压缩包，主要是组织和分享自己的Java代码方便，将一组特定的java文件打包，一般是.class文件，不过并不限制文件类型，都可以打包。 jar包中包好清单文件，如果没有指定就会自动生成默认的࿰…...
Flink运行时架构核心概念
Flink运行时架构 JobManager：协调，决定何时调度下一个task，对失败任务做恢复。 ResourceManager: 负责Flink集群中的资源提供、回收、分配，它负责管理task slot。standalone模式下，不能自行启动新的taskmanagerDispatc…...
docker安装达梦数据库并挂在数据卷
离线包下载地址：请点击 1.在线下载 wget https://download.dameng.com/eco/dm8/dm8_20230808_rev197096_x86_rh6_64_single.tar2. 导入镜像 docker load -i dm8_20230808_rev197096_x86_rh6_64_single.tar3. 运行容器 docker run -d -p 5236:5236 --restartalwa…...
ROS第一个程序——helloworld
目录 一、工作空间的创建 1.创建工作空间并初始化 2.进入 src 创建 ros 包并添加依赖 二、C实现helloworld C源码实现 编辑 ros 包下的 Cmakelist.txt文件 进入工作空间目录并编译 执行 三、python实现helloworld 进入 ros 包添加 scripts 目录并编辑 python 文件 …...
【Python 训练营】N_17 冒泡排序
题目 列表L [3,2,5,6,1,3,8,1,9]，冒泡排序实现从小到大排列。 分析 冒泡排序的基本思想是从序列的第一个元素开始，依次比较相邻的两个元素，如果它们的顺序错误就交换它们的位置，直到整个序列有序为止。具体步骤如下࿱…...
虚拟机docker中的Nginx部署
Nginx部署 ： 1.搜索nginx镜像 docker search nginx 2.拉取nginx镜像 docker pull nginx 3.创建目录 mkdir nginx cd nginx mkdir conf cd conf vim nginx.conf 4.编写nginx.conf配置文件 user nginx; worker_processes 1; error_log /var/log/nginx/erro…...
06、pytest将多个测试放在一个类中
官方用例 # content of test_class.py # 实例1 class TestClass:def test_one(self):x "this"assert "h" in xdef test_two(self):x "hello"assert hasattr(x,"check")# content of test_class_demo.py # 每个测试都有唯一的类实例…...
实体类转SQL工具类
主要的目标是简化开发人员在有实体类的情况下时做的重复性工作，提高开发效率。 单个实体类的转换工具类 1.EntityToTableConverter工具类 import java.io.FileWriter; import java.io.IOException; import java.lang.reflect.Field; import java.math.BigDecimal…...
高端制造业中的通用性超精密3D光学测量仪器
超精密光学3D测量仪器具有高精度、自动化程度高、实时反馈和范围广等优势。它能够实现微米级别的精确测量，能够精确测量产品的尺寸、形状和表面粗糙度等，具有广泛的应用价值和重要意义。 超精密光学3D测量仪器配备多种传感器、控制器和计算机系统&#…...
微信公众号非静默授权获取头像和昵称
要在Vue前端应用程序中实现微信公众号非静默授权获取头像和昵称，您需要遵循以下步骤： 1.在微信公众平台上注册并创建一个公众号。 2.在Vue项目中安装wechat-js-sdk库，该库提供了与微信JS-SDK的交互功能。 npm install wechat-js-sdk --sav…...
Java项目学生管理系统四编辑学生
编辑学生 欢迎阅读本篇博客，今天我们将继续探索Java项目学生管理系统的功能，重点关注学生信息的修改模块。在学生管理系统中，修改学生信息是一个关键操作，通过该功能可以方便地更新学生的个人信息、成绩以及其他相关数据。通过本…...
不同数据库进行同步和增量数据（SQL server 与MySQL数据库为例）
场景 最近在做的一个项目需要将远程服务器的SQL server数据库中表的数据传输到本机的MySQL数据库中，并且远程的SQL server数据库表的数据会实时进行更新，并且差不多是一分钟内传输18条数据，例如现在是2023-12-4 15:09，在15:08这个…...
国内的几款强大的AI智能—AI语言模型
R5Ai智能助手是一款由百度研发的文心一言，它支持gpt4 / gpt-3.5 / claude，也支持AI绘画，每天提供十次免费使用机会，无需魔法。该智能助手具有以下优点：会画画，没有使用次数限制，可以在界面上找到…...
linux下恶意软件的七种反分析技术
7 类主流的 Linux 恶意软件反分析/检测躲避技术 反调试（Anti-Debug）: 软件调试是恶意软件分析的常⽤⼿段之⼀，但恶意软件可以通过识别调试器特征，实现⾃⾝恶意⾏为的隐藏，或导致调试失败，从⽽规避分析与检测…...
Spring Security OAuth2 认证服务器自定义异常处理
目录 前言WebResponseExceptionTranslator自定义异常处理1、自定义我们响应实体类2、定义响应结果枚举类3、自定义异常转换类4、配置自定义异常转换器5、测试 前言 Spring Security OAuth2 认证失败的格式如下 {"error": "unsupported_grant_type","…...
selenium环境安装
一、下载安装python 下载python安装python设置python环境变量安装selenium （1）下载python 您可以从Python官方网站（https://www.python.org/downloads/）下载Python。在页面上，您将看到不同版本的Python供您选择。根…...
(C++)和为s的两个数字--双指针算法
个人主页：Lei宝啊 愿所有美好如期而遇 和为S的两个数字_牛客题霸_牛客网输入一个升序数组 array 和一个数字S，在数组中查找两个数，使得他们的和正好是S，如果。题目来自【牛客题霸】https://www.nowcoder.com/practice/390da4f7a…...
应用开发——构建页面(题目答案))
鸿蒙(HarmonyOS)应用开发——构建页面(题目答案)
判断题 1.在Column容器中的子组件默认是按照从上到下的垂直方向布局的，其主轴的方向是垂直方向，在Row容器中的组件默认是按照从左到右的水平方向布局的，其主轴的方向是水平方向。 正确(True) 2.List容器可以沿水平方向排列，也可…...
Python基础快速过一遍
文章目录 一、变量及基本概念1、变量2、变量类型3、变量格式化输出4、type()函数5、input()函数6、类型转换函数7、注释 二、Python运算/字符1、算数运算2、比较运算3、逻辑运算4、赋值运算符5、转义字符6、成员运算符 三、判断/循环语句1、if判断语句2、while循环语句3、for循…...
FPGA实战避坑：手把手教你用Verilog搞定跨时钟域信号传输（附同步/异步FIFO完整代码）
FPGA实战避坑：手把手教你用Verilog搞定跨时钟域信号传输 第一次在FPGA项目里遇到跨时钟域问题，我盯着屏幕上那些随机跳变的数据波形，整整三天没想明白问题出在哪。当时我正在做一个工业传感器数据采集系统，处理器接口跑在100MHz&a…...
BabelDOC终极指南：如何完美翻译PDF学术论文并保持原格式
BabelDOC终极指南：如何完美翻译PDF学术论文并保持原格式 【免费下载链接】BabelDOC Yet Another Document Translator 项目地址: https://gitcode.com/GitHub_Trending/ba/BabelDOC 还在为PDF翻译后格式混乱而烦恼吗？BabelDOC为您提供了一站式解决…...
SeqGPT-560M部署教程：Linux服务器环境配置+GPU驱动适配完整指南
SeqGPT-560M部署教程：Linux服务器环境配置GPU驱动适配完整指南 1. 项目概述 SeqGPT-560M是一个专门为企业级信息抽取需求设计的高性能AI系统。与常见的聊天模型不同，这个系统专注于从非结构化文本中精准提取关键信息，比如人名、公司名称、时…...
突破百度网盘限速：3招实现2MB/s极速下载的开源解决方案
突破百度网盘限速：3招实现2MB/s极速下载的开源解决方案 【免费下载链接】baidu-wangpan-parse 获取百度网盘分享文件的下载地址 项目地址: https://gitcode.com/gh_mirrors/ba/baidu-wangpan-parse 你是否也曾经历过百度网盘下载速度仅有几十KB/s的煎熬&…...
腾讯地图API实战：5分钟搞定经纬度录入与地图选点功能（Vue版）
腾讯地图API实战：5分钟搞定经纬度录入与地图选点功能（Vue版） 在当今的Web开发中，地图功能已成为许多应用的标配需求。无论是电商平台的店铺定位，还是社交应用的位置分享，甚至是企业内部系统的区域管理&…...
数据治理平台选型，真正应该看哪几件事
上个月，一位在某制造业集团做数据架构的朋友跟我吐槽：“我们花了半年时间选型，最后上线的产品，管元数据的归元数据，管质量的归质量，两个系统之间打不通，数据血缘断在半路上。现在每次出了数据问…...
Harmonyos应用实例214：空间角与距离计算器
6. 空间角与距离计算器 功能简介：利用空间向量计算异面直线所成角、直线与平面所成角、二面角，以及点到平面的距离。通过输入向量坐标，实时计算并展示结果，帮助学生掌握空间角与距离的向量计算方法。 ArkTS代码： @Entry @Component struct SpaceVectorCalculator {@Stat…...
AutoDL云服务器避坑指南：从PyTorch到Jupyter，手把手搞定GPU环境配置
AutoDL云服务器GPU环境配置实战：从镜像选择到Jupyter避坑全攻略 第一次在AutoDL这类云GPU平台上配置深度学习环境时，那种既兴奋又忐忑的心情我至今记忆犹新。看着琳琅满目的镜像选项和复杂的版本匹配要求，稍有不慎就会陷入"版本地狱&qu…...
从Excel到Python：数据分析师必学的对数坐标绘制技巧（含Seaborn美化）
从Excel到Python：数据分析师必学的对数坐标绘制技巧（含Seaborn美化） 当市场报告中的用户增长曲线从缓慢爬升突然变成陡峭上升，或是竞品分析中的订单量横跨三个数量级时，Excel的默认线性坐标往往会让图表失去可读性。对…...
三三复制系统模式介绍
三三复制系统模式介绍：从底层逻辑到合规落地在社交电商与团队裂变领域，三三复制系统凭借其低门槛、高稳定性的特点，成为企业实现用户快速增长与业绩倍增的重要工具。不同于传统多级分销的复杂层级，三三复制系统以“三”为核心基数…...