Hbase简介
HBase简介
一、HBase简介
1. HBase简介
(1) apache的顶级项目，hadoop的数据库，分布式、大规模的大数据存储。
HBase是Google的BigTable的开源java版本，建立在hdfs之上的，分布式、列存储、非关系（nosql、key-value）、支持实时读写的数据库
HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。
Hbase面向列存储，构建于Hadoop之上，类似于Google的BigTable，提供对10亿级别表数据的快速随机实时读写！
(2) HBase****的结构
主键（rowkey）
列簇（column family ）
列（column）
时间戳（timestamp）
二、HBase的特点
l HBase仅能通过主键来查询数据
l 可存储结构化和半结构化的数据
l 所有的数据使用字节数据byte[]来存储
l 可以横向扩展，也就是说可以通过不断的增加服务器来提高存储能力实现真正的海量存储
l 一张表可以存储几百万列，几十亿行数据
l 面向列存储，k-v（散列hash y=hash(x)）
l 稀疏矩阵：非零元素很少，分布没有任何的规律，三元组（行号、列号、非零元素的值）存储
l 强一致性
l 自动分区
通过region分布在集群上
l 自动故障转移
l hadoop/hdfs集成：HBase是建立在hdfs之上
l MapReduce：对mr进行了改进，数据处理的效率可以达MR的到1000倍以上
l JAVA API：通过javaapi对hbase进行编程
l 命令行：Hbase的shell命令
2. hdfs
顺序访问，存储效率很低
三、HBase的应用场景
1. 对象存储（OSS）
图片、视频、新闻、网页都可以存储在hbase中
2. 时序数据
每个数据都带有时间戳，比如传感器的数据
3. 推荐画像
用户画像的数据其实就是一个大的稀疏矩阵，比如蚂蚁金服
4. OLAP
实时的在线联机分析系统，比如天猫的双十一或者京东618的可视化大屏
注意：OLTP（在线事务分析系统）的区别，建立在关系数据库之上，支持事务回滚
5. Feeds流
典型的应用就是微信的聊天记录、朋友圈、点赞、评论
6. 爬虫数据的存储
四、HBase的发展过程
| 年代 | 事件 |
|---|---|
| 2006年11月 | Google发布了BigTable的论文 |
| 2007年10月 | 第一个可用的HBase版本，基于Hadoop |
| 2008年1月 | 成为apache的顶级项目 |
五、HBase和RDBMS的比较
1. RDBMS（关系数据库管理系统：mysql、sqlserver、oracle）
l 数据库以表的形式独立存在
l 支持FAT(dos)、NTFS(windows)、EXT(linux)等文件系统
l 主键（primary key）
l 分库分表
l 表由行、列、单元格
l 支持向上扩展
l 使用sql（增删改查）
l 面向行存储
l ACID的特性
l 结构化的数据（二维表格）
l 支持事务（transaction）
l 支持join（连接，全连接（full join笛卡尔乘积），自然连接（inner join），左连接（left join），右连接（right join））
l 中心化
2. HBse
l 以表的形式存在
l 使用行键（row key）
l 分布式存储
l 行键、列簇、列、时间戳
l 支持向外扩展
l 使用命令行、java api和Mapreduce、Spark、Flink来访问HBase表数据
l 面向列存储
l 不支持acid，但是遵循cap原则
l 结构化和半结构化的数据
l 不支持事务
l 不支持join
l 分布式
六、HBase和HDFS的比较
1. HDFS
分布式，不是一个文件系统，无法快速的查询数据
2. HBase
建立在HDFS上，为大型表提供快速查询数据
七、HBase和Hive的比较
1. Hive
l 数据仓库，它的本质就是相当于将hdfs的文件和mysql中做了一个一一对应的映射，可以通过HQL（类sql，是hive的sql，把每一条hql都转换为一个mr程序）进行数据的管理。
l hive主要用于数据分析、清洗等，适用于离线数据，延迟很高
l hive基于HDFS和MapReduce，将数据存储在hdfs的datanode上，hql转换为一个mr程序执行
2. HBase
l NoSql：面向列的非关系型数据库
l 用于存储结构化和非结构化的数据
l 基于hdfs：HBase的存储文件HFile存储在hdfs的datanode上，被regionserver以region（分区）的形式进行管理
l 延迟较低，适合olap（实时的联机分析系统，比如天猫双十一的实时成交数据可视化大屏）
八、NoSQL数据库
l SQL数据库
按行存储，主要操作增删改查，常见的数据库有mysql、sqlserver、oracle
l NoSQL
非关系数据库，或者叫不仅仅是关系数据库，key/value格式的数据库，常见的有redis（高速缓存比如秒杀抢购系统）、memcache、mongodb（文档）、hbase
l hive
并不是一个数据库，仅仅是一个数据仓库的工具
oSQL数据库**
l SQL数据库
按行存储，主要操作增删改查，常见的数据库有mysql、sqlserver、oracle
l NoSQL
非关系数据库，或者叫不仅仅是关系数据库，key/value格式的数据库，常见的有redis（高速缓存比如秒杀抢购系统）、memcache、mongodb（文档）、hbase
l hive
并不是一个数据库，仅仅是一个数据仓库的工具
相关文章：
Hbase简介
HBase简介 一、HBase简介 1. HBase简介 (1) apache的顶级项目，hadoop的数据库，分布式、大规模的大数据存储。 HBase是Google的BigTable的开源java版本，建立在hdfs之上的，分布式、列存储、非关系（nosql、key-value&a…...
科海思除COD树脂，大孔树脂，除COD专用树脂
一、产品介绍 Tulsimer A-722 MP具有控制孔径的大孔强碱性Ⅰ型阴离子交换树脂 Tulsimer A-722 MP 是一款具有便于颜色和有机物去除的控制孔径的，专门开发的大孔强碱性Ⅰ型阴离子交换树脂。 Tulsimer A-722 MP（氯型）专门应用于去除COD…...
Qt 多线程 QThread、QThreadPool使用场景
QThread 和 QRunnable 都是 Qt 框架中用于多线程编程的类，它们之间有以下不同点： 继承关系不同 QThread 继承自 QObject 类，而 QRunnable 没有父类。 实现方式不同 QThread 是一个完整的线程实现，包含了线程的创建、启动、停止、…...
如何一招搞定PCB阻焊过孔问题？
PCB阻焊油墨根据固化方式，阻焊油墨有感光显影型的油墨，有热固化的热固油墨，还有UV光固化的UV油墨。而根据板材分类，又有PCB硬板阻焊油墨，FPC软板阻焊油墨，还有铝基板阻焊油墨，铝基板油墨也可以用…...
【代码随想录】刷题Day2
1.左右指针比大小 977. 有序数组的平方 class Solution { public:vector<int> sortedSquares(vector<int>& nums) {vector<int> ret nums;int left 0;int right nums.size()-1;int end nums.size();while(left<right){if(abs(nums[left])>abs…...
Python机器学习、深度学习技术提升气象、海洋、水文领域实践应用
Python是功能强大、免费、开源，实现面向对象的编程语言，在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面具备优异的性能，这些优势使得Python在气象、海洋、地理、气候、水文和生态等地学领域的科研和工程项目中得到广泛应用。可以…...
计及调度经济性的光热电站储热容量配置方法【IEEE30节点】（Matlab代码实现）
💥 💥 💞 💞 欢迎来到本博客 ❤️ ❤️ 💥 💥 🏆 博主优势： 🌞 🌞 🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 …...
“不要放过这个春天”解锁品牌春日宣传新玩法
在万物复苏的春天，人们换新装、踏青等需求蓄势待发，出现了全民消费热情高涨的趋势，让品牌「贩卖春天」的宣传此起彼伏。 品牌洞察到用户的消费需求，打造具有品牌特色的浪漫宣传，如采用春日限定元素、创新春天宣传场景…...
利用GPT2 预测 福彩3d预测
使用GPT2预测福彩3D项目 个人总结彩票数据是随机的,可以预测到1-2个数字,但是有一两位总是随机的 该项目紧做模型学习用,通过该项目熟练模型训练调用生成过程. 福彩3D数据下载 https://www.17500.cn/getData/3d.TXT data数据格式 处理后数据格式 每行 2023 03 08 9 7 3 训…...
类加载过程
基本说明 反射机制是Java实现动态语言的关键，也就是通过反射实现类动态加载。 静态加载：编译时加载相关的类，如果没有则报错，依赖性太强动态加载：运行时加载需要的类，如果运行时不用该类，即使…...
【C/C++】C++11 无序关联容器的诞生背景
文章目录 背景无序关联容器适用场景有序关联容器适用场景 背景 C11 引入了无序关联容器（unordered_map、unordered_set、unordered_multimap 和 unordered_multiset）是为了提供一种高效的元素存储和查找方式。相比于有序关联容器（map、set、…...
h264编码原理
在介绍编码器原理之前首先了解三个制定编码标准的组织： 1.国际电信联盟(ITU-T)，这是一个音视频领域非常强的组织，规定了很多标准如h261，h262，h263，h263。h263也就是h264的前身。 2.国际标准化组织(ISO)&…...
网络工程师经常搞混的路由策略和策略路由，两者到底有啥区别？
当涉及到网络路由时，两个术语经常被混淆：策略路由和路由策略。虽然这些术语听起来很相似，但它们实际上有着不同的含义和用途。在本文中，我们将详细介绍这两个术语的区别和应用。 一、路由策略 路由策略是指一组规则，用…...
高精度气象模拟软件WRF实践技术
【原文链接】：高精度气象模拟软件WRF(Weather Research Forecasting)实践技术及案例应用https://mp.weixin.qq.com/s?__bizMzU5NTkyMzcxNw&mid2247538149&idx3&sn3890c3b29f34bcb07678a9dd4b9947b2&chksmfe68938fc91f1a99bbced2113b09cad822711e7f…...
总结827
学习目标： 4月（复习完高数18讲内容，背诵21篇短文，熟词僻义300词基础词） 学习内容： 高等数学：刷1800，做了26道计算题，记录两道错题，搞懂了，但并不…...
还在发愁项目去哪找？软件测试企业级Web自动化测试实战项目
今天给大家分享一个简单易操作的实战项目（已开源） 项目名称 ET开源商场系统 项目描述 ETshop是一个电子商务B2C电商平台系统，功能强大，安全便捷。适合企业及个人快速构建个性化网上商城。 包含PCIOS客户端Adroid客户端微商城…...
总结下Spring boot异步执行逻辑的几种方式
文章目录 概念实现方式Thread说明 Async注解说明 线程池CompletableFuture（Future及FutureTask）创建CompletableFuture异步执行 消息队列 概念 异步执行模式：是指语句在异步执行模式下，各语句执行结束的顺序与语句执行开始的顺序…...
【开发日志】2023.04 ZENO----Composite----CompNormalMap
NormalMap-Online (cpetry.github.io)https://cpetry.github.io/NormalMap-Online/ CompNormalMap 将灰度图像转换为法线贴图 将灰度图像转换为法线贴图是一种常见的技术，用于在实时图形渲染中增加表面细节。下面是一个简单的方法来将灰度图像转换为法线贴图&…...
春秋云境：CVE-2022-28525 (文件上传漏洞)
目录 一、题目 1.登录 2.burp抓包改包 3.蚁剑获取flag 一、题目 ED01CMSv20180505存在任意文件上传漏洞 英语不够 翻译来凑： 点击其他页面会Not Found 找不到： 先登录看看吧： 试试万能密码：admin：123 发现错误…...
【软件测试二】开发模型和测试模型，BUG概念篇
目录 1.软件的生命周期 2.瀑布模型 3.螺旋模型 4.增量，迭代 5.敏捷---scrum 1. 敏捷宣言 2.角色 6. 软件测试v模型 7.软件测试w模型 8.软件测试的生命周期 9.如何描述一个BUG 10.如何定义BUG的级别 11.BUG的生命周期 12.产生争执怎么办 1.软件的生命周期…...
conda相比python好处
Conda 作为 Python 的环境和包管理工具，相比原生 Python 生态（如 pip 虚拟环境）有许多独特优势，尤其在多项目管理、依赖处理和跨平台兼容性等方面表现更优。以下是 Conda 的核心好处： 一、一站式环境管理：…...
CMake基础：构建流程详解
目录 1.CMake构建过程的基本流程 2.CMake构建的具体步骤 2.1.创建构建目录 2.2.使用 CMake 生成构建文件 2.3.编译和构建 2.4.清理构建文件 2.5.重新配置和构建 3.跨平台构建示例 4.工具链与交叉编译 5.CMake构建后的项目结构解析 5.1.CMake构建后的目录结构 5.2.构…...
CMake控制VS2022项目文件分组
我们可以通过 CMake 控制源文件的组织结构，使它们在 VS 解决方案资源管理器中以“组”（Filter）的形式进行分类展示。 🎯 目标 通过 CMake 脚本将 .cpp、.h 等源文件分组显示在 Visual Studio 2022 的解决方案资源管理器中。 ✅ 支持的方法汇总（共4种） 方法描述是否推荐…...
让回归模型不再被异常值“带跑偏“，MSE和Cauchy损失函数在噪声数据环境下的实战对比
在机器学习的回归分析中，损失函数的选择对模型性能具有决定性影响。均方误差（MSE）作为经典的损失函数，在处理干净数据时表现优异，但在面对包含异常值的噪声数据时，其对大误差的二次惩罚机制往往导致模型参数…...
Yolov8 目标检测蒸馏学习记录
yolov8系列模型蒸馏基本流程，代码下载：这里本人提交了一个demo:djdll/Yolov8_Distillation: Yolov8轻量化_蒸馏代码实现 在轻量化模型设计中，**知识蒸馏（Knowledge Distillation）**被广泛应用，作为提升模型…...
力扣热题100 k个一组反转链表题解
题目: 代码: func reverseKGroup(head *ListNode, k int) *ListNode {cur : headfor i : 0; i < k; i {if cur nil {return head}cur cur.Next}newHead : reverse(head, cur)head.Next reverseKGroup(cur, k)return newHead }func reverse(start, end *ListNode) *ListN…...
4. TypeScript 类型推断与类型组合
一、类型推断 (一) 什么是类型推断 TypeScript 的类型推断会根据变量、函数返回值、对象和数组的赋值和使用方式，自动确定它们的类型。 这一特性减少了显式类型注解的需要，在保持类型安全的同时简化了代码。通过分析上下文和初始值，TypeSc…...
解决：Android studio 编译后报错\app\src\main\cpp\CMakeLists.txt‘ to exist
现象： android studio报错： [CXX1409] D:\GitLab\xxxxx\app.cxx\Debug\3f3w4y1i\arm64-v8a\android_gradle_build.json : expected buildFiles file ‘D:\GitLab\xxxxx\app\src\main\cpp\CMakeLists.txt’ to exist 解决： 不要动CMakeLists.…...
LCTF液晶可调谐滤波器在多光谱相机捕捉无人机目标检测中的作用
中达瑞和自2005年成立以来，一直在光谱成像领域深度钻研和发展，始终致力于研发高性能、高可靠性的光谱成像相机，为科研院校提供更优的产品和服务。在《低空背景下无人机目标的光谱特征研究及目标检测应用》这篇论文中提到中达瑞和 LCTF 作为多…...
保姆级【快数学会Android端“动画“】+ 实现补间动画和逐帧动画！！！
目录 补间动画 1.创建资源文件夹 2.设置文件夹类型 3.创建.xml文件 4.样式设计 5.动画设置 6.动画的实现 内容拓展 7.在原基础上继续添加.xml文件 8.xml代码编写 (1)rotate_anim (2)scale_anim (3)translate_anim 9.MainActivity.java代码汇总 10.效果展示 逐帧…...