Hbase简介
HBase简介
一、HBase简介
1. HBase简介
(1) apache的顶级项目，hadoop的数据库，分布式、大规模的大数据存储。
HBase是Google的BigTable的开源java版本，建立在hdfs之上的，分布式、列存储、非关系（nosql、key-value）、支持实时读写的数据库
HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。
Hbase面向列存储，构建于Hadoop之上，类似于Google的BigTable，提供对10亿级别表数据的快速随机实时读写！
(2) HBase****的结构
主键（rowkey）
列簇（column family ）
列（column）
时间戳（timestamp）
二、HBase的特点
l HBase仅能通过主键来查询数据
l 可存储结构化和半结构化的数据
l 所有的数据使用字节数据byte[]来存储
l 可以横向扩展，也就是说可以通过不断的增加服务器来提高存储能力实现真正的海量存储
l 一张表可以存储几百万列，几十亿行数据
l 面向列存储，k-v（散列hash y=hash(x)）
l 稀疏矩阵：非零元素很少，分布没有任何的规律，三元组（行号、列号、非零元素的值）存储
l 强一致性
l 自动分区
通过region分布在集群上
l 自动故障转移
l hadoop/hdfs集成：HBase是建立在hdfs之上
l MapReduce：对mr进行了改进，数据处理的效率可以达MR的到1000倍以上
l JAVA API：通过javaapi对hbase进行编程
l 命令行：Hbase的shell命令
2. hdfs
顺序访问，存储效率很低
三、HBase的应用场景
1. 对象存储（OSS）
图片、视频、新闻、网页都可以存储在hbase中
2. 时序数据
每个数据都带有时间戳，比如传感器的数据
3. 推荐画像
用户画像的数据其实就是一个大的稀疏矩阵，比如蚂蚁金服
4. OLAP
实时的在线联机分析系统，比如天猫的双十一或者京东618的可视化大屏
注意：OLTP（在线事务分析系统）的区别，建立在关系数据库之上，支持事务回滚
5. Feeds流
典型的应用就是微信的聊天记录、朋友圈、点赞、评论
6. 爬虫数据的存储
四、HBase的发展过程
| 年代 | 事件 |
|---|---|
| 2006年11月 | Google发布了BigTable的论文 |
| 2007年10月 | 第一个可用的HBase版本，基于Hadoop |
| 2008年1月 | 成为apache的顶级项目 |
五、HBase和RDBMS的比较
1. RDBMS（关系数据库管理系统：mysql、sqlserver、oracle）
l 数据库以表的形式独立存在
l 支持FAT(dos)、NTFS(windows)、EXT(linux)等文件系统
l 主键（primary key）
l 分库分表
l 表由行、列、单元格
l 支持向上扩展
l 使用sql（增删改查）
l 面向行存储
l ACID的特性
l 结构化的数据（二维表格）
l 支持事务（transaction）
l 支持join（连接，全连接（full join笛卡尔乘积），自然连接（inner join），左连接（left join），右连接（right join））
l 中心化
2. HBse
l 以表的形式存在
l 使用行键（row key）
l 分布式存储
l 行键、列簇、列、时间戳
l 支持向外扩展
l 使用命令行、java api和Mapreduce、Spark、Flink来访问HBase表数据
l 面向列存储
l 不支持acid，但是遵循cap原则
l 结构化和半结构化的数据
l 不支持事务
l 不支持join
l 分布式
六、HBase和HDFS的比较
1. HDFS
分布式，不是一个文件系统，无法快速的查询数据
2. HBase
建立在HDFS上，为大型表提供快速查询数据
七、HBase和Hive的比较
1. Hive
l 数据仓库，它的本质就是相当于将hdfs的文件和mysql中做了一个一一对应的映射，可以通过HQL（类sql，是hive的sql，把每一条hql都转换为一个mr程序）进行数据的管理。
l hive主要用于数据分析、清洗等，适用于离线数据，延迟很高
l hive基于HDFS和MapReduce，将数据存储在hdfs的datanode上，hql转换为一个mr程序执行
2. HBase
l NoSql：面向列的非关系型数据库
l 用于存储结构化和非结构化的数据
l 基于hdfs：HBase的存储文件HFile存储在hdfs的datanode上，被regionserver以region（分区）的形式进行管理
l 延迟较低，适合olap（实时的联机分析系统，比如天猫双十一的实时成交数据可视化大屏）
八、NoSQL数据库
l SQL数据库
按行存储，主要操作增删改查，常见的数据库有mysql、sqlserver、oracle
l NoSQL
非关系数据库，或者叫不仅仅是关系数据库，key/value格式的数据库，常见的有redis（高速缓存比如秒杀抢购系统）、memcache、mongodb（文档）、hbase
l hive
并不是一个数据库，仅仅是一个数据仓库的工具
oSQL数据库**
l SQL数据库
按行存储，主要操作增删改查，常见的数据库有mysql、sqlserver、oracle
l NoSQL
非关系数据库，或者叫不仅仅是关系数据库，key/value格式的数据库，常见的有redis（高速缓存比如秒杀抢购系统）、memcache、mongodb（文档）、hbase
l hive
并不是一个数据库，仅仅是一个数据仓库的工具
相关文章：
Hbase简介
HBase简介 一、HBase简介 1. HBase简介 (1) apache的顶级项目，hadoop的数据库，分布式、大规模的大数据存储。 HBase是Google的BigTable的开源java版本，建立在hdfs之上的，分布式、列存储、非关系（nosql、key-value&a…...
科海思除COD树脂，大孔树脂，除COD专用树脂
一、产品介绍 Tulsimer A-722 MP具有控制孔径的大孔强碱性Ⅰ型阴离子交换树脂 Tulsimer A-722 MP 是一款具有便于颜色和有机物去除的控制孔径的，专门开发的大孔强碱性Ⅰ型阴离子交换树脂。 Tulsimer A-722 MP（氯型）专门应用于去除COD…...
Qt 多线程 QThread、QThreadPool使用场景
QThread 和 QRunnable 都是 Qt 框架中用于多线程编程的类，它们之间有以下不同点： 继承关系不同 QThread 继承自 QObject 类，而 QRunnable 没有父类。 实现方式不同 QThread 是一个完整的线程实现，包含了线程的创建、启动、停止、…...
如何一招搞定PCB阻焊过孔问题？
PCB阻焊油墨根据固化方式，阻焊油墨有感光显影型的油墨，有热固化的热固油墨，还有UV光固化的UV油墨。而根据板材分类，又有PCB硬板阻焊油墨，FPC软板阻焊油墨，还有铝基板阻焊油墨，铝基板油墨也可以用…...
【代码随想录】刷题Day2
1.左右指针比大小 977. 有序数组的平方 class Solution { public:vector<int> sortedSquares(vector<int>& nums) {vector<int> ret nums;int left 0;int right nums.size()-1;int end nums.size();while(left<right){if(abs(nums[left])>abs…...
Python机器学习、深度学习技术提升气象、海洋、水文领域实践应用
Python是功能强大、免费、开源，实现面向对象的编程语言，在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面具备优异的性能，这些优势使得Python在气象、海洋、地理、气候、水文和生态等地学领域的科研和工程项目中得到广泛应用。可以…...
计及调度经济性的光热电站储热容量配置方法【IEEE30节点】（Matlab代码实现）
💥 💥 💞 💞 欢迎来到本博客 ❤️ ❤️ 💥 💥 🏆 博主优势： 🌞 🌞 🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 …...
“不要放过这个春天”解锁品牌春日宣传新玩法
在万物复苏的春天，人们换新装、踏青等需求蓄势待发，出现了全民消费热情高涨的趋势，让品牌「贩卖春天」的宣传此起彼伏。 品牌洞察到用户的消费需求，打造具有品牌特色的浪漫宣传，如采用春日限定元素、创新春天宣传场景…...
利用GPT2 预测 福彩3d预测
使用GPT2预测福彩3D项目 个人总结彩票数据是随机的,可以预测到1-2个数字,但是有一两位总是随机的 该项目紧做模型学习用,通过该项目熟练模型训练调用生成过程. 福彩3D数据下载 https://www.17500.cn/getData/3d.TXT data数据格式 处理后数据格式 每行 2023 03 08 9 7 3 训…...
类加载过程
基本说明 反射机制是Java实现动态语言的关键，也就是通过反射实现类动态加载。 静态加载：编译时加载相关的类，如果没有则报错，依赖性太强动态加载：运行时加载需要的类，如果运行时不用该类，即使…...
【C/C++】C++11 无序关联容器的诞生背景
文章目录 背景无序关联容器适用场景有序关联容器适用场景 背景 C11 引入了无序关联容器（unordered_map、unordered_set、unordered_multimap 和 unordered_multiset）是为了提供一种高效的元素存储和查找方式。相比于有序关联容器（map、set、…...
h264编码原理
在介绍编码器原理之前首先了解三个制定编码标准的组织： 1.国际电信联盟(ITU-T)，这是一个音视频领域非常强的组织，规定了很多标准如h261，h262，h263，h263。h263也就是h264的前身。 2.国际标准化组织(ISO)&…...
网络工程师经常搞混的路由策略和策略路由，两者到底有啥区别？
当涉及到网络路由时，两个术语经常被混淆：策略路由和路由策略。虽然这些术语听起来很相似，但它们实际上有着不同的含义和用途。在本文中，我们将详细介绍这两个术语的区别和应用。 一、路由策略 路由策略是指一组规则，用…...
高精度气象模拟软件WRF实践技术
【原文链接】：高精度气象模拟软件WRF(Weather Research Forecasting)实践技术及案例应用https://mp.weixin.qq.com/s?__bizMzU5NTkyMzcxNw&mid2247538149&idx3&sn3890c3b29f34bcb07678a9dd4b9947b2&chksmfe68938fc91f1a99bbced2113b09cad822711e7f…...
总结827
学习目标： 4月（复习完高数18讲内容，背诵21篇短文，熟词僻义300词基础词） 学习内容： 高等数学：刷1800，做了26道计算题，记录两道错题，搞懂了，但并不…...
还在发愁项目去哪找？软件测试企业级Web自动化测试实战项目
今天给大家分享一个简单易操作的实战项目（已开源） 项目名称 ET开源商场系统 项目描述 ETshop是一个电子商务B2C电商平台系统，功能强大，安全便捷。适合企业及个人快速构建个性化网上商城。 包含PCIOS客户端Adroid客户端微商城…...
总结下Spring boot异步执行逻辑的几种方式
文章目录 概念实现方式Thread说明 Async注解说明 线程池CompletableFuture（Future及FutureTask）创建CompletableFuture异步执行 消息队列 概念 异步执行模式：是指语句在异步执行模式下，各语句执行结束的顺序与语句执行开始的顺序…...
【开发日志】2023.04 ZENO----Composite----CompNormalMap
NormalMap-Online (cpetry.github.io)https://cpetry.github.io/NormalMap-Online/ CompNormalMap 将灰度图像转换为法线贴图 将灰度图像转换为法线贴图是一种常见的技术，用于在实时图形渲染中增加表面细节。下面是一个简单的方法来将灰度图像转换为法线贴图&…...
春秋云境：CVE-2022-28525 (文件上传漏洞)
目录 一、题目 1.登录 2.burp抓包改包 3.蚁剑获取flag 一、题目 ED01CMSv20180505存在任意文件上传漏洞 英语不够 翻译来凑： 点击其他页面会Not Found 找不到： 先登录看看吧： 试试万能密码：admin：123 发现错误…...
【软件测试二】开发模型和测试模型，BUG概念篇
目录 1.软件的生命周期 2.瀑布模型 3.螺旋模型 4.增量，迭代 5.敏捷---scrum 1. 敏捷宣言 2.角色 6. 软件测试v模型 7.软件测试w模型 8.软件测试的生命周期 9.如何描述一个BUG 10.如何定义BUG的级别 11.BUG的生命周期 12.产生争执怎么办 1.软件的生命周期…...
观成科技：隐蔽隧道工具Ligolo-ng加密流量分析
1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具，该工具基于TUN接口实现其功能，利用反向TCP/TLS连接建立一条隐蔽的通信信道，支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式，适应复杂网…...
vscode里如何用git
打开vs终端执行如下： 1 初始化 Git 仓库（如果尚未初始化） git init 2 添加文件到 Git 仓库 git add . 3 使用 git commit 命令来提交你的更改。确保在提交时加上一个有用的消息。 git commit -m "备注信息" 4 …...
OpenLayers 可视化之热力图
注：当前使用的是 ol 5.3.0 版本，天地图使用的key请到天地图官网申请，并替换为自己的key 热力图（Heatmap）又叫热点图，是一种通过特殊高亮显示事物密度分布、变化趋势的数据可视化技术。采用颜色的深浅来显示…...
【快手拥抱开源】通过快手团队开源的 KwaiCoder-AutoThink-preview 解锁大语言模型的潜力
引言： 在人工智能快速发展的浪潮中，快手Kwaipilot团队推出的 KwaiCoder-AutoThink-preview 具有里程碑意义——这是首个公开的AutoThink大语言模型（LLM）。该模型代表着该领域的重大突破，通过独特方式融合思考与非思考…...
华为OD机试-食堂供餐-二分法
import java.util.Arrays; import java.util.Scanner;public class DemoTest3 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseint a in.nextIn…...
Qt Http Server模块功能及架构
Qt Http Server 是 Qt 6.0 中引入的一个新模块，它提供了一个轻量级的 HTTP 服务器实现，主要用于构建基于 HTTP 的应用程序和服务。 功能介绍： 主要功能 HTTP服务器功能： 支持 HTTP/1.1 协议 简单的请求/响应处理模型 支持 GET…...
【单片机期末】单片机系统设计
主要内容：系统状态机，系统时基，系统需求分析，系统构建，系统状态流图 一、题目要求 二、绘制系统状态流图 题目：根据上述描述绘制系统状态流图，注明状态转移条件及方向。 三、利用定时器产生时…...
【学习笔记】深入理解Java虚拟机学习笔记——第4章 虚拟机性能监控，故障处理工具
第2章 虚拟机性能监控，故障处理工具 4.1 概述 略 4.2 基础故障处理工具 4.2.1 jps:虚拟机进程状况工具 命令：jps [options] [hostid] 功能：本地虚拟机进程显示进程ID（与ps相同），可同时显示主类&#x…...
Mac下Android Studio扫描根目录卡死问题记录
环境信息 操作系统: macOS 15.5 (Apple M2芯片)Android Studio版本: Meerkat Feature Drop | 2024.3.2 Patch 1 (Build #AI-243.26053.27.2432.13536105, 2025年5月22日构建) 问题现象 在项目开发过程中，提示一个依赖外部头文件的cpp源文件需要同步，点…...
【C++特殊工具与技术】优化内存分配(一)：C++中的内存分配
目录 一、C 内存的基本概念 1.1 内存的物理与逻辑结构 1.2 C 程序的内存区域划分 二、栈内存分配 2.1 栈内存的特点 2.2 栈内存分配示例 三、堆内存分配 3.1 new和delete操作符 4.2 内存泄漏与悬空指针问题 4.3 new和delete的重载 四、智能指针…...