HBase 复习 ---- chapter07

1. 部署 HBase（运维）
   1：部署 HBase 实际是部署了三个技术（hadoop + zookeeper + hbase）
   hadoop = hdfs + mapreduce + common
   hdfs = namenode + datanode + secondaryNamenode
   yarn = ResourceManager（JobTracker）+ NodeManager（TaskTracker）
   zookeeper = zookeeper集合 + zookeeper客户端
   zookeeper集合 = zookeeper Leader + zookeeper Flowers = QuorumPeerMain
   HBase = HMaster + HRegionServer
   namenode + datanode + secondaryNamenode
   ResourceManager + NodeManager
   QuorumPeerMain
   HMaster+HRegionServer

2. 这个八个技术如何进行部署呢？
   niit01-master: namenode+datanode+nodemanager
   niit02-master: SecondaryNamenode+datanode+nodemanager
   niit03-master: ResourceManager+datanode+nodemanager

3. 上面那些组件要求内存+CPU?
   namenode secondaryNamenode QuorumPeerMain HMaster HRegionServer nodemanager

4. 上面那些组件要求磁盘?
   datanode HRegionServer nodemanager

5. SLA:服务级别协议是指提供服务的企业与客户之间就服务的品质、水准、性能等方面所达成的双方共同认可的协议或契约。

6. 集群类型:从小到大(我们书上讲的集群类型是比较原始的,真实的和这个会有差距)

7. 原型集群：(cpu拥有 4–6 核，24–32 GB RAM 和 4 T SATA 磁盘)
   原型集群是没有严格的 SLA 的集群，可以将其关闭。
   它通常少于 10 个节点。
   可以在原型集群中的单个节点上并置多个服务。

8. 小型生产集群（10-20 台服务器）(cpu拥有 6–8 核，32–64 GB RAM 和 8 T SATA 磁盘 双电源 RAID:提高磁盘利用率+容错能力 ) 少于 10 个从节点很难进行操作。
   如果要部署生产集群，请考虑使用相对更好的主节点硬件。 双电源和 RAID 可能已成为日常工作。
   流量/工作量不多的小型生产集群可以并置服务。
   对于小型集群，单个 HBase Master 可以。
   单个 ZooKeeper 可以用于小型集群，并且可以与 HBase Master 并置。如果运行 NameNode和 JobTracker 的主机 足够强大，则也可以在其上放置 ZooKeeper 和 HBase Master。 这样可以省去您购买额外机器的麻烦。
   单个 HBase Master 和 ZooKeeper 限制了可维护性

9. 中型生产集群（最多约 50 台服务器 20-50）(cpu拥有 8–10 核，32–64 GB RAM 和 8 T SATA 磁盘 双电源 RAID:提高磁盘利用率+容错能力 )
   最多可能有 50 个节点属于此类别。
   出于性能原因，我们建议您不要并置 HBase 和 MapReduce。如果并置，请在单独的硬件上部署NameNode 和 JobTracker。
   应当部署三个 ZooKeeper 和三个 HBase 主节点，尤其是在生产系统中。
   不要为 NameNode 和 Secondary NameNode 的硬件而便宜。

10. 大型生产集群（>=50 台服务器）(cpu拥有 10–12 核，64–128 GB RAM 和 16 T SATA 磁盘 双电源 RAID:提高磁盘利用率+容错能力 )
    中型集群的所有情况都适用，只是您可能需要五个可以与 HBase Master 搭配使用的ZooKeeper 实例。
    确保 NameNode 和 Secondary NameNode +HregionServer有足够的内存，具体取决于群集的存储容量。

11. hbase 的配置
    环境变量:JAVA_HOME HBASE_CLASSPATH
    内存: HBASE_HEAPSIZE HBASE_OPTS
    其他设置:HBASE_MANAGES_ZK=false

12. 设置 SSH 免密登录
    A 主机免密登录 B 主机
    A 主机操作：
    ssh-keygen -t rsa ：生成公钥和密钥
    ssh-copy-id B主机：A 主机将公钥发送给 B 主机
    A 主机连接 B 主机，第一次需要密码验证，验证通过，后期 A 主机连接 B 主机就不要密码验证了。

13. 修改主机名

vi /etc/hosts

14. 创建用户（root 用户）

useradd hadoop
passwd Hadoop

15. 复制 Hadoop + HBase
16. 修改 HBASE_HOME/conf/regionserves
17. 启动
18. 删除节点：
    方式一：

kill -9 regionserver process number(不推荐)

方式二：

hbase-daemon.sh stop regionserver(也不推荐,好一点)

方式三：

graceful_stop.sh (推荐)

步骤介绍：
1、首先停止负载均衡
2、将节点名称上的数据移动到其他节点
3、关闭服务

19. 在不停止服务器在线业务的情况下,调整配置参数.

cd $HBASE_HOME/bin
./graceful_stop.sh --restart --reload debug Node name

参数介绍：
restart：删除数据后重新启动
reload：移动数据后停止服务
debug：输出有关执行过程的信息
Node Name：指定要停止的节点

20. 故障排除：

Hbase fsck 

HBase 提供了 HBCK 工具来检查数据一致性。
数据一致性是指：
1、将每个区域正确分配给一个区域服务器，并且该区域的位置信息和状态正确。
2、每个表都是完整的，每个可能的行键都可以对应一个唯一的区域。
3、与查询相关的命令收集的用法。