传统开发读写优化与HBase

目录:
一、传统开发数据读写性能优化
1. Mysql 分表、主从复制与读写分离
2. Redis(缓存型数据库)主从复制与读写分离
二、HBase

一、传统开发数据读写性能优化

1、Mysql 分表、主从复制与读写分离

• mysql分库分表方案

  一种分表方案：设置表A 表B

  • 表A 自增列从1开始 步长2
  • 表B 自增列从2开始 步长2
  • 配置文件my.ini(window) 主键为奇数进表A 偶数进表B

• Mycat+MySql 主从复制-读写分离

  通过Mycat

  • 增删改：写 => 主表 强一致性：InnoDB
  • 查询：读 => 从表 弱一致性：MyIsam
  • 主从表之间 => 通过二进制日志binlog实现主从表的数据同步

  具体主从复制的工作过程请参考：MySQL主从复制与读写分离（附配置实例）

2、Redis(缓存型数据库)主从复制与读写分离

缓存数据库：哨兵【主从复制】，集群

后端查询都从Redis走
【定期】将关系型数据库数据【同步】到Redis：实时性(一致性)

具体过程参考：Redis主从复制、哨兵、Cluster三种模式摸透
主从复制存在一定的数据延迟，大数据不强调一致性，只需最终一致性

Redis 集群 + 哨兵的主从复制解决数据的分布式存储但也只是解决了读的问题，写还是面向数据库，写的慢主从复制同步的慢读的数据有问题或写的太频繁数据库崩了，对于写的数据慢可以采用批处理的方式

多主多从都解决不了问题就可以考虑使用HBase

二、HBase

HBase是一个建立在HDFS之上的分布式，提供高可靠性，高性能，列存储，可伸缩，实时读写NoSQL的数据库系统。

Hbase 本身就是集群 主要优点之一：吞(写)吐(读)量大

HBase介绍、特点、应用场景、生态圈