分库分表（一）

假设目前有一张表order 订单表需要分库分表举例给出方案设计并解决上述提到的分库分表带来的问题详细说明下面给你用一个比较接近真实互联网生产环境的例子来说明假设有一张order 订单表数据量增长很快需要进行分库分表设计并解决分库分表带来的问题。我会按照一个完整架构设计步骤说明1️⃣ 业务背景2️⃣ 分库分表方案设计3️⃣ 路由规则设计4️⃣ 全局ID方案5️⃣ 解决跨库查询6️⃣ 解决跨库事务7️⃣ 解决扩容问题8️⃣ 架构总结一、业务背景假设一个电商系统订单表CREATE TABLE order (id BIGINT PRIMARY KEY,user_id BIGINT,product_id BIGINT,price DECIMAL(10,2),status INT,create_time DATETIME);业务规模指标数值用户数3000万日订单500万总订单20亿问题单表数据量巨大索引非常大查询变慢写入压力大所以需要分库分表。二、分库分表总体方案设计8个库每个库16张表总共8 × 16 128张表结构示例order_db_0order_0order_1...order_15order_db_1order_0order_1...order_15整体架构应用|分库分表中间件|-------------------------------| | | | |db0 db1 db2 ... db7可以使用ShardingSphereMyCatVitess或应用层实现。三、分库分表规则设计核心选择分片键user_id原因用户查询订单最频繁用户订单通常一起查询分库规则db_index user_id % 8示例user_id库1001db11002db21003db3分表规则table_index order_id % 16例如order_id 123456计算123456 % 16 0所以order_db_1.order_0完整路由流程user_id → 计算库order_id → 计算表四、全局ID问题解决问题如果每个库使用auto_increment会出现db0.order id1db1.order id1ID冲突。解决方案Snowflake算法Snowflake 64位ID结构1bit 符号位41bit 时间戳10bit 机器ID12bit 序列号生成ID示例175928847299117063优点全局唯一趋势递增不依赖数据库生成流程应用↓ID生成服务↓返回order_id↓写入数据库五、跨库查询问题解决原SQLselect count(*) from order;分表后order_0order_1...order_15无法直接查询。方案1中间件聚合例如ShardingSphere 自动执行查询所有表↓合并结果流程应用↓中间件↓查询128张表↓聚合结果方案2建立统计表例如order_stat结构dateorder_countamount订单创建时订单服务↓写订单表↓更新统计表查询统计直接select order_count from order_stat;六、跨库JOIN问题解决原SQLselect *from order ojoin user u on o.user_id u.id;如果order_dbuser_db数据库无法 join。解决方案1应用层join流程查订单↓获取user_id↓调用用户服务↓获取用户信息解决方案2数据冗余订单表冗余用户信息orderuser_iduser_nameuser_level这样查询select user_name from order;不需要 join。七、分布式事务问题解决假设订单和库存订单库库存库原事务begininsert orderupdate stockcommit跨库后无法保证事务。方案消息最终一致性流程创建订单↓写订单表↓发送MQ消息↓库存服务消费消息↓扣减库存如果失败重试补偿常用MQKafkaRocketMQRabbitMQ八、扩容问题解决如果最初4个库路由user_id % 4扩容到8个库会导致大量数据迁移。解决方案一致性Hash结构hash ring优点只迁移少量数据扩容平滑或者预留库数量例如最初设计16个库先使用8个九、分页排序问题原SQLselect *from orderorder by create_timelimit 10;分表后流程每个表取10条↓应用层汇总↓排序↓取前10很多中间件支持这种merge sort。十、最终架构图完整系统用户|网关|订单服务|分库分表中间件|-----------------------------------------| | | | | |db0 db1 db2 db3 ... db7辅助系统ID生成服务消息队列缓存Redis监控系统十一、总结订单系统分库分表设计问题解决方案ID冲突Snowflake跨库查询中间件聚合 / 统计表跨库JOIN应用层join / 数据冗余分布式事务MQ最终一致性扩容问题一致性Hash分页排序merge sort核心原则用分库分表解决数据规模问题用分布式架构解决带来的复杂度