海量数据存储实现方案设计1-mycat版

目的

这里使用mycat为例子说明方案设计思路（仅个人学习、思考笔记）。主要尝试解决海量数据存储、动态不停机扩容问题，不再受限于单库、单表、单机等。

mycat简述

mycat 主要以中间件代理的方式，不侵入工程代码来实现分库分表，需要单独部署，应用端查询数据库的过程多了一层转发处理。

mycat应用场景-分库分表

普通的分库分表实现

mycat应用场景-多租户物理隔离

实现多租户物理库的隔离，一个租户分配一个节点库或多个节点库实例，但应用程序只连接 mycat，从而不改造程序本身，实现多租户化。

前提条件

Mycat在更新配置文件后，可以通过不重启服务的方式使配置生效‌，从而保证已连接的应用不受影响，类似nginx reload来刷新使配置生效。

具体操作

• 租户创建时，节点资源申请、审核。
• 审核通过后，自动创建对应的节点实例，并添加节点路由配置到mycat并刷新其配置文件。
• 新租户的数据库实例路由生效，达到物理库隔离。

mycat应用场景-海量数据的不停机扩容

新增节点服务器，可以按年、月等时间分区路由到新的节点服务器，来达到扩容的目的；或者回收节点服务器亦可。

针对新增的节点服务器路由配置，mycat可以类似nginx reload等不停机来刷新。跟上面大体类似的步骤。

或者使用doris等其他组件的话，应该也可以类似不停机更新来达到分区扩容目的。