- 工程实践 - 《QPS百万级的有状态服务实践》01 - 存储选型实践

           本文属于专栏《构建工业级QPS百万级服务》

---

        《QPS百万级的无状态服务实践》已经完成。截止目前为止，支持需求“给系统传入两个日期，计算间隔有多少天”的QPS百万级服务架构已经完成。如图1：

  

图1

        可是这个架构不能满足需求“给系统传入两个日期和国家信息，计算中间有多少个节假日”，也不能满足需求“查到最近用户的历史查询记录”。

        首先每个国家，每年的节假日不一样。以中国为例，每年的五一的开始时间和结束时间，由国务院办公厅大约提前一年发布。所以我们的服务需要实时去更新节假日的信息。这时候第一个问题来了，数据如何更新。

        第一步是数据生产，由于国家很多，每个国家每年的节假日发放的网站和数据格式都可能变化，而这种更新频率不高，但又十分重要的数据，一般需要自动化生产+人工检测。先通过API或者爬虫爬取到信息，然后程序检测，程序检测有风险的人工介入。所以我们的架构升级为图2。

      

图2

       这里我们面临着第一个存储选型。那就是我们的节假日数据存在哪里。这里我们从数据量大小、写频率、读频率、数据生产成本、存储成本等几个角度，分析数据特征。

• 数据量大小：每个国家节假日不超过100个，一共195个国家，不超过20000个节假日，假设每个节假日key为30个字节的，时间信息为两个int32的值，那总的大小不超过5MB
• 写频率：一年的节假日一般在一年的某一天更新，加上更正，195个国家，365天，写频率大约是1次/天
• 读频率：这里取决于业务需求，如果我们希望新的节假日数据发布之后，我们可以在一分钟内更新，那我们读取数据数据频率大约是1次/分钟
• 数据生产成本：这里数据生产是依赖自动化程序+少量人工，整体来说成本偏低。所以即使数据丢失，重新生产也能接受。不过这可能会让服务小时级不能工作，所以数据备份也是需要的
• 存储成本：目前计算机资源，磁盘相对便宜，成本更高的是CPU和内存。所以存储在磁盘本身便宜，而存储中间件的成本，基本取决于需要读取数据的延迟和频率

        分析完数据特征，下一步要做的就是技术选型。技术选型，本质上做的事情是，找到满足业务需求的最便宜的方案（这里的便宜不止是机器资源，还是开发、维护成本）。从上面的业务特征，可以大概刻画出我们想要的存储中间件特征为，数据量不大（按数据量大小收费比较划算），写少读多（数据读取便宜，写可以贵点），数据生产成本不高，对业务小时级别影响（有备份，但也不要成本太高）

        这里我不会选择Redis，因为数据可以分钟级更新，10秒级的数据延迟服务都可以接受，那内存型的存储太贵了点。同理，我也不会选择Mysql，内存+磁盘型依然有些浪费。所以磁盘存储的对象存储系统更便宜，也能满足我的需求，以阿里云对象存储系统OSS为例，下图是我截取的核心收费价格

    

      

图3

        如图3，我的选择是同城冗余存储标准型。因为数据取回的频率很高，且不想接受小时级别服务停止。

        很明显，这里的架构“似乎”有优化的空间，比如只在数据变化时，服务容器才去获取数据。这样获取数据频率变低，这让我们可能可以考虑低频访问型。但是目前的业务形态，我不会去做这样的事，因为这个方案，需要“数据生产方通知+服务容器轮询”，它增加了服务的复杂度，而成本大概也只是从2分钱变成了1.5分钱。但是着不意味着，所有业务都不需要，比如数据从5MB，变成了5GB、5TB、甚至5PB，量变就引起了质变。现在我们先只考虑5MB，并且我们知道50MB以内，我们的方案都没有变的必要。不要过早的考虑优化，是架构设计的重要哲学之一。

        到目前为止，我们只解决了数据生产和存储的问题，数据更新的问题还没有解决。用户查询相关的问题也还没有开始考虑。这些我会在后续的《QPS百万级的有状态服务实践》系列中，分享我的经验。