揭秘MySQL数据同步至Elasticsearch的最佳方案与技巧

本文介绍下当前常见的场景之一：Mysql数据同步Elasticsearch的实现方案，这里以电商为例，其实所有相关搜索内容都可以使用此方案。

对于搜索，应该是所有APP必备的基础功能，不同时期有不同的解决方案，本次重点讲解Elasticsearch。

那么，对于运营系统将商品上架后，数据肯定是要写入DB的，这个DB我们直接假设为Mysql，那么，mysql中的数据是如何同步到Elasticsearch呢？这也是本文我们重点讨论的问题。

1.同步双写

这是能想到的最直接的方式，在写入MySQL，直接也同步往ES里写一份数据。

总结：

2.异步双写

• 我们也很容易想到异步双写的办法，上架商品的时候，先把商品数据丢进MQ，为了解耦合，我们一般会拆分一个搜索服务，由搜索服务去订阅商品变动的消息，来完成同步。

前面说的，一些数据需要聚合处理成类似宽表的结构怎么办呢？例如商品库的商品品类、spu、sku表是分开的，但是查询是跨维度的，在ES里再聚合一次效率就低一些，最好就是把商品的数据给聚合起来，在ES里以类似大宽表的形式存储，这样一来查询效率就高一些。

对于多维度查询条件这种其实没什么好办法，基本上还是得搜索服务直接查库，或者远程调用，再查询一遍商品的数据库，就是所谓的回查。

总结:

3.定时任务

假如我们要快速搞搞，数据量有没那么大，怎么办呢？定时任务也可以。

定时任务这种情况最麻烦的一点是频率不好选，频率高的话，会非自然地形成业务的波峰，导致存储的CPU、内存占用波峰式上升，频率低的话实时性比较差，而且也有波峰的情况。

总结:

4.数据订阅

这是目前最流行的就是数据订阅，做到了用户完全无感知，系统完全自动处理。

MySQL通过binlog订阅实现主从同步，各路数据订阅框架比如canal就依据这个原理，将client组件伪装成从库，来实现数据订阅。

我们以应用最广泛的canal为例，canal通过canal-adapter，支持多种适配器，其中就有ES适配器，通过一些配置，启动之后，就可以直接把MySQL数据同步到ES，这个过程是零代码的。

需要特别注意，使用canal看起来很美好，帮我们把同步的事情都干了，但其实，还是要写代码。为什么呢？

前面提到的多张表数据聚合，canal的支持没那么好，所以还是得回查。这时候用canal-adapter就不合适了，需要自己实现canal-client，监听和聚合数据，将数据写入ES：

这种看起来和异步双写比较像，但是第一降低了商品服务的耦合，第二数据的实时性更好。

总结:

至于数据订阅框架的选型，目前的组件较多，这里不再做更多介绍，如有兴趣，大家可以搜索CDC(Change Data Capture)进行更多的扩展和了解。