【编程二三事】ES究竟是个啥？

在最近的项目中，总是或多或少接触到了搜索的能力。而在这些项目之中，或多或少都离不开一个中间件 - ElasticSearch。
今天忙里偷闲，就来好好了解下这个中间件是用来干什么的。

ES是什么?

​ ES全称ElasticSearch，是个基于Lucene的搜索服务器。其作为一个高度可拓展的开源全文搜索和分析引擎，可用于快速对大数据进行存储，搜索和分析。

​ ElasticSearch和Logstash（数据收集、日志解析引擎）、Kibana（分析和可视化平台）一起开发的。这三个产品被设计成一个集成解决方案，称为“Elastic Stack”(以前被称为ELK技术栈)。

为什么要用ES？

传统关系数据库的缺陷

​ 为了了解ES的优势在哪，我们首先需要回顾传统的mysql数据库作为搜索的时候都有哪些缺陷。

在我们日常搜索的时候，我们都需要通过输入关键词，去检索出来相关的数据。

以搜索“搜索引擎”为例子，你在百度、搜狗等搜索引擎中输入这个关键字，就会得到一系列的搜索结果：

​ 如果这些结果都存储在Mysql数据库中，它大致会呈现如下的存储样式：

​ 每一行会存储唯一标识id、数据内容。

因此，如果需要按照关系型数据库的方式，需要逐行进行搜索匹配相关词，甚至需要用上模糊搜索，如：‘LIKE %xx%’ 等。

​ 且在mysql中，像这类模糊搜索语句，mysql是无法对其建立索引的。因此如果在大数据量下搜索将变得十分缓慢、困难。

​ 而且另外一个点在于，对于搜索引擎来说，还需要将用户输入的词做拆分，依旧是以”搜索引擎“为例子，那么搜索结果其实需要同时包含“搜索”、“引擎”、“搜索引擎”的结果，而这无疑又一次加大了采用关系型数据库实现的复杂性。

​ 总结下来，使用关系型数据库处理搜索问题，主要有两个较大的问题：模糊搜索困难、分词查询支持困难。

​ 那么为什么关系型数据库会有这样的问题呢？本质上是关系型数据库的正排索引限制了其搜索性能。你可能这里会好奇了。什么是正排索引呀？

​ 以上面的数据为例子，正排索引就是先找到对应的文章，而后才能够知道每个文章中对应的词是什么。绘制成图片大概就是下面的样子：

​ 因此，如果用这样正排索引的方式搜索，相当于每次都要进行全表的扫描、匹配，那么自然很难支持搜索的能力。

ElasticSearch优势

倒排索引

​ 上面我们总结了传统数据库实现搜索的主要难度在于：模糊搜索困难、分词查询困难。

而其归根结底是由于数据库的组织方式是通过正排索引实现的。导致了每次搜索需要匹配的难度大。

​ 那么，这里可能就有聪明的同学想到了，如果根据文章搜索词的难度大，那么是否转变一下存储方式，先存词，再存文章，不就可以一下子搜索到了嘛！

​ 如果你想到了这个，那么恭喜你，你已经具备从零开始研发ES的潜力的。没错，ES为了支持快捷的搜索，底层的实现也是这么做的，而这种实现方法就是大名鼎鼎的----“倒排索引”。

数据存储结构

​ 要更深入的了解ES的倒排索引的设计逻辑，我们可以先参照Mysql的数据存储设计介绍几个ES中的常见名词：

Mysql等关系数据库	ElasticSearch数据库
数据库（dataBase）	索引（index）
表（table）	类型（type）
行（row）	文档（document）
列（column）	字段（field）

​ 结合同Mysql的定义对比，我们就不难理解如下的ES数据代表什么含义了：

{"took": 1,"timed_out": false,"_shards": {"total": 1,"successful": 1,"skipped": 0,"failed": 0},"hits": {"total": {"value": 1,"relation": "eq"},"max_score": 1.0,"hits": [{"_index": "china","_type": "_doc","_id": "beijing","_score": 1.0,"_source": {"name": "beijing"}}]}
}

​ 像如上的数据，就是实际通过es查询得到的数据。其中的__index就是代表所属的数据索引； __type就是指所属的的文档类型，__id就是对应分词出来的结果内容

​ 那么我们现在已经知道了ES是如何存储数据的，那么还有个问题：ES建立倒排索引的流程是怎样的呢？这个说来也并不困难，主要有以下四步：

第一步，首先就是需要获取文本数据，常见的方法就有网页爬虫、logstash搜集的方式。

第二步，等到数据收集完成以后，我们需要采用分词器进行分词。就是需要将咱们的文本数据拆分成多个细小的单词，用于后续的倒排索引的建立。

第三步，就是生成倒排索引了。

第四步，就是将相关数据同步到集群中的其他节点上。

存在缺陷

​ 那么说了这么多，ES就没有缺点吗？那当然也不是的，从上述的数据处理流程、处理原理来看，Es主要有两个问题：

1、需要分词，写入存储较慢。

2、需要建立的索引量大。

​ 这两种问题也不难理解。对于ES来说，一个文本存储的方式写入的时候需先分词，拆分成多个词才可以插入到索引中。而进行分词的时候就会耗费较多的时间。

​ 同时相比传统的正排索引，原本只需要建立一个索引的文章，现在需要按照词拆分后建立索引。因此创建出的数量就会比原本多得多。

​

ES的实际应用

​ 上文介绍了ES的原理、优势和劣势。那么什么场景下会用到ES呢？其实最常见的场景就是日志实时分析。

​ 这是推动 ES 快速发展的场景，从官方统计数字、云上运营经验看，占据了 ES 使用场景的 70%+。Elastic Stack 提供的完整日志解决方案，已经助力 ES 成为日志实时分析的开源首先方案。

​ 简单来说，日志实时分析主要有三个主要部分组成：logstash、ES集群、kibana。logstash负责收集各个业务系统的日志并推送到ES集群，ES将接收到的日志数据收集起来建立索引。kibana则是提供了一个可视化的搜索能力，用于支持运维人员进行相关报错日志的搜索。

参考文献

ES是什么？

Elasticsearch最新完整版教程通俗易懂，最适合后端编程人员的elasticsearch快速实战教程_ES搜索引擎之核心技术+实战教学

终于有人把Elasticsearch原理讲透了！