当前位置：首页 > news >正文

Lucene的概述与应用场景（1）

news 2025/7/14 7:06:08

文章目录

第1章 Lucene概述
- 1.1 搜索的实现方案
- - 1.1.1 传统实现方案
  - 1.1.2 Lucene实现方案
- 1.2 数据查询方法
- - 1.1.1 顺序扫描法
  - 1.1.2 倒排索引法
- 1.3 Lucene相关概念
- - 1.3.1 文档对象
  - 1.3.2 域对象
  - - 1）分词
    - 2）索引
    - 3）存储
  - 1.3.3 常用的Field种类
- 1.4 分词器

第1章 Lucene概述

Lucene是apache软件基金会 jakarta项目组的一个子项目，是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。其作者是大名鼎鼎的大数据之父Doug-Cutting。Lucene通过使用倒排索引技术，能够快速地从大量的文档中检索出相关信息。对文本数据进行高效的索引和搜索，支持复杂的查询语法，包括布尔运算、短语搜索、模糊搜索等。

在Java开发环境里Lucene是一个成熟的免费开源工具。就其本身而言，Lucene是当前以及最近几年最受欢迎的免费Java信息检索[程序库。人们经常提到信息检索程序库，虽然与搜索引擎有关，但不应该将信息检索程序库与搜索引擎相混淆。Java中著名的搜索引擎ElasticSearch、Solr等都是采用Lucene作为内核进行开发；

Lucene官网：https://lucene.apache.org/

Lucene的应用场景如下：

网站搜索：许多网站使用Lucene或其衍生产品（如Elasticsearch）来提供站内搜索功能。
企业级搜索：在企业内部，Lucene可用于构建文件、邮件、数据库记录等信息的搜索引擎。
日志分析：对于大规模的日志数据，可以通过Lucene快速定位到特定的错误或异常信息。
电子商务：在线购物平台经常利用Lucene来优化商品搜索体验，提高用户满意度。

1.1 搜索的实现方案

1.1.1 传统实现方案

用户发送请求查询到服务器，服务器通过SQL查询数据库将结果返回，最终将结果集响应到用户。

特点：数据库服务器压力大，查询速度慢，搜索不智能化。

1.1.2 Lucene实现方案

说明：根据用户输入的搜索关键词（java），应用服务器通过lucene的API搜索索引库，索引库把搜索结果响应应用服务器，应用服务器再把搜索结果响应给用户。

特点：解决用户量大，数据量很大，系统对搜索速度要求高并且需要智能化搜索的业务需求。

1.2 数据查询方法

1.1.1 顺序扫描法

举个例子：比如我们有大量的文件，文件编号从A，B，C。。。。。。

需求：要找出文件内容中包含有java的所有文件

需求实现：从A文件开始查找，再找B文件，然后再找C文件，以此类推。。。。。

特点：如果文件数量很多，查找将会非常慢。

1.1.2 倒排索引法

举个例子：使用新华字典查找汉字，先找到汉字的偏旁部首，再根据偏旁部首对应的目录（索引）找到目标汉字。这个目录在计算机中被称为索引，是用来帮助程序快速查询数据用的。

索引的组织方式有很多，底层结构也不一样，但无论是那种索引都只有一个目标，那就是用于提高查询性能，快速定位到目标数据所在。

以Lucene为例建立倒排索引：

文件一（编号0）：I am Chinese I am Chinese

文件二（编号1）：I love China

Term	(Doc，Freq)
Chinese	(0) (2)
love	(1)(1)
china	(1)(1)

说明：

建立倒排索引，就是建立词语与文件的对应关系（词语在什么文件出现，出现了几次，在什么位置出现）
搜索的时候，直接根据搜索关键词（java），在倒排索引中找到目标内容。

1.3 Lucene相关概念

使用Lucene的第一步我们需要采集原始数据，数据的来源可以是传统的关系型数据库、文本文件、网络资源等；

保存在关系数据库中的业务数据MySQL：通过JDBC操作获取到关系数据库中的业务数据（mysql）
保存在文件中的数据：通过IO流获取文件上的数据
网络上的网页文件数据：通过爬虫（蜘蛛）程序获取网络上的网页数据

1.3.1 文档对象

文档对象（Document）：一个文档对象包含有多个域（Field）。一个文档对象就相当于关系数据库表中的一条记录，一个域就相当于一个字段。

1.3.2 域对象

在Lucene中，一篇文档对应数据库的一行数据，一个域对象则对应一个字段，一个文档由多个域对象组成。在Lucene中不同的域对象具有不同的属性和功能

1）分词

分词（tokenized）：对域中的文本内容进行根据要求进行分析，将一段文本分析成一个个符合逻辑的词组；

原始文档：

华为5G智能全面屏拍照游戏手机

分词后：

华为、5G、智能、全面屏、拍照、游戏、手机、游戏手机

需要分词的域（Field）：商品名称，商品标题。这些内容用户需要输入关键词进行查询，由于内容格式大，内容多，需要进行分词处理建立索引。
不需要分词的域（Field）：商品编号，身份证号。是一个整体，分词以后没有意义，不需要分词。

2）索引

索引（indexed）：对分词后的数据（词组）建立索引关系（建立倒排索引表），索引的目的是为了搜索，最终实现的效果是只需要搜索分词后的词组就能找出对应的文档；

创建索引是对词组单元索引，通过词语找文档，这种索引的结构叫倒排索引结构。

原始文档：

doc-01: 华为5G智能全面屏手机
doc-02: vivo智能5G游戏手机

分词后的数据：

doc-01: 华为、5G、智能、全面屏、手机、全面屏手机
doc-02: vivo、智能、5G、游戏、手机、游戏手机

建立的索引（倒排索引表）：

Term	(Doc，Freq)
华为	(1) (1)
5G	(1) (1) (2) (1)
智能	(1) (1) (2) (1)
全面屏	(1) (1)
全面屏手机	(1) (1)
游戏	(1) (1)
手机	(1) (1) (2) (1)
游戏手机	(2) (1)
vivo	(2) (1)

建立索引其实就是建立词组与文档之间的关系，这个关系表就是倒排索引表，由于倒排索引表中也包含词组，因此索引建立的越多，占用的磁盘空间也会很大；

需要建立索引的域：商品名称，商品描述需要分词建立索引。商品编号，身份证号作为整体建立索引。只要将来要作为用户查询条件的词，都需要索引。
不需要建立索引的域：商品图片路径，不作为查询条件，不需要建立索引。

3）存储

存储（stored）：由于索引库的数据都是从其他地方采集的（大多数是从关系型数据库中采集），因此其他地方已经存储一份原始数据，因此有些域我们是不需要存储到Lucenen的索引库的，只有那些需要搜索的域我们才存储到Lucene中；

需要存储的域：商品名称，商品价格。凡是将来在搜索结果页面展现给用户的内容，都需要存储。

不需要存储的域：商品描述。内容多格式大，不需要直接在搜索结果页面展现，不做存储。需要的时候可以从关系数据库取。

1.3.3 常用的Field种类

Field种类	数据类型	是否分词	是否索引	是否存储	说明
StringField(FieldName,FieldValue,Store.YES))	字符串	N	Y	Y或N	字符串类型Field，不分词，作为一个整体进行索引（比如：身份证号，商品编号），是否需要存储根据Store.YES或Store.NO决定
DoublePoint(FieldName,FieldValue)	数值型代表	Y	Y	N	Double数值型Field代表，分词并且索引（比如：价格），不存储
StoredField(FieldName,FieldValue)	重载方法，支持多种类型	N	N	Y	构建不同类型的Field，不分词，不索引，只存储。（比如：商品图片路径）
TextField(FieldName,FieldValue,Store.NO)	文本类型	Y	Y	Y或N	文本类型Field，分词并且索引，是否需要存储根据Store.YES或Store.NO决定

1.4 分词器

分词器，是将用户输入的一段文本，分析成符合逻辑的一种工具。到目前为止呢，分词器没有办法做到完全的符合人们的要求。和我们有关的分析器有英文的和中文的；

英文分词：

英文分词过程：输入文本-关键词切分-去停用词-形态还原-转为小写。

我们知道英文本身是以单词为单位，单词与单词之间，句子之间通常是空格、逗号、句号分隔。因此对于英文，可以简单的以空格来判断某个字符串是否是一个词，比如：I am Chinese，Chinese很容易被程序处理。

中文分词：

中文是以字为单位的，字与字再组成词，词再组成句子。中文：我是中国人，电脑不知道“是中”是一个词，还是“中国”是一个词？所以我们需要一定的规则来告诉电脑应该怎么切分，这就是中文分词器所要解决的问题。

StandardAnalyzer分词器

一元切分法：一个字切分成一个词。

一元切分法“我是中国人”：我、是、中、国、人。扩展字库

CJKAnalyzer分词器

二元切分法：把相邻的两个字，作为一个词。

二元切分法“我是中国人”：我是，是中、中国、国人。

SmartChineseAnalyzer 词库分词器

通常一元切分法，二元切分法都不能满足我们的业务需求。SmartChineseAnalyzer，对中文支持较好，但是扩展性差，针对扩展词库、停用词均不好处理。

IK-analyzer：IK分词器

最新版在 https://code.google.com/p/ik-analyzer/上，支持 Lucene 4.10 从 2006 年 12 月推出1.0 版开始， IKAnalyzer 已经推出了 4 个大版本。最初，它是以开源项目 Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。从 3.0 版本开始，IK 发展为面向 Java 的公用分词组件，独立于 Lucene 项目，同时提供了对 Lucene 的默认优化实现。适合在项目中应用。

ik分词器本身就是对Lucene提供的分词器Analyzer扩展实现，使用方式与Lucene的分词器一致。

依赖：

<dependency><groupId>com.janeluo</groupId><artifactId>ikanalyzer</artifactId><version>2012_u6</version></dependency>

但是IK分词器在2012年就不再更新了，在Lucene 5.4.0版本出现了部分兼容问题，因此我们本次使用的是：

<dependency><groupId>com.github.magese</groupId><artifactId>ik-analyzer</artifactId><version>8.5.0</version></dependency>