Redis Search系列 - 第一讲 创建索引

一、引言

Redis Search 是 Redis 的一个模块，用于提供全文搜索和二级索引功能。它允许在 Redis 数据库中执行复杂的搜索查询，并支持多种数据类型和查询操作。以下是 Redis Search 的一些关键特性：

1. 全文搜索：支持对文本字段进行全文搜索，包括分词、词干提取和高亮显示等功能。
2. 多字段索引：可以对多个字段进行索引，包括文本、数值、地理位置等。
3. 排序和分页：支持对搜索结果进行排序和分页，方便处理大数据量的查询结果。
4. 聚合查询：支持对数据进行聚合操作，如分组、计数、求和等。
5. 高性能：利用 Redis 的内存存储特性，提供高性能的搜索和索引功能。

二、全文检索基本概念

在全文检索（full-text search）中，以下术语是关键概念：

• Index：索引是一个数据结构，用于快速查找包含特定词的文档。它通常是一个倒排索引（inverted index），其中存储了每个词及其在文档中的位置。

• Document：文档是索引中的基本单位。它可以是任何形式的文本数据，如网页、文章、电子邮件等。在索引中，每个文档都有一个唯一的标识符。

• Field：字段是文档中的一个部分或属性。例如，一个文档可能有标题字段、正文字段、作者字段等。字段可以单独索引和搜索。

• Token：词元是从文本中提取的最小单位，通常是单词或词组。词元化（tokenization）是将文本分割成词元的过程。

• Term：术语是索引中的一个条目，表示一个唯一的词元。术语是词元的规范化形式，通常经过词干提取（stemming，比如复数变单数、动词过去式变回原形）和小写转换。

• Stop Word：停用词是指在索引和搜索过程中被忽略的常见词，如 “the”、“is”、“and” 等。停用词通常对搜索结果的相关性没有显著影响，因此被过滤掉以减少索引大小和提高搜索效率。
  

三、创建索引

创建索引后，Redis Stack会自动索引存储在数据库中的任何现有的、修改的或新创建的JSON文档。

• 对于现有文档，索引在后台异步运行，因此文档可用可能需要一段时间。
• 修改已有的文档和新创建的文档是同步索引的，因此在添加或修改命令完成时，文档将可用。

创建索引FT.CREATE命令语法：

FT.CREATE index [ON HASH | JSON] [PREFIX count prefix [prefix ...]] [FILTER {filter}][LANGUAGE default_lang] [LANGUAGE_FIELD lang_attribute] [SCORE default_score] [SCORE_FIELD score_attribute] [PAYLOAD_FIELD payload_attribute] [MAXTEXTFIELDS] [TEMPORARY seconds] [NOOFFSETS] [NOHL] [NOFIELDS] [NOFREQS] [STOPWORDS count [stopword ...]] [SKIPINITIALSCAN]SCHEMA field_name [AS alias] TEXT | TAG | NUMERIC | GEO | VECTOR | GEOSHAPE [ SORTABLE [UNF]] [NOINDEX] [ field_name [AS alias] TEXT | TAG | NUMERIC | GEO | VECTOR | GEOSHAPE [ SORTABLE [UNF]] [NOINDEX] ...]

FT.CREATE命令参数说明：

索引参数	说明
index	要创建的索引名称。如果该索引已存在，则返回错误回复（错误）“Index already exists”。
SCHEMA	在 SCHEMA关键字之后，声明要索引的字段： field_name [AS alias] field_name：对于HASH则哈希中的字段名称，对于 JSON则为JSON Path表达式 alias：定义field的别名，可使用此功能将复杂的 JSONPath 表达式与更易记住（且更易输入）的名称关联
ON {data_type}	HASH (默认) 或JSON，即支持索引的Redis数据类型， 若值为JSON则需要安装 RedisJSON模块
PREFIX {count} {prefix}	需要被索引的key前缀，支持设置多个前缀，支持通配符*，默认*（表示全部）
FILTER {filter}	filter过滤表达式，如使用@__key表示新增或修改（just added/changed）的key， TODO A field can be used to set field name by passing ‘FILTER @indexName==“myindexname”’.
LANGUAGE {default_lang}	文档索引的默认语言，默认值为：english， 可选值：[arabic, armenian, danish, dutch, english, finnish, french, german, hungarian, italian, norwegian, portuguese, romanian, russian, serbian, spanish, swedish, tamil, turkish, yiddish, chinese]
LANGUAGE_FIELD {lang_attribute}	设置文档中的某个field表示具体的LANGUAGE
SCORE {default_score}	文档的默认分值score，默认值：1.0
SCORE_FIELD {score_attribute}	设置文档中的某个field表示具体的SCORE，此field的值范围为：[0.0, 1.0]，如不设置默认为1
PAYLOAD_FIELD {payload_attribute}	设置文档的某个属性用于存储文档的二进制安全负载字符串，可在查询时由自定义评分函数或重新返回给客户端。TODO is document attribute that you use as a binary safe payload string to the document that can be evaluated at query time by a custom scoring function or retrieved to the client.
MAXTEXTFIELDS	强制Redis Search索引编码超过32个文本属性，这允许您使用FT.ALTER添加其他属性(超过32个)。为了提高效率，如果索引的文本属性少于32个，Redi Search会对索引进行不同的编码
NOOFFSETS	不存储文档的term偏移量，可以节省内存，但不允许精确搜索或高亮显示， 使用此选项则意味着NOHL
TEMPORARY {seconds}	临时索引，设置超过n秒 - 未被搜索或新增 - 即删除该索引及其关联的数据 注： 普通索引删除（FT.DROPINDEX）时并不删除数据，需使用DD标志才可级联删除
NOHL	不支持高亮highlighting，可以节约存储和内存， 使用此选项则意味着NOOFFSETS
NOFIELDS	不存储每个term的属性位，可以节省内存，但不允许按特定属性进行过滤
NOFREQS	避免在索引中保存term频率，可以节省内存，但不允许基于文档中给定term的频率进行排序
STOPWORDS {count}	使用自定义停词（stop word）列表设置索引，在索引和搜索时忽略这些词。 {count} 是停用词的数量，后面是长度正好为 {count} 的停词参数列表。 如果未设置，FT.CREATE 将使用默认的停词列表。 如果 {count} 设置为 0，则索引没有停用词。
SKIPINITIALSCAN	创建索引时忽略扫描及索引已有数据

注意事项

• 属性数量限制：RediSearch 支持每个模式最多 1024 个属性，其中最多 128 个可以是 TEXT 属性。在 32 位构建中，最多 64 个属性可以是 TEXT 属性。属性越多，索引越大，因为每增加 8 个属性，每个索引记录需要额外一个字节进行编码。如果不需要按文本属性进行过滤，可以始终使用 NOFIELDS 选项，不将属性信息编码到索引中，以节省空间。这仍然允许按数值和地理属性进行过滤。
• 在集群数据库中运行：在集群数据库中有多个索引时，需要确保要索引的文档与索引位于同一分片上。可以通过按索引名称标记文档来实现这一点，例如：
  • HSET doc:1{idx}
  • FT.CREATE idx … PREFIX 1 doc: …
• 当在集群数据库中运行Redi搜索时，您可以使用RSCoordinator跨分片跨索引。在这种情况下，上述规定不适用。

在SCHEMA中field支持的类型：

Field类型	说明
TEXT	允许全文（full-text）检索（会被分词、倒排索引）
TAG	由逗号分隔的多标签文本，允许精准匹配（exact-match），如分类、主键、标签等的精确匹配
NUMERIC	数字范围检索
GEO	地址位置（Point），格式：经度,纬度，允许圆周范围检索
VECTOR	向量（多值数组）相似度检索，需要dialect 2及以上(introduced in RediSearch v2.4) ， 关于VECTOR的详细说明可参见：Vectors
GEOSHAPE	允许多边形（polygon）检索，需使用WKT格式：POLYGON((x1 y1, x2 y2, …) ， 支持的坐标系： 球面（默认） - SPHERICAL for Geographic longitude and latitude coordinates 平面 - FLAT for Cartesian X Y coordinates

在SCHEMA中field支持的参数说明：

参数	说明
SORTABLE	NUMERIC、TAG、TEXT 或 GEO 属性可以有一个可选的 SORTABLE 参数。 当用户按此属性的值排序结果时，结果可用的延迟非常低。 请注意，这会增加内存开销，因此请考虑不要在大型文本属性上声明它。 可以在没有 SORTABLE 选项的情况下对属性进行排序，但延迟不如使用 SORTABLE 时好。
UNF	默认情况下，对于哈希（不适用于 JSON），SORTABLE 会对索引值进行规范化（字符设置为小写，去除变音符号）。 使用未规范化形式（UNF）时，可以禁用规范化并保留值的原始形式。 对于 JSON，UNF 在 SORTABLE 时是隐式的（禁用规范化）。
NOSTEM	索引值时禁用词干提取（stemming）。 这对于诸如专有名称之类的内容可能是理想的。
NOINDEX	设置属性不被索引， 修改NOINDEX属性不会导致文档的完全重新索引。 有NOINDEX 且 没有 SORTABLE，则属性将被索引忽略。
PHONETIC {matcher}	将文本属性声明为 PHONETIC 将在搜索中默认执行语音匹配。强制性的 {matcher} 参数指定使用的语音算法和语言。支持以下匹配器： dm:en - 英语的双重音码 dm:fr - 法语的双重音码 dm:pt - 葡萄牙语的双重音码 dm:es - 西班牙语的双重音码 有关更多信息，请参见：Phonetic matching
WEIGHT {weight}	适用于 TEXT 属性，声明在计算结果准确性时此属性的重要性。这是一个乘数因子，如果未指定，则默认为 1。
SEPARATOR {sep}	适用于 TAG 属性，指示属性中包含的文本如何拆分为单个标签。默认值为,且参数值必须是单个字符。
CASESENSITIVE	适用于TAG 属性，保留标签的原始字母大小写。如果未指定，则字符将转换为小写。
WITHSUFFIXTRIE	对于 TEXT 和 TAG 属性，保留一个包含所有匹配后缀的术语的后缀字典树。 它用于优化包含（foo）和后缀（*foo）查询。否则，将对字典树进行暴力搜索。 如果某些字段存在后缀字典树，则检索时会忽略其他字段
INDEXEMPTY	对于 TEXT 和 TAG 属性，在 v2.10 中引入， 允许您索引和搜索空字符串。 默认情况下，空字符串不会被索引， 更多使用说明参见：Index missing or empty values
INDEXMISSING	对于所有字段类型，在 v2.10 中引入， 允许您搜索缺失值，即不包含特定字段的文档。 注意： 字段为空值与文档缺少值之间的区别。 默认情况下，缺失值不会被索， 更多使用说明参见：Index missing or empty values

FT.CREATE命令示例：

# 创建JSON索引
FT.CREATE itemIdx ON JSON PREFIX 1 item: 
SCHEMA $.name AS name TEXT $.description as description TEXT $.price AS price NUMERIC $.colors.* AS colors TAG $.location AS loc GEO