OceanBase V4.3.5 上线全文索引功能，让数据检索更高效

近日，OceanBase 4.3.5 BP1 版本正式推出了企业级全文索引功能。该版本在中文分词、查询效率及混合检索能力上进行了全面提升。经过自然语言模式和布尔模式在不同场景下的对比测试，OceanBase 的全文索引性能明显优于 MySQL。 

点击下载  OceanBase 社区版 4.3.5 BP1 >> 

全文索引（Full-Text Index），是一种专为加速数据库中文本数据检索而设计的特殊索引类型，尤其擅长处理包含大量文本字段（例如文章内容、评论、博客等）的查询请求。它能够支持高效的关键词匹配查询，允许在文本中搜索一个或多个词语，并迅速返回相关结果。全文索引广泛应用于搜索引擎和文本分析系统中，助力企业和用于迅速查找关键信息，显著提升搜索效率。

在企业的实际生产中，全文索引功能可以应用于系统日志分析、用户分析等众多场景，全文索引能够对数据做到高效率过滤筛选、或是高质量相关性评估。在 AI 领域，OceanBase 基于稀疏稠密向量与全文索引相结合的多路召回架构，能在具有特殊知识领域的 RAG 系统中实现更高效、更精准的召回效果。本文将深入解析其背后的技术原理，并展示其在实践中的表现。

一、全文索引企业级功能四大核心价值

最新版本的全文索引，在以下方面帮助用户解决更多搜索使用上的痛点：

🚩 支持分区表，索引数据和分区数据就近存储，提高性能。

🚩 支持主表上建立多种混合索引（普通二级、全文、多值、向量等），一套数据应对不同查询目标和加速场景。

🚩 支持 IK 中文分词器和词典修改，在一些需要中文专业术语的业务里，字典维护和匹配更加易用和精准。

🚩 支持常用的自然语言和布尔模式，性能优于 MySQL，功能与性能两方面支撑业务做平替。

二、核心技术解析：BM25算法与查询优化

数据库中全文索引要解决的基本问题是如何通过查询里的关键词快速有效地找到对应的文档。在 OceanBase  存储引擎内部，用户的文档（doc）会被分词器（parser）拆分成若干关键词（word/token)。这些关键词连同文档的统计信息特征被存储在内部的辅助表（tablet）上，用于信息检索阶段的相关性评估算法（ranking)。OceanBase 采用能够更好评估信息关联性的 BM25 算法，对用户查询语句中的关键词和存储的文档计算相关性分数，并最终输出有关联的文档和其评分。

结合 OceanBase 已有的高性能查询引擎能力，在全文索引查询流程内，我们针对性地做了 TAAT/DAAT 流程优化、对标 Oracle 的 functional lookup 功能以及多索引间的 index merge 等，让全文能结合更多复杂的查询特性，完成用户想要的数据检索。

三、实战测评：以中文体育新闻搜索为例

接下来，我们以中文体育新闻搜索为例，动手体验 OceanBase 的全文索引，同时展示常用的视图和查询技巧。

集群部署与数据导入

首先用最新版 OceanBase 4.3.5 BP1 搭建两副本，一个 2C4G 的 MySQL 模式租户。

OceanBase 内置支持中文语言的 IK 分词器，以及比传统自然语言模式更好用的布尔模式。所以实验的数据集使用中文足球体育新闻（https://github.com/ej0cl6/SportsSum）。在 OceanBase 内创建一张无主键分区表，包含三列变长字符串（event，date，news）。对 news 字段使用了 IK 中文分词器，并指定 max_word 模式。IK 分词器的另一种 smart 模式，和 max_word 的区别是，其在匹配到最长词语后就停止匹配更短的词语。

OceanBase 内置分词器还包括适合英语的 space 和 beng。以及按照字符长度分割的 ngram。

-- 建表语句CREATE TABLE sport_data_whole(  event varchar(64),  date varchar(16),  news varchar(65535),  fulltext INDEX (news) WITH parser ik PARSER_PROPERTIES =(ik_mode = "max_word"));

通过客户端本地文件的方式，将新闻数据集导入到表格内，时间大概在十五秒左右。

-- 导入语句load data /*+ parallel(8) */  local infile "/home/jiahua.cjh/sports_data_whole.csv"  into table sport_data_whole  fields terminated by ',' lines terminated by '\n';

导入后共 5268 条新闻，平均文档长度在 2700 个中文字。原始数据是 57MB 左右。实际存储的总空间大小，在经过存储引擎的压缩后，连同索引不到 30MB。可以看到其中比较大的是全文索引中倒排和正排辅助表，内部存储了比较多的分词记录。

-- 体育新闻数据集select  avg(length(news)),  count(*)from  sport_data_whole;+-------------------+----------+| avg(length(news)) | count(*) |+-------------------+----------+|         2781.6900 |     5268 |+-------------------+----------+1 row in set (0.03 sec)select  *from  oceanbase.DBA_OB_TABLE_SPACE_USAGE\G*************************** 1. row ***************************     TABLE_ID: 500007DATABASE_NAME: test   TABLE_NAME: sport_data_whole  OCCUPY_SIZE: 8349796REQUIRED_SIZE: 10489856*************************** 2. row ***************************     TABLE_ID: 500008DATABASE_NAME: test   TABLE_NAME: __idx_500007_news  OCCUPY_SIZE: 30247553REQUIRED_SIZE: 31461376*************************** 3. row ***************************     TABLE_ID: 500009DATABASE_NAME: test   TABLE_NAME: __idx_500007_fts_rowkey_doc  OCCUPY_SIZE: 70125REQUIRED_SIZE: 77824*************************** 4. row ***************************     TABLE_ID: 500010DATABASE_NAME: test   TABLE_NAME: __idx_500007_fts_doc_rowkey  OCCUPY_SIZE: 73171REQUIRED_SIZE: 77824*************************** 5. row ***************************     TABLE_ID: 500011DATABASE_NAME: test   TABLE_NAME: __idx_500007_news_fts_doc_word  OCCUPY_SIZE: 28302737REQUIRED_SIZE: 29364224

利用全文索引查询

利用存储进数据库中的新闻数据集和索引，可以做多条件自由组合，达到高过滤性信息检索的目的。例如作为球迷，想搜索包含有 “拜仁” 和 “乌龙球” 的新闻，推荐使用布尔模式。相较于没有索引的字符串 like 匹配，布尔模式语法上更简洁易懂，查询速度也会更快。

-- 布尔模式select  count(*)from  sport_data_wholewhere  match (news) against ('+乌龙球 +拜仁' in boolean mode);+----------+| count(*) |+----------+|        2 |+----------+1 row in set (0.03 sec)select  count(*)from  sport_data_wholewhere  news like '%乌龙球%'  and news like '%拜仁%';+----------+| count(*) |+----------+|        2 |+----------+1 row in set (0.08 sec)

对于返回的多条新闻，在输出结果中增加分值，能用来帮助判断哪条新闻更有关联。OceanBase 的全文支持经过 BM25 算法计算得到的相关性分数。下面可以看到 date 是 0278 的新闻，和我们查询的目的更具关联性。

-- rankingselect  event,  date,  match (news) against ('乌龙球 拜仁') as scorefrom  sport_data_wholewhere  match (news) against ('+乌龙球 +拜仁' in boolean mode);+-------+------+---------------------+| event | date | score               |+-------+------+---------------------+| ucl   | 0278 |  0.4657063867776557 || ucl   | 0201 | 0.41760566608994765 |+-------+------+---------------------+2 rows in set (0.04 sec)

布尔模式相较于自然语言，还能反向剔除一些关键词。例如每场足球比赛中几乎都有犯规行为，如果想知道哪些比赛很激烈，但是没有红黄牌甚至没有犯规，则可以用到布尔模式里的 “-” 运算符。

-- 布尔模式运算select  count(*)from  sport_data_wholewhere  match (news) against ('+激烈 -黄牌 -红牌 -犯规' in boolean mode);+----------+| count(*) |+----------+|       31 |+----------+1 row in set (0.04 sec)

一个调试的小技巧，当发现全文索引的查询结果不符合预期时，通常是因为分词结果不理想。OceanBase 提供了一个快速的 TOKENIZE 函数来辅助测试分词结果。函数支持所有分词器和对应属性。例如下面手动的分词结果，反映了词典中对于国外体育明星人名的支持还不是很好（博阿滕、格策），因此用这些人名去检索新闻的效果可能达不到预期。

-- tokenize 函数select  tokenize(    '博阿滕右路反击人球分过传中，格策后点停球转身闪开角度，在门前8米处低射从皮亚托夫裆下钻进门内',    'ik',    '[{"additional_args": [{"ik_mode": "smart"}]}]'  );+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+| tokenize('博阿滕右路反击人球分过传中，格策后点停球转身闪开角度，在门前8米处低射从皮亚托夫裆下钻进门内', 'ik', '[{"additional_args": [{"ik_mode": "smart"}]}]')                                                                                          |+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+| ["亚", "格", "夫", "阿", "门内", "从", "下钻", "后点", "右路", "分过", "传中", "低", "转身", "球", "射", "闪开", "博", "进", "反击", "门前", "停", "人", "皮", "裆", "策", "滕", "8米处", "托", "在", "角度"]                                           |+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+1 row in set (0.03 sec)select  count(*)from  sport_data_wholewhere  match (news) against ('+格策 +博阿滕' in boolean mode);+----------+| count(*) |+----------+|        0 |+----------+1 row in set (0.04 sec)

如果想提升分词器的精准性，OceanBase 支持修改系统词典表。当我们将上述中文人名插入到系统词典表后，重新分词的效果立竿见影。

🧡 注意：词典修改后，原索引分词效果不变，需要重建索引生效。

-- 中文人名分词效果select  tokenize(    '博阿滕右路反击人球分过传中，格策后点停球转身闪开角度，在门前8米处低射从皮亚托夫裆下钻进门内',    'ik',    '[{"additional_args": [{"ik_mode": "smart"}]}]'  );+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+| tokenize('博阿滕右路反击人球分过传中，格策后点停球转身闪开角度，在门前8米处低射从皮亚托夫裆下钻进门内', 'ik', '[{"additional_args": [{"ik_mode": "smart"}]}]')                                                                  |+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+| ["门内", "从", "下钻", "后点", "右路", "分过", "传中", "低", "转身", "球", "皮亚托夫", "射", "闪开", "进", "反击", "门前", "停", "人", "裆", "8米处", "在", "角度", "格策", "博阿滕"]                                           |+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+1 row in set (0.04 sec)select  count(*)from  sport_data_wholewhere  match (news) against ('+格策 +博阿滕' in boolean mode);+----------+| count(*) |+----------+|       79 |+----------+1 row in set (0.05 sec)

实验最后，对全文索引与普通索引混合查询下 union merge 带来的性能提升做一个对比。对 sport_data_whole 表的 date 列再建立一个普通局部索引。可以通过 show index 观察索引生效情况。

-- 构建普通索引alter table sport_data_whole add index (date);show index from sport_data_whole\G*************************** 1. row ***************************        Table: sport_data_whole   Non_unique: 1     Key_name: news Seq_in_index: 1  Column_name: news    Collation: A  Cardinality: NULL     Sub_part: NULL       Packed: NULL         Null: YES   Index_type: FULLTEXT      Comment: availableIndex_comment:      Visible: YES   Expression: NULL*************************** 2. row ***************************        Table: sport_data_whole   Non_unique: 1     Key_name: date Seq_in_index: 1  Column_name: date    Collation: A  Cardinality: NULL     Sub_part: NULL       Packed: NULL         Null: YES   Index_type: BTREE      Comment: availableIndex_comment:      Visible: YES   Expression: NULL2 rows in set (0.00 sec)

当两个索引条件使用 OR 连接时，过滤性好的情况下，union merge 带来的收益会比扫描普通索引后再过滤（计划中有 has_functional_lookup=true)更快。从两种计划最后预估的时间上可以看到有数量级的提升。

-- union merge 计划对比explainselect  /*+UNION_MERGE(sport_data_whole date news)*/  *from  sport_data_wholewhere  date = '0322'  or (match (news) against ('+乌龙球' in boolean mode));+-------------------------------------------------------------------------------------------------------------------------------------------------------------------+| Query Plan                                                                                                                                                        |+-------------------------------------------------------------------------------------------------------------------------------------------------------------------+| ===================================================================================                                                                               || |ID|OPERATOR                    |NAME                       |EST.ROWS|EST.TIME(us)|                                                                               || -----------------------------------------------------------------------------------                                                                               || |0 |DISTRIBUTED INDEX MERGE SCAN|sport_data_whole(date,news)|45      |9102        |                                                                               || ===================================================================================                                                                               || Outputs & filters:                                                                                                                                                || -------------------------------------                                                                                                                             ||   0 - output([sport_data_whole.event], [sport_data_whole.date], [sport_data_whole.news]), filter([sport_data_whole.date = '0322' OR MATCH(sport_data_whole.news)  ||       AGAINST('+乌龙球' IN BOOLEAN MODE)]), rowset=256                                                                                                            ||       access([sport_data_whole.__pk_increment], [sport_data_whole.date], [sport_data_whole.news], [sport_data_whole.event]), partitions(p0)                       ||       is_index_back=true, is_global_index=false, keep_ordering=true, use_index_merge=true, filter_before_indexback[false],                                        ||       index_name: date, range_cond([sport_data_whole.date = '0322']), filter(nil)                                                                                 ||       index_name: news, range_cond(nil), filter(nil)                                                                                                              ||       lookup_filter([sport_data_whole.date = '0322' OR MATCH(sport_data_whole.news) AGAINST('+乌龙球' IN BOOLEAN MODE)])                                          |+-------------------------------------------------------------------------------------------------------------------------------------------------------------------+14 rows in set (0.03 sec)explainselect  *from  sport_data_wholewhere  date = '0322'  or (match (news) against ('+乌龙球' in boolean mode));+-------------------------------------------------------------------------------------------------------------------------------------------------------------------+| Query Plan                                                                                                                                                        |+-------------------------------------------------------------------------------------------------------------------------------------------------------------------+| ===========================================================                                                                                                       || |ID|OPERATOR       |NAME            |EST.ROWS|EST.TIME(us)|                                                                                                       || -----------------------------------------------------------                                                                                                       || |0 |TABLE FULL SCAN|sport_data_whole|79      |526939      |                                                                                                       || ===========================================================                                                                                                       || Outputs & filters:                                                                                                                                                || -------------------------------------                                                                                                                             ||   0 - output([sport_data_whole.event], [sport_data_whole.date], [sport_data_whole.news]), filter([sport_data_whole.date = '0322' OR MATCH(sport_data_whole.news)  ||       AGAINST('+乌龙球' IN BOOLEAN MODE)]), rowset=256                                                                                                            ||       access([sport_data_whole.__pk_increment], [sport_data_whole.date], [sport_data_whole.news], [sport_data_whole.event]), partitions(p0)                       ||       is_index_back=false, is_global_index=false, filter_before_indexback[false],                                                                                 ||       range_key([sport_data_whole.__pk_increment]), range(MIN ; MAX)always true, has_functional_lookup=true                                                       |+-------------------------------------------------------------------------------------------------------------------------------------------------------------------+12 rows in set (0.04 sec)

四、性能对比：OceanBase 远超 MySQL

OceanBase 的全文索引性能横向比较如何？我们以 MySQL 的全文索引为例。MySQL 的中文分词能力不是很好，因此对比数据集选定在英文数据集 wikir1k（369721行，平均每行100词）上。以下分别是自然语言模式，以及布尔模式下多种场景的对比结果。

结果上：

💡 OceanBase 在需要大量分词或是返回结果的场景中，都远优于 MySQL。

💡 小结果集上，因为计算量占比不高，查询引擎的优势不明显，两者十分接近。

测试环境如下：

• OceanBase 租户规格 8c 16g

• MySQL Ver 8.0.36 for Linux on x86_64 (MySQL Community Server - GPL)

自然语言模式​​​​​​​

# Query# q1select * from wikir1k where match (document) against ('and');# q2select * from wikir1k where match (document) against ('and') limit 10;# q3select * from wikir1k where match (document) against ('librettists');# q4select * from wikir1k where match (document) against ('librettists') limit 10;# q5select * from wikir1k where match (document) against ('alleviating librettists');# q6select * from wikir1k where match (document) against ('black spotted white yellow');# q7select * from wikir1k where match (document) against ('black spotted white yellow') limit 10;# q8select * from wikir1k where match (document) against ('between up and down');# q9select * from wikir1k where match (document) against ('between up and down') limit 10;# q10select * from wikir1k where match (document) against ('alleviating librettists modifications retelling intangible hydrographic administratively berwickshire strathaven dumfriesshire lesmahagow transhumanist musselburgh prestwick cardiganshire montgomeryshire');# q11select * from wikir1k where match (document) against ('alleviating librettists modifications retelling intangible hydrographic administratively berwickshire strathaven dumfriesshire lesmahagow transhumanist musselburgh prestwick cardiganshire montgomeryshire and');# q12select * from wikir1k where match (document) against ('alleviating librettists modifications retelling intangible hydrographic administratively berwickshire strathaven dumfriesshire lesmahagow transhumanist musselburgh prestwick cardiganshire montgomeryshire and') limit 10;

布尔模式

# Query# q1: +高频词 -中频词select * from wikir1k where match (document) against ('+and -which -his' IN BOOLEAN MODE); # q2: +高频词 -低频词select * from wikir1k where match (document) against ('+which  (+and -his)' IN BOOLEAN MODE); # q3: +中频词 （+高频词 -中频词）select * from wikir1k where match (document) against ('+and -carabantes -bufera' IN BOOLEAN MODE);# q4: +高频词 +低频词 select * from wikir1k where match (document) against ('+and +librettists'  IN BOOLEAN MODE);

五、未来路线：OceanBase 全文索引将持续演进

OceanBase 全文索引的能力还远不止于此，结合新的技术趋势和新的数据检索场景，在后续版本，我们还会推出更多易用性功能。例如：

🔎 能支持交集能力的全面的 index merge；

🔎 以插件方式支持更丰富流行的多语言分词器；

🔎 更灵活的用户自定义词典和停词；

🔎 更常用的 term query、phrase query，compound query 功能；

🔎 在检索方面，结合 OceanBase 的多模稀疏向量，进一步增强文档的语义理解力；

🔎 使用多路召回、动态剪裁以及底层例如 WAND 的加速算法，在质量和速度两个方面提升检索体验等等。

全文索引不仅是数据库能力的延伸，更是企业实现数据智能化的关键基础设施。经过全面升级的 OceanBase 全文索引，在中文处理能力、混合查询性能、生产可用性等方面已建立显著优势。

无论是在传统日志分析场景，还是结合 AI 的智能检索需求，OceanBase 的全文索引都能提供企业级解决方案。未来，OceanBase 将持续深化"数据库+搜索+AI"的技术融合，助力企业构建新一代智能数据平台。