Table-Augmented Generation（TAG）：Text2SQL与RAG的升级与超越

当下AI与数据库的融合已成为推动数据管理和分析领域发展的重要力量。传统的数据库查询方式，如结构化查询语言（SQL），要求用户具备专业的数据库知识，这无疑限制了非专业人士对数据的访问和利用。为了打破这一壁垒，AI驱动的数据库查询方法应运而生，其中Text2SQL和检索增强生成（RAG）（微软最新研究：RAG（Retrieval-Augmented Generation）的四个级别深度解析）是两种具有代表性的技术。然而，这两种方法在实际应用中均存在局限性，促使研究人员探索更为强大和灵活的框架。今天我们一起了解一下表增强生成（TAG），并探讨其在AI驱动数据库查询领域的潜力和未来研究方向。

一、现有方法的局限性

Text2SQL的局限

Text2SQL方法的核心在于将用户的自然语言查询转换为可执行的SQL语句，从而在关系型数据库上执行查询。这种方法在处理与结构化数据直接相关的查询时表现出色，但在面对需要外部世界知识或语义推理的复杂用户请求时则显得力不从心。根据研究人员的观点，现实世界的业务查询通常涉及以下四个方面：

1. 领域知识

   这部分知识由数据库本身覆盖。

2. 世界知识

   这需要语言模型理解外部信息。

3. 精确计算

   数据库系统能够高效地处理这类任务。

4. 语义推理

   这需要高级语言模型的能力。

Text2SQL的主要局限在于其无法充分利用语言模型的广泛知识和推理能力。因此，当查询需要推理或世界知识时，Text2SQL方法的准确性通常较低（在基准测试中约为20%）。

RAG的局限

RAG方法结合了基于检索的技术和语言模型，通过以下步骤工作：

1. 使用嵌入技术检索相关数据记录。

2. 基于检索到的数据生成响应。

虽然RAG（Multi-Agentic RAG：探索智能问答系统的新边界（含代码））在处理点查找方面表现良好，但它缺乏执行涉及大型数据集上计算的复杂查询的能力，如聚合、排名或迭代推理。此外，RAG往往过度依赖语言模型来处理更适合数据库系统的任务，导致结果易出错且效率低下。

二、Table-Augmented Generation（TAG）的引入

鉴于Text2SQL和RAG的局限性，加州大学伯克利分校和斯坦福大学的研究人员提出了一种新的框架——表增强生成（TAG）。TAG（表格增强生成 TAG（Table Augmented Generation)：大模型与数据库融合的新思路）旨在统一语言模型和数据库系统的优势，为回答复杂自然语言查询提供一个通用解决方案。

TAG的关键步骤

TAG框架包含三个关键步骤：查询合成、查询执行和答案生成。

1、查询合成

查询合成的第一步是将用户的自然语言请求转换为可执行的查询。这包括两个子步骤：

• 模式理解

  TAG分析数据库模式，以确定相关的表和列。

• 语义解析

  将用户的请求转换为结构化查询，通常是SQL格式。

例如，对于查询“总结被认为经典的最高票房浪漫电影的评论”，TAG会生成一个SQL查询，从包含电影类型、收入和评论信息的表中选择相关数据。

2、查询执行

一旦查询被合成，它就在数据库引擎上执行。这一步骤有两个关键优势：

• 效率

  数据库引擎针对在大型数据集上执行复杂查询进行了优化。

• 灵活性

  TAG可以与各种数据库类型一起工作，包括关系型数据库、向量存储和支持基于语言模型的操作符的混合系统。

在上面的例子中，数据库查询引擎检索与浪漫电影对应的行，并按收入对它们进行排名。这一步骤确保了过滤、计数和聚合等计算任务由数据库高效处理。

3、答案生成

最后一步使用语言模型生成自然语言响应。这包括：

• 语义理解

  语言模型解释检索到的数据并制定连贯的答案。

• 自然语言生成

  模型生成语法正确且上下文适当的响应。

• 迭代推理

  TAG可以采用迭代或递归生成模式来处理需要多步推理或聚合的复杂查询。

例如，在检索到关于最高票房浪漫电影的数据后，语言模型生成评论的摘要，为用户提供对用户查询的完整且可理解的答案。

基准测试结果与评估

研究人员对TAG与传统Text2SQL和RAG方法进行了广泛的基准测试。关键发现包括：

• Text2SQL性能

  由于仅依赖SQL代码生成而没有单独的答案生成步骤，其准确性不超过20%。

• RAG性能

  在所有查询类型中仅正确回答了一个查询，凸显了其在处理涉及推理和计算的复杂查询方面的局限性。

• 手写TAG管道

  使用LOTUS运行时实现的手写TAG管道实现了高达65%的准确性，显著优于Text2SQL和RAG基线。

这些评估结果强调了TAG在有效结合语言模型的推理能力和数据库系统的计算能力方面的潜力。通过利用这两个组件，TAG为回答结构化数据上的自然语言查询提供了一个更准确且灵活的解决方案。

三、TAG的未来研究方向

尽管TAG在AI驱动数据库查询领域展现出了巨大潜力，但仍有许多领域值得进一步探索和研究。以下是几个关键的研究方向：

1. 先进的查询合成方法：开发更复杂的技术，以将复杂的自然语言查询转换为可执行的数据库查询。这包括增强对自然语言的理解能力，以及提高将自然语言转换为结构化查询的准确性。

2. 探索不同的数据库引擎：研究使用不同的数据库执行引擎，包括那些原生支持机器学习操作符的引擎。这有助于评估TAG在不同数据库环境下的性能和适用性，并推动数据库技术的创新。

3. 优化的语言模型生成模式：设计针对特定查询类型的生成模式，如迭代总结或递归推理。这可以提高TAG在处理复杂查询时的效率和准确性，并为用户提供更丰富的查询体验。

Table-Augmented Generation（TAG）代表了AI驱动数据库查询领域的一次范式转变。通过统一Text2SQL和RAG（探索 Auto-RAG：提升人工智能知识获取与生成能力的新路径）的优势并解决它们的局限性，TAG为回答复杂的自然语言查询提供了一个通用解决方案。加州大学伯克利分校和斯坦福大学的研究表明，TAG在改变用户与数据交互的方式方面具有巨大潜力，为AI驱动的数据管理开辟了新的研究途径和应用领域。

随着技术的不断进步和应用的不断拓展，TAG有望在更多领域发挥重要作用。例如，在金融领域，TAG可以帮助分析师快速提取和分析大量数据，为决策提供有力支持；在医疗领域，TAG可以辅助医生从海量病历和研究文献中提取关键信息，提高诊断效率和准确性。此外，TAG还可以在教育、科研、电子商务等多个领域发挥重要作用，推动数据驱动的创新和发展。

表增强生成（TAG）作为 AI 驱动数据库查询领域的一次范式转变，成功地整合了 Text2SQL 和 RAG 的优势，并有效克服了它们的局限性。它为解决复杂自然语言查询问题提供了通用且强大的解决方案，为用户与数据的交互方式带来了新的可能性。