FastGPT 引申：如何基于 LLM 判断知识库的好坏

下面介绍如何基于 LLM 判断知识库的好坏，并展示了如何利用声明抽取器和声明检查器这两个 prompt 构建评价体系。

---

如何基于 LLM 判断知识库的好坏

在知识库构建与维护过程中，确保信息的准确性、可验证性和一致性是至关重要的。借助大语言模型（LLM）的强大自然语言处理能力，我们可以设计一个两步走的机制——先抽取文本中的声明，再对抽取的声明进行验证。本文将介绍这一方法，并通过两个具体的 prompt 展示如何利用 LLM 来判断知识库的质量。

方法概述

主要分为两个阶段：

1. 声明抽取
   利用 LLM 将给定文本中的信息拆解为独立、原子化的声明。每个声明需要满足以下要求：

   • 以三元组（主语，谓语，宾语）的形式呈现；
   • 声明之间互不干扰，且每个声明都是可独立验证的；
   • 不添加任何推理或解释；
   • 每行输出一个声明，同时需要挖掘问题中隐含的声明。

2. 声明检查
   依据参考文本（即标准答案）来验证抽取的声明是否准确。验证标准包括：

   • ENTAILMENT（蕴含）：声明可以从参考文本中直接推导或验证；
   • CONTRADICTION（矛盾）：声明与参考文本存在矛盾；
   • NEUTRAL（中立）：参考文本既不支持也不反对该声明。

这种基于声明抽取和检查的流程，可以帮助我们评估知识库中的信息是否经过严谨提取和验证，从而反映出知识库的整体质量。

示例 Prompt

下面展示两个具体的 prompt 示例，分别对应声明抽取和声明检查的任务：

声明抽取器 Prompt

你是一个专业的声明抽取器。你的任务是从给定文本中提取独立的、原子化的声明。 文本：
Hive表，多个分表怎么查请按照以下格式提取声明： 
1.每个声明应该是一个完整的三元组（主语，谓语，宾语） 
2.每个声明应该是独立的、可验证的 
3.不要添加任何推理或解释 
4.每行输出一个声明
5.提取问题中隐含的声明提取的声明：

该 prompt 要求 LLM 将输入文本拆分成若干个独立的、格式化的三元组声明，这样的处理能够帮助我们清晰地看到文本中蕴含的各个知识点。

声明检查器 Prompt

你是一个专业的声明检查器。你的任务是验证给定声明的准确性。声明（来自系统回复）：
1. (用户, 想查询, Hive表)
2. (Hive表, 包含, 多个分表)参考文本（标准答案）：
查询Spark创建的Hive表，多个分表怎么查请对每个声明进行验证，并按照以下标准进行判断：
- ENTAILMENT（蕴含）：声明可以从参考文本中直接推导或验证
- CONTRADICTION（矛盾）：声明与参考文本矛盾
- NEUTRAL（中立）：参考文本既不支持也不反对该声明请按照以下格式判断声明： 
1.不要添加任何推理或解释 
2.每行输出一个声明结果判断结果：

在该 prompt 中，我们通过对比系统生成的声明与参考文本，利用 LLM 判断每个声明是否符合参考文本，从而评估声明的准确性和知识库的信息质量。

判断机制

通过上述两个 prompt，我们可以构建如下评价流程：

1. 输入文本与声明抽取

   • 将用户或系统中的文本输入声明抽取器；
   • LLM 根据 prompt 要求，提取出格式化的三元组声明；
   • 抽取出的声明反映了知识库中的基本信息单元；

2. 声明验证与质量评估

   • 将抽取的声明与标准答案或参考文本一起输入声明检查器；
   • LLM 根据验证标准，对每个声明进行判断，输出“ENTAILMENT”、“CONTRADICTION”或“NEUTRAL”的结果；
   • 统计验证结果，若大部分声明为“ENTAILMENT”，则说明知识库信息较为准确；反之，则可能存在错误、遗漏或模糊不清的信息；

3. 反馈与改进

   • 根据验证结果，开发者或系统管理员可以针对性地对知识库进行调整和改进；
   • 这种基于 LLM 的自动化检查机制，有助于在大规模知识库更新过程中快速发现问题，提高信息质量；

总结

基于 LLM 的声明抽取与检查流程提供了一种创新的方法，帮助我们量化和判断知识库的质量。通过分解信息为原子化声明，并利用参考文本对声明进行严格验证，可以更高效地发现知识库中的不足，为后续改进提供明确的方向。

以上就是如何基于 LLM 判断知识库好坏的思路和具体实现示例。