如何构建一个可信的联邦RAG系统。

今天给大家分享一篇论文。

题目是：C-RAG：如何构建一个可信的联邦检索RAG系统。

论文链接:https://arxiv.org/abs/2412.13163

论文概述

尽管大型语言模型 (LLM) 在各种应用中展现出令人印象深刻的能力，但它们仍然存在可信度问题，例如幻觉和偏差。检索增强语言模型 (RAG) 被提出通过接地外部知识来增强生成的可靠性，但对其生成风险的理论理解仍未探索。当前RAGt可信主要存在以下挑战：

• LLMs 存在幻觉和不一致等问题，导致输出结果不可靠且不可信。
• 对于 RAG 模型如何有效减轻生成风险的理论理解不足，相较于普通 LLMs，尚缺乏充分的理论支持。
• 收集准确反映测试样本分布的校准数据在实际应用中面临挑战，尤其是在实时应用场景中。

这篇论文介绍了C-FedRAG，即Confidential Federated Retrieval-Augmented Generation System，一个保密的联邦检索增强型生成系统。该系统旨在帮助组织利用大型语言模型（LLMs）进行知识查询和分析，同时在不违反数据隐私和安全政策的前提下，解决维护针对性、最新信息的挑战，并减少LLMs在查询响应中的幻觉问题。

相关工作

论文中提到的相关研究主要集中在以下几个方面：

1. FeB4RAG: Evaluating Federated Search in the Context of Retrieval Augmented Generation (Shuai Wang, 2024)：

该论文概述了一个在RAG框架内进行联邦搜索的架构，并引入了一个新的数据集，用于评估联邦搜索，解决了现有数据集的局限性。论文强调了开发复杂的联邦搜索策略的重要性，以优化RAG管道并提高生成响应的质量。

2. Federated Learning-Enhanced Retrieval Augmented Generation (FLERAG) (Eugenia Kim, 2024)

提出了一种新的方法，用于在传统的RAG LLM和跨客户端设备数据训练的FL模型之间选择最佳响应，以解决需要不断更新RAG数据库的问题。通过响应仲裁器选择置信度更高的响应。全局FL模型在所有客户端之间共享，提供更全面和最新的响应，用于与基于预训练知识的LLM响应进行比较。

3. Cache Me If You Can: The Case For Retrieval Augmentation (RA) in Federated Learning (Aashiq Muhamed, 2024)

提出了一种在FL中使用RA增强的方法，该方法在推理期间结合了基于检索的方法，客户端设备从其本地数据集中检索相关信息，并在将查询输入模型之前增强查询。这种方法解决了隐私问题和法规合规性，同时允许各个客户端的模型从整个网络的集体知识中受益。该方法要求客户端在FL系统中微调自己的模型，使用它们各自的私有数据。

4. Clinical Question-Answering over Distributed EHR Data (Jiang, 2024)

提出了使用联邦RAG进行临床问答的系统，利用LLM进行临床问题回答，而不损害患者隐私。提出的系统采用了分层设计的联邦文档检索，实现了对分布式临床数据的高效和安全访问。作者还引入了一个新的基于MIMIC-IV数据库的数据集，专门用于评估临床问答系统。通过解决隐私问题和增强可解释性，提出的方法在利用LLM进行临床应用方面迈出了重要一步。

这些相关工作展示了RAG系统在联邦学习背景下的不同应用和研究方向，包括联邦搜索策略的优化、模型选择、隐私保护和法规合规性，以及在临床问答中的应用。这些研究为C-FedRAG系统的提出提供了理论和实践基础。

核心内容

论文通过提出一个名为C-FedRAG的系统来解决在保持数据隐私和安全的同时，利用大型语言模型（LLMs）进行知识查询和分析的问题，具体解决方案包括以下几个关键步骤：

1. 检索增强生成

C-FedRAG的基本RAG流程包括：

• 将数据库中的文档向量化，形成向量化块。
• 将查询嵌入到相同的嵌入模型中，并执行嵌入检索，以检索与查询最相关的文档块。
• 通过重新排名模型进一步优化检索结果，以提高准确性。
• 将最相关的文档作为上下文附加到原始查询中，形成增强的输入，然后输入到LLM以生成响应。
  

2. 联邦化和保密计算

C-FedRAG系统的关键组成部分包括：

• 使用NVIDIA FLARE SDK实现联邦化计算。
• 利用保密计算环境保护数据隐私和安全，特别是在上下文收集、聚合和响应生成过程中。
• 通过联邦化的方式在多个数据提供者之间执行嵌入模型训练、上下文检索、重新排名和最终推理。
  

3 C-FedRAG实现

C-FedRAG系统的实施细节包括：

• 使用NVIDIA FLARE SDK构建解决方案，确保通信安全。
• 协调器使用NVFlare作业协调检索请求，并收集检索块。
• 通过保密虚拟机在C-FedRAG工作流程中集成隐私保护方法，确保数据的保密性和完整性。

评估方面，使用MedRAG工具包和MIRAGE基准数据集对C-FedRAG系统的性能进行评估，展示了该系统在处理各种医学文本格式和复杂性方面的能力。

论文实验

1. 实验设置

• 基准测试：实验使用了MedRAG工具包和MIRAGE基准数据集作为评估基础。具体来说，使用了BioASQ和PubMedQA数据集，其中BioASQ包含618个是非问题，PubMedQA包含500个是非问题。

• 基线方法：与C-FedRAG进行比较的其他方法包括直接使用的LLMs，如LLaMA-3-8B-Instruct，以及通过MedRAG系统使用单一数据集（MedCorp）和特定数据集（如PubMed、StatPearls、Textbooks、Wikipedia）的RAG方法。

• 评估指标：主要使用准确率百分比和标准差作为评估指标，通过MIRAGE评估平台生成与真实答案的对比得分。

2. 主要结果

C-FedRAG在多个基准测试中展现出竞争性能，尤其是在BioASQ基准测试中，通过集成多个数据源并使用重排名模型，显著提升了性能。
由于无法直接提供图片，我将描述表格内容：

• 表1展示了C-FedRAG与普通RAG（MedRAG）和非RAG LLM提示的结果比较。

• 表2展示了使用CoT时，不同LLaMA模型的消融研究结果。
  

3. 结果分析

• 数据源集成的重要性：通过比较单一数据源与集成多个数据源的C-FedRAG系统的性能，结果表明集成多个数据源可以提供更有用的信息，并显著提升性能。

• 重排对性能的增强：通过比较仅使用嵌入/检索排名与使用最终重排名模型的C-FedRAG系统，发现重排名模型有助于提升BioASQ任务的性能。

• 上下文窗口大小的影响：研究了不同上下文窗口大小对性能的影响，发现存在一个最佳的上下文窗口大小（例如8个），既能保证答案的准确性，又不会因过多上下文而降低性能。

• 联邦化和保密计算的影响：通过不同的联邦化和保密计算策略进行消融研究，发现明确的联邦化步骤对于保持高答案准确性和数据隐私至关重要。

• SI的质量：通过检查一些问题及其对应的SI（结构化意图）的例子，评估了SI的质量和鲁棒性，发现SI能够准确地捕捉问题的关键信息。

总结讨论

论文讨论了C-FedRAG在处理跨多个数据提供者的问题时面临的限制，包括数据隐私、控制和安全性的挑战，以及在企业环境中部署联邦RAG系统时需要解决的身份和访问管理问题。此外，还讨论了如何防止数据投毒攻击、使用隐私增强技术保护检索上下文，以及如何在数据提供者之间安全地存储、管理和交换多个加密密钥的问题。

这些实验全面评估了C-FedRAG系统在处理跨多个数据源的问题回答任务时的有效性和效率，并与现有的一些先进方法进行了比较。通过这些实验，论文展示了C-FedRAG在保持数据隐私和安全性的同时，能够达到与集中式RAG方法相当的或更好的答案质量。

编者简介

致Great,中国人民大学硕士，多次获得国内外算法赛奖项，目前在中科院计算所工作，目前负责大模型训练优化以及RAG框架开发相关工作。

个人主页：https://github.com/yanqiangmiffy

项目链接：https://github.com/gomate-community/GoMate