RAG-Challenge-2多公司比较问答：查询路由与答案聚合技术

RAG-Challenge-2多公司比较问答查询路由与答案聚合技术【免费下载链接】RAG-Challenge-2Implementation of my RAG system that won all categories in Enterprise RAG Challenge 2项目地址: https://gitcode.com/gh_mirrors/ra/RAG-Challenge-2RAG-Challenge-2是一个企业级RAG系统实现在企业RAG挑战赛中赢得了所有类别的冠军。该系统专注于多公司比较问答场景核心技术包括查询路由与答案聚合能够高效处理来自不同公司报告的复杂查询。多公司问答的核心挑战在处理多公司比较问答时系统面临两大核心挑战如何准确识别查询涉及的公司查询路由以及如何将来自不同公司的信息有效整合答案聚合。传统RAG系统往往难以处理跨多个文档源的复杂比较查询而RAG-Challenge-2通过创新的技术架构解决了这一问题。查询路由精准定位相关公司查询路由是多公司问答系统的第一道关卡。系统需要能够理解用户查询的意图识别出查询涉及的一个或多个公司然后从相应的公司报告中检索相关信息。RAG-Challenge-2的查询路由功能主要由src/retrieval.py中的代码实现。系统提供了多种检索器包括BM25Retriever、VectorRetriever和HybridRetriever它们都实现了retrieve_by_company_name方法能够根据公司名称从相应的文档中检索信息。def retrieve_by_company_name(self, company_name: str, query: str, top_n: int 3, return_parent_pages: bool False) - List[Dict]: # 查找指定公司的报告 # 加载相应的检索模型 # 根据查询从报告中检索相关内容 # 返回检索结果这种设计使得系统能够精准定位到用户查询所涉及的公司报告为后续的答案生成提供准确的信息来源。答案聚合智能整合多公司信息在完成查询路由并从相关公司报告中检索到信息后系统需要将这些来自不同公司的信息进行整合生成一个全面、准确的比较答案。这就是答案聚合的过程。RAG-Challenge-2的答案聚合功能主要在src/pipeline.py中实现。系统提供了多种配置选项如parent_document_retrieval和llm_reranking这些选项可以根据具体需求调整答案聚合的策略。max_config RunConfig( use_serialized_tablesTrue, parent_document_retrievalTrue, llm_rerankingTrue, parallel_requests20, submission_nameIlia Ris v.2, pipeline_detailsCustom pdf parsing table serialization vDB Router Parent Document Retrieval reranking SO CoT; llm GPT-4o, answering_modelgpt-4o-2024-08-06, config_suffix_max )通过这些配置系统能够智能地整合来自多个公司的信息生成高质量的比较答案。系统架构与实现RAG-Challenge-2的系统架构设计精巧主要由以下几个核心模块组成PDF解析与处理系统首先需要解析和处理各个公司的PDF报告。这一功能由src/pdf_parsing.py实现它能够将PDF文件解析为结构化数据为后续的检索和问答做好准备。文本分块与向量化解析后的文本需要进行分块处理以便于高效检索。这一功能由src/text_splitter.py实现。分块后的文本会被向量化存储到向量数据库中这一过程由src/ingestion.py中的VectorDBIngestor处理。检索与排序系统提供了多种检索方法包括BM25检索、向量检索和混合检索。这些检索方法在src/retrieval.py中实现。检索到的结果还会通过LLM进行重排序以提高答案的质量这一功能由src/reranking.py实现。问题处理与答案生成最后系统会处理用户的问题通过查询路由找到相关的公司报告检索相关信息然后通过答案聚合生成最终的回答。这一过程由src/questions_processing.py实现。快速开始使用RAG-Challenge-2要开始使用RAG-Challenge-2系统您需要按照以下步骤操作1. 克隆仓库首先克隆项目仓库到本地git clone https://gitcode.com/gh_mirrors/ra/RAG-Challenge-22. 安装依赖进入项目目录安装所需的依赖cd RAG-Challenge-2 pip install -r requirements.txt3. 配置系统根据您的需求修改src/pipeline.py中的配置。例如您可以选择使用max_nst_o3m_config配置这是在挑战赛中表现最佳的配置之一max_nst_o3m_config RunConfig( use_serialized_tablesFalse, parent_document_retrievalTrue, llm_rerankingTrue, parallel_requests25, submission_nameIlia Ris v.4, pipeline_detailsCustom pdf parsing vDB Router Parent Document Retrieval reranking SO CoT; llm o3-mini, answering_modelo3-mini-2025-01-31, config_suffix_max_nst_o3m )4. 运行系统您可以通过运行src/pipeline.py来启动系统。例如要处理问题并生成答案您可以取消注释以下代码if __name__ __main__: root_path here() / data / test_set pipeline Pipeline(root_path, run_configmax_nst_o3m_config) pipeline.process_questions()然后运行python src/pipeline.py结语RAG-Challenge-2系统通过创新的查询路由和答案聚合技术为多公司比较问答提供了高效、准确的解决方案。无论是企业分析师需要比较不同公司的财务报告还是研究人员需要分析多个机构的研究成果RAG-Challenge-2都能提供有力的支持。通过灵活的配置选项和模块化的设计RAG-Challenge-2可以适应不同的应用场景和需求。希望本文能够帮助您更好地理解和使用RAG-Challenge-2系统为您的工作和研究带来便利。【免费下载链接】RAG-Challenge-2Implementation of my RAG system that won all categories in Enterprise RAG Challenge 2项目地址: https://gitcode.com/gh_mirrors/ra/RAG-Challenge-2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考