[RAG在LangChain中的实现]常用的向量存储和基于向量存储的检索器

向量存储是RAG解决方案的核心目前市面上由很多向量存储产品由免费开源的也有商业闭源的有本地部署的也有完全云托管的有传统数据库产品推出的针对向量存储的扩展也有新势力专门针对向量存储设计的新产品。基于所有的VectorStore都提供了对应的检索器后者可以以一个Runnable对象的形式作为LCEL链上的一环。1. InMemoryVectorStoreInMemoryVectorStore是一个轻量级、完全基于内存的向量存储实现。它主要用于快速原型开发、测试环境或处理不需要持久化且数据量较小的临时检索任务。它的核心特性包括非持久化数据存储在当前运行进程的内存中。一旦程序停止或重启所有存储的向量和文档都会丢失;无需配置不像Pinecone或Milvus需要设置API密钥或启动Docker容器它是开箱即用的依赖极少;速度极快由于不涉及网络请求和磁盘I/O对于小规模数据集如几百到几千个文档的检索速度非常快;易于调试是学习RAG (检索增强生成) 流程的最理想工具;适合如下的典型场景快速原型设计在决定使用哪种大型向量数据库之前先验证RAG管道的逻辑;单元测试在自动化测试中模拟向量搜索行为无需搭建复杂的基础设施;临时上下文检索例如处理单个长文档或用户上传的临时文件任务完成后即可释放内存;InMemoryVectorStore的创建很方便只需要指定Embeddings调用构造函数就行。InMemoryVectorStore采用余弦相似度算法而且similarity_search_with_score/asimilarity_search_with_score方法返回的不是两个向量的余弦距离而是归一化的余弦相似度。由于_select_relevance_score_fn方法并未重写所以similarity_search_with_relevance_scores/asimilarity_search_with_relevance_scores方法在被调用时会抛出异常。classInMemoryVectorStore(VectorStore):def__init__(self,embedding:Embeddings)-None:如下的代码演示了针对InMemoryVectorStore的简单使用fromdotenvimportload_dotenvfromlangchain_openaiimportOpenAIEmbeddingsfromlangchain_core.vectorstoresimportInMemoryVectorStore load_dotenv()embeddingOpenAIEmbeddings(modeltext-embedding-3-small)texts[I love eating spicy Sichuan food.,My favorite sport is swimming.]queryWhat are my food preferences?storeInMemoryVectorStore.from_texts(textstexts,embeddingembedding,metadatas[{category:food},{category:sport}],similarityeuclidean)assertstore.similarity_search(queryquery,k1)[0].page_contenttexts[0]2. 本地轻量级方案适合中小型项目如果您希望数据能持久化到本地文件而不仅仅存在于内存中以下是首选Chroma:特点目前最受LangChain开发者欢迎的本地数据库。它开源且对 AI 极其友好支持多模态数据优势安装简单pip install chromadb支持将数据持久化到本地磁盘且能够方便地切换到分布式云端模式FAISS (Facebook AI Similarity Search):特点由Meta开发的高性能相似度搜索库严格来说它是一个库而非数据库优势搜索速度极快特别是在处理数千万级向量时表现卓越。它支持多种索引类型如HNSW,IVF并可利用GPU加速3. 全托管云端方案适合生产环境/免运维对于不想管理服务器或需要跨地域扩展的团队Pinecone:特点目前市场上最成熟的商业全托管向量数据库。优势Serverless 架构完全不需要配置基础设施。其毫秒级的检索性能和高度的稳定性使其成为企业级 RAG 应用的首选。Zilliz Cloud (Milvus 托管版):特点基于开源 Milvus 提供的云服务针对大规模向量检索做了极致优化。4. 开源企业级/分布式方案适合大规模自研如果您需要处理十亿级数据或有严格的私有化部署需求Milvus:特点国产开源之光专为云原生设计的分布式向量数据库。优势支持百亿级向量规模具备极强的水平扩展能力并提供丰富的索引策略和混合搜索向量 标量过滤功能。Qdrant:特点使用 Rust 编写以高性能和低延迟著称。优势在元数据过滤Metadata Filtering方面表现极其出色适合需要复杂业务逻辑筛选的检索场景。Weaviate:特点支持混合搜索Dense Sparse和 GraphQL 查询能很好地处理结构化与非结构化数据的关联。5. 传统数据库扩展如果您现有的架构中已经在使用关系型数据库pgvector (PostgreSQL): 这是目前开发者最常用的方案让最强大的开源关系型数据库具备了向量检索能力特点通过插件让PostgreSQL具备向量存储能力。支持精确搜索L2、余弦、点积和模糊搜索IVFFlat、HNSW 索引优势无需引入新的组件可以直接在现有的SQL环境中进行向量检索极大地降低了系统复杂度RediSearchRedisRedis通过Stack 模块支持向量存储和检索特点数据存储在内存中检索延迟极低优势速度极快支持 HNSW 算法。适合需要高并发、低延迟的场景如实时推荐、毫秒级语义匹配OpenSearch (Elasticsearch)作为传统的全文搜索引擎它们很早就引入了dense_vector类型特点将传统关键词搜索 (BM25) 与向量搜索 (k-NN) 完美融合即“混合搜索”优势处理大规模文本数据的经验丰富支持复杂的过滤逻辑和分布式集群扩展Atlas Vector SearchMongoDBMongoDB在其云服务Atlas中原生集成了向量搜索特点基于 Lucene 分级索引实现优势适合 JSON 文档型数据结构。如果你的数据本身就在 MongoDB 里不需要为了向量检索再迁移数据ClickHouse作为高性能的列式数据库OLAPClickHouse 引入了向量索引支持特点极其擅长大规模数据的批量插入和高吞吐查询优势适合在处理海量日志或分析型数据时顺便进行向量比对6. 检索器被定义成Runnable的检索器使数据检索也成为了LCEL链上的一环。绝大部分VectorStore类型都提供了as_rereiver方法生分成基于自身的检索器对象。6.1 BaseRetriever所有的检索器类型都继承自如下这个BaseRetriever抽象类它继承自RunnableSerializable其输入和输出类型为RetrieverInput和RetrieverOutput分别表示作为输入的查询文本和作为输出的Document列表。BaseRetriever将具体的检索操作利用抽象方法_get_relevant_documents下放给子类_aget_relevant_documents默认会以Crorutine的形式调用此方法。invoke和ainvoke方法最终会调用这两个方法返回检索结果。classBaseRetriever(RunnableSerializable[RetrieverInput,RetrieverOutput],ABC):tags:list[str]|NoneNonemetadata:dict[str,Any]|NoneNoneoverridedefinvoke(self,input:str,config:RunnableConfig|NoneNone,**kwargs:Any)-list[Document]overrideasyncdefainvoke(self,input:str,config:RunnableConfig|NoneNone,**kwargs:Any,)-list[Document]abstractmethoddef_get_relevant_documents(self,query:str,*,run_manager:CallbackManagerForRetrieverRun)-list[Document]asyncdef_aget_relevant_documents(self,query:str,*,run_manager:AsyncCallbackManagerForRetrieverRun)-list[Document]RetrieverInputstrRetrieverOutputlist[Document]_get_relevant_documents/_aget_relevant_documents方法的run_manager返回一个CallbackManagerForRetrieverRun/AsyncCallbackManagerForRetrieverRun, 这两个对象是LangChain框架中专门用于追踪、监控和调试的“事件调度器”。它们是LangChain可观测性的基石。有了它们我们才能在LangSmith仪表盘上清晰地看到每一条检索到的Document及其背后的分数和耗时。6.2 VectorStoreRetrieverVectorStore一般会利用as_retriever方法返回一个VectorStoreRetriever对象。VectorStoreRetriever是对一个VectorStore对象的封装并针对此向量存储实施检索。classVectorStoreRetriever(BaseRetriever):vectorstore:VectorStore search_type:strsimilaritysearch_kwargs:dictField(default_factorydict)allowed_search_types:ClassVar[Collection[str]](similarity,similarity_score_threshold,mmr,)overridedef_get_relevant_documents(self,query:str,*,run_manager:CallbackManagerForRetrieverRun,**kwargs:Any)-list[Document]:kwargs_self.search_kwargs|kwargsifself.search_typesimilarity:docsself.vectorstore.similarity_search(query,**kwargs_)elifself.search_typesimilarity_score_threshold:docs_and_similarities(self.vectorstore.similarity_search_with_relevance_scores(query,**kwargs_))docs[docfordoc,_indocs_and_similarities]elifself.search_typemmr:docsself.vectorstore.max_marginal_relevance_search(query,**kwargs_)else:msgfsearch_type of{self.search_type}not allowed.raiseValueError(msg)returndocsoverrideasyncdef_aget_relevant_documents(self,query:str,*,run_manager:AsyncCallbackManagerForRetrieverRun,**kwargs:Any,)-list[Document]defadd_documents(self,documents:list[Document],**kwargs:Any)-list[str]:returnself.vectorstore.add_documents(documents,**kwargs)asyncdefaadd_documents(self,documents:list[Document],**kwargs:Any)-list[str]:returnawaitself.vectorstore.aadd_documents(documents,**kwargs)VectorStoreRetriever提供了三个实例字段和一个静态字段vectorstore实施检索任务的向量存储search_type采用的相似度算法search_kwargs为具体查询方法提供的关键字参数allowed_search_types可用相似度算法白名单作为一个Pydantic模型会验证search_type字段的值在此名单中VectorStoreRetriever实现了_get_relevant_documents方法并根据search_type字段针对相似度算法的设置调用对应的方法返回检索结果的Document列表。除此之外它还提供了add_documents/aadd_documents方法向存储中添加数据。在如下的程序中 我们调用InMemoryVectorStore对象的as_retriever方法并利用它返回的VectorStoreRetriever对象以Runnable对象的形式实施检索。fromdotenvimportload_dotenvfromlangchain_openaiimportOpenAIEmbeddingsfromlangchain_core.vectorstoresimportInMemoryVectorStore load_dotenv()embeddingOpenAIEmbeddings(modeltext-embedding-3-small)texts[I love eating spicy Sichuan food.,My favorite sport is swimming.]queryWhat are my food preferences?storeInMemoryVectorStore.from_texts(textstexts,embeddingembedding,metadatas[{category:food},{category:sport}],similarityeuclidean)retrieverstore.as_retriever()documentsretriever.invoke(query,k2)assertlen(documents)2assertdocuments[0].page_contenttexts[0]