向量数据库：Chroma

一向量数据库简介将数据如文本、图像、音频等通过嵌入模型Embedding Model 转换为向量形式存储到向量数据库中并通过高效的索引和搜索算法实现快速检索。嵌入模型会将各种数据 (例如文本、图像、图表和视频) 转换为数值向量以便捕捉其在多维向量空间中的含义和细微差别。嵌入技术的选择取决于应用需求同时要兼顾语义深度、计算效率、要编码的数据的类型、维度等因素。向量数据库用于相似性搜索即通过计算向量之间的距离如欧几里得距离、余弦相似度等来找到与目标向量最相似的其他向量。它特别适合处理非结构化数据支持语义搜索、内容推荐等场景。数据不同使用的嵌入模型不同文本数据使用处理文本的嵌入模型图片数据使用处理图片的嵌入模型。存储向量数据库将嵌入向量存储为高维空间中的点并为每个向量分配唯一标识符ID同时支持存储元数据。检索通过近似最近邻ANN算法如PQ等对向量进行索引和快速搜索。二、Chorma简介Chromahttps://docs.trychroma.com/docs/overview/introduction 是一款开源的向量数据库专为高效存储和检索高维向量数据设计。其核心能力在于语义相似性搜索支持文本、图像等嵌入向量的快速匹配广泛应用于大模型上下文增强RAG、推荐系统、多模态检索等场景。与传统数据库不同Chroma 基于向量距离如余弦相似度、欧氏距离衡量数据关联性而非关键词匹配。核心优势轻量易用以 Python/JS 包形式嵌入代码无需独立部署适合快速原型开发。灵活集成支持自定义嵌入模型如 OpenAI、HuggingFace兼容 LangChain 等框架。高性能检索采用 HNSW 算法优化索引支持百万级向量毫秒级响应。多模式存储内存模式用于开发调试持久化模式支持生产环境数据落地。# 安装chromadbpip install chromadb# 导入importchromadb三、增删改查3.0 初始化客户端# 内存模式一般不推荐使用clientchromadb.Client()# 持久化模式常用clientchromadb.PersistentClient(path./data/chromadb)3.1 创建集合Collection集合Collection是 Chroma 中管理数据的基本单元类似关系数据库的表。在创建集合的时候需要指定嵌入函数。importosimportchromadbfromchromadb.utils.embedding_functionsimportOpenAIEmbeddingFunction ​ ​# 持久化模式clientchromadb.PersistentClient(path../db/chroma)​# 创建一个集合这里的集合名字必须在Chromadb中唯一# get_or_create_collectionmy_collectionclient.create_collection(namemy_collection,embedding_functionOpenAIEmbeddingFunction(api_keyos.getenv(OPENAI_API_KEY),api_basehttps://xxx,model_nametext-embedding-3-small))# 删除集合client.delete_collection(namemy_collection)3.2 获取集合my_collectionclient.get_collection(namemy_collection)​3.3 添加数据方式一使用Chroma指定的嵌入函数将文本生成向量。my_collection.add(documents[RAG是一种检索增强生成技术,向量数据库存储文档的嵌入表示,在机器学习领域智能体Agent通常指能够感知环境、做出决策并采取行动以实现特定目标的实体],metadatas[{source:RAG},{source:向量数据库},{source:Agent}],ids[id1,id2,id3])​print(添加数据后peek ,knowledge_collection.peek())print(添加数据后count ,knowledge_collection.count())​# 获取所有文档resultknowledge_collection.get()print(所有文档,result)方式二自己去调用模型获取向量然后再存储# 方式二手动传入预计算向量,knowledge_collection.add(embeddings[[1.2,2.3,4.5],[6.7,8.2,9.2]],documents[This is a document,This is another document],metadatas[{source:my_source},{source:my_source}],ids[id1,id2])3.4 查询根据条件查询rmy_collection.get(where{source:Agent},# 通过metadatas 中的字段来查询记录where_document{$contains:Agent}# 在集合中的文档中去检索包含Agent字符串的记录 可选)print(r)根据条件分页查询,通过limit限制每页条数offset表示开始下标rmy_collection.get(ids[id1,id2,id3],limit1,offset2)print(r)传入的query_texts 会使用集合的embedding function来转化为向量然后通过余弦相似度与集合中的文档来检索相似关系rmy_collection.query(query_textsAgent是什么,n_results1# 返回的结果个数)print(r)rmy_collection.query(query_embeddings[[0.5,0.6,...]],n_results2)3.5 更新# 修改文档knowledge_collection.update(ids[id3],documents[在机器学习领域Agent通常指能够感知环境、做出决策并采取行动以实现特定目标的实体,只需给出目标然后自动执行任务达成目标])3.5 删除knowledge_collection.delete(ids[id3])四、示例importosimportjsonfromdotenvimportload_dotenv;load_dotenv()importchromadbfromchromadb.utils.embedding_functionsimportOpenAIEmbeddingFunction# 初始化客户端clientchromadb.PersistentClient(path./db/chroma)my_collectionclient.get_or_create_collection(namemy_collection,embedding_functionOpenAIEmbeddingFunction(api_keyos.getenv(OPENAI_API_KEY),api_baseos.getenv(OPENAI_BASE_URL),model_nameazure_openai/text-embedding-3-small))# 获取集合my_collectionclient.get_collection(namemy_collection)# 添加向量my_collection.add(documents[向量数据库是一种组织有序的向量嵌入集合整合了可以随时创建、读取、更新和删除的向量嵌入。向量嵌入将数据块 (例如文本或图像) 表示为数值。,将数据如文本、图像、音频等通过嵌入模型Embedding Model 转换为向量形式存储到向量数据库中并通过高效的索引和搜索算法实现快速检索,嵌入模型会将各种数据 (例如文本、图像、图表和视频) 转换为数值向量以便捕捉其在多维向量空间中的含义和细微差别。嵌入技术的选择取决于应用需求同时要兼顾语义深度、计算效率、要编码的数据的类型、维度等因素。],metadatas[{source:RAG},{source:向量数据库},{source:Agent}],ids[id1,id2,id3])# 查询resultsmy_collection.query(query_texts向量数据库是什么?,n_results2# 返回的结果个数)print(json.dumps(results)){ids:[[id1,id2]],embeddings:null,documents:[[向量数据库是一种组织有序的向量嵌入集合整合了可以随时创建、读取、更新和删除的向量嵌入。向量嵌入将数据块 (例如文本或图像) 表示为数值。,将数据如文本、图像、音频等通过嵌入模型Embedding Model 转换为向量形式存储到向量数据库中并通过高效的索引和搜索算法实现快速检索]],uris:null,included:[metadatas,documents,distances],data:null,metadatas:[[{source:RAG},{source:向量数据库}]],distances:[[0.15911930799484253,0.42112505435943604]]}四、Client-Server Mode4.1 服务端在生产环境中也可以使用Client-Server Mode类似我们使用关系型数据库在服务器上部署一个mysql Server然后通过Client进行链接使用。# uv安装uv toolinstallchromadb# pip安装python3-mpipinstall--upgradechromadb# --path:表示存储数据的文件目录# --port表示监听的端口号默认端口:8000chroma run[--port8000]--path/db_path4.2 客户端importchromadb ​ chroma_clientchromadb.HttpClient(hostlocalhost,port8000)