当前位置: 首页 > article >正文

彻底搞懂Pinecone、Chroma、Weaviate:向量数据库架构拆解,看这篇就够了!

向量数据库存储 Embedding也就是文本、图像或音频的数值表示并在查询时检索语义上最接近的结果。RAG 系统正是基于这一机制运作。本文对比三个主流方案每个都附有 Python 代码均来自实际在生产环境中使用三者的经验。三种选择Pinecone 用于生产级规模Chroma 用于本地原型开发Weaviate 用于混合搜索。向量数据库究竟做了什么对一段文本做 Embedding得到的是一个向量比如说一个由 768 或 1,536 个数字组成的数组代表该文本的语义含义。相似的文本产生相似的向量。向量数据库将这些向量存储下来并建立索引以支持快速最近邻搜索。用户提出问题时先将问题做 Embedding再向向量数据库发起查询哪些已存储的向量与之最接近数据库返回语义上最相似的文本片段随后将这些片段注入 LLM 的上下文。检索环节的好坏直接决定 RAG 系统整体的表现这一步出了偏差再好的 LLM 也只会给出自信却错误的回答。Chroma从原型开发开始Chroma 开源通过 pip install chromadb 安装支持本地内存运行或持久化到磁盘5 分钟内即可搭建一个可用的向量存储。基本 Python 设置import chromadb from chromadb.utils import embedding_functions client chromadb.PersistentClient(path./my_db) ef embedding_functions.OpenAIEmbeddingFunction( api_keyyour-key, model_nametext-embedding-3-small) collection client.get_or_create_collection(docs, embedding_functionef) # 添加文档 collection.add(documents[doc1 text, doc2 text], ids[id1,id2]) # 查询 results collection.query(query_texts[your question], n_results5)但是Chroma 并非云原生。跨多台机器扩展需要自行管理服务器一旦超出单机部署范围或数据集规模超过约 100 万条文档迁移就不可避免。接口设计得干净的话过程不算痛苦但仍需投入时间。Pinecone进入生产环境时的选择Pinecone 是完全托管的云基础设施——无需自行运行服务器、管理内存或操心副本复制。免费层约可处理 100 万个 1,536 维向量覆盖多数小型应用绰绰有余付费层可扩展至数十亿量级。基本 Python 设置from pinecone import Pinecone pc Pinecone(api_keyyour-pinecone-api-key) index pc.Index(my-index) # Upsert需要单独处理 Embedding index.upsert(vectors[(id1, embedding_vector, {text: doc text})]) # 查询 results index.query(vectorquery_embedding, top_k5, include_metadataTrue)Pinecone 的免费层确实有用。超出限额后成本随向量数量和查询量增长日均 10,000 次查询的初创应用尚在可控范围而大规模应用则会变成一笔可观支出。所以开始时保留切换向量存储的余地把检索逻辑封装在清晰的接口后面。Weaviate用于混合搜索纯语义搜索与纯关键词搜索都不总是最优解。语义搜索会漏掉精确匹配用户查询RFC 7519时关键词匹配远比语义相似度更快定位到结果。混合搜索将余弦相似度与 BM25 关键词匹配相结合并对两者施加权重。基本混合搜索import weaviate client weaviate.connect_to_wcs(cluster_url…, auth_credentials…) collection client.collections.get(Document) # 混合查询结合语义 关键词 results collection.query.hybrid( queryyour question, alpha0.5, # 0 仅关键词, 1 仅语义, 0.5 均衡 limit5 )知识库中若包含技术文档、API 参考或带有特定标识符、型号、代码的内容混合搜索的表现会优于纯语义检索。一般性文本内容则差距不大额外的复杂性未必划算。常见问题第一个项目应该使用哪个向量数据库Chroma没有悬念。pip 安装本地运行零配置免费。先用 Chroma 搭建第一个 RAG 系统日后需要扩展至生产环境迁移到 Pinecone 或 Weaviate 只需几小时——前提是接口足够干净。做 RAG 一定需要向量数据库吗还是可以用普通数据库PostgreSQL 的 pgvector 扩展可以实现近似最近邻搜索这是一个可行的生产方案。Supabase托管式 Postgres原生支持 pgvector100 万向量以下的应用表现良好。规模再往上走专用向量数据库在性能上的优势才会真正体现出来。应该使用哪个 Embedding 模型OpenAI 和google的API都是可以选择的质量可靠价格低廉约每百万 Token 0.02 美元生态支持广泛。本地部署且注重隐私的场景下通过 Ollama 运行 nomic-embed-text 是最佳免费方案追求质量上限而不计成本可选 text-embedding-3-large 或 Cohere 的 embed-v3。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相关文章:

彻底搞懂Pinecone、Chroma、Weaviate:向量数据库架构拆解,看这篇就够了!

向量数据库存储 Embedding,也就是文本、图像或音频的数值表示,并在查询时检索语义上最接近的结果。RAG 系统正是基于这一机制运作。本文对比三个主流方案,每个都附有 Python 代码,均来自实际在生产环境中使用三者的经验。 三种选择…...

Linux I/O 演进史:从管道到零拷贝,一篇串起个服务端核心原语孛

前言 在使用 kubectl get $KIND -o yaml 查看 k8s 资源时,输出结果中包含大量由集群自动生成的元数据(如 managedFields、resourceVersion、uid 等)。这些信息在实际复用 yaml 清单时需要手动清理,增加了额外的工作量。 使用 kube…...

开源机器人手终极指南:如何用OpenHand技术解决柔性抓取的三大挑战

开源机器人手终极指南:如何用OpenHand技术解决柔性抓取的三大挑战 【免费下载链接】openhand-hardware CAD files for the OpenHand hand designs 项目地址: https://gitcode.com/gh_mirrors/op/openhand-hardware 当传统机械手面对复杂物体时,为…...

为什么开发者都在使用go-cursor-help?5步掌握Cursor无限试用技巧

为什么开发者都在使用go-cursor-help?5步掌握Cursor无限试用技巧 【免费下载链接】go-cursor-help 解决Cursor在免费订阅期间出现以下提示的问题: Your request has been blocked as our system has detected suspicious activity / Youve reached your trial reque…...

从0到1构建一个ClaudeAgent-工具与执行-Agent循环

在技术领域,我们常常被那些闪耀的、可见的成果所吸引。今天,这个焦点无疑是大语言模型技术。它们的流畅对话、惊人的创造力,让我们得以一窥未来的轮廓。然而,作为在企业一线构建、部署和维护复杂系统的实践者,我们深知…...

如何解决网页图片格式转换难题?这款Chrome扩展让效率提升3倍

如何解决网页图片格式转换难题?这款Chrome扩展让效率提升3倍 【免费下载链接】Save-Image-as-Type Save Image as Type is an chrome extension which add Save as PNG / JPG / WebP to the context menu of image. 项目地址: https://gitcode.com/gh_mirrors/sa/…...

WPF新手村教程(七)—— 终章(MVVM架构初见杀)俑

1. 哑铃图是什么? 哑铃图(Dumbbell Plot),有时也称为DNA图或杠铃图,是一种用于比较两个相关数据点的可视化图表。 它源于人们对更有效数据比较方式的持续探索。 在传统的时间序列比较中,我们通常使用两条折…...

一篇文章带你了解MyBatis!!!

一、引言在之前提到的三层架构:控制层controller、业务层service、持久层dao,里面的持久层,顾名思义:承担了数据持久化的核心职责;这篇文章讲述的是常用的持久层框架---MyBatis二、入门程序准备工作:创建sp…...

连续血糖监测数据集终极指南:解锁糖尿病研究的标准化数据宝库

连续血糖监测数据集终极指南:解锁糖尿病研究的标准化数据宝库 【免费下载链接】Awesome-CGM List of CGM datasets 项目地址: https://gitcode.com/gh_mirrors/aw/Awesome-CGM 在精准医疗与人工智能交叉融合的时代,连续血糖监测(CGM&a…...

免费智能风扇控制终极指南:3步让你的电脑静音又冷静

免费智能风扇控制终极指南:3步让你的电脑静音又冷静 【免费下载链接】FanControl.Releases This is the release repository for Fan Control, a highly customizable fan controlling software for Windows. 项目地址: https://gitcode.com/GitHub_Trending/fa/F…...

2026年智能巡检管理系统如何让设备隐患无处遁形?

传统的设备巡检,本质上是一场“信任游戏”。我信任员工去看了,员工信任自己画了钩,结果往往是——等到设备真的坏了、管道真的漏了,翻开那本厚厚的巡检记录,上面依然写满了“正常”。直到我们引入了智能巡检管理系统&a…...

C++11新特性 使用using定义别名

C11 引入的 using 别名声明(Alias Declaration),旨在替代并增强传统的 typedef。它的核心目标是:用更直观、更强大的语法来为类型或模板起“昵称”,彻底解决 typedef 语法晦涩且无法直接别名化模板的痛点。 下面我将从…...

幕连投屏电脑版

链接:https://pan.quark.cn/s/81fb3b0bcdee幕连投屏电脑版,通过各平台和设备间的屏幕同屏技术,让人们可以更轻松地分享屏幕,使会议教学更直观,家庭生活更精彩,让同屏不再只是冰冷的技术,而拥有了…...

VRCT完整使用指南:如何在VRChat中实现跨语言无障碍交流

VRCT完整使用指南:如何在VRChat中实现跨语言无障碍交流 【免费下载链接】VRCT VRCT(VRChat Chatbox Translator & Transcription) 项目地址: https://gitcode.com/gh_mirrors/vr/VRCT 在VRChat的虚拟世界中,语言障碍常常成为国际社交的最大阻…...

深度解析TFTP与FTP:核心区别、工作原理与应用场景

深度解析TFTP与FTP:核心区别、工作原理与应用场景摘要一、基础定义1.1 FTP 协议1.2 TFTP 协议二、TFTP 和 FTP 核心区别(表格对比)三、工作原理简要说明FTP 原理TFTP 原理四、TFTP 应用场景(最典型)1. **网络设备配置备…...

小白程序员必备:收藏这份数据库入门指南,轻松掌握SQL大模型核心技能!

小白程序员必备:收藏这份数据库入门指南,轻松掌握SQL大模型核心技能! 本文详细介绍了数据库基础概念,包括数据库、DBMS、DBA等,并深入讲解了SQL语言分类(DDL、DML、DQL、DCL)。重点解析了DDL操作…...

科研党必备:Python脚本批量下载DOI文献的保姆级教程(附避坑指南)

科研党必备:Python脚本批量下载DOI文献的保姆级教程(附避坑指南) 文献检索与下载是科研工作中不可或缺的环节。对于需要处理大量文献的研究者来说,手动逐一下载不仅效率低下,还容易出错。本文将详细介绍如何使用Python…...

考研英语一历年真题及答案PDF电子版(1998-2026年)

为助力广大考生高效备考,小为精心整理了1980年至2026年的考研英语一真题试卷及答案解析,PDF电子版,可免费下载打印,包含内容: 【1】1980-2026年考研英语一真题试卷答案解析合集.pdf 【2】考研英语一答题卡.pdf 资料下…...

【26最新大英赛】2012-2026年全国大学生英语竞赛ABCD类历年真题及答案+核心词汇电子版PDF

2026年全国大学生英语竞赛(NECCS)考试安排 2026年度全国大学生英语竞赛定于4月12日上午9:00至11:00举行,总考试时长为120分钟。考试将在标准化考场环境下进行,确保考试公平性和规范性。 备考资料推荐 为帮助考生高效备考&#…...

realme Q3 5G刷机全攻略:从TWRP到Magisk Root权限获取

1. realme Q3 5G刷机前的准备工作 在开始刷机之前,我们需要做好充分的准备工作。realme Q3 5G(型号RMX3161)作为一款性价比极高的5G手机,搭载高通骁龙750G处理器,确实是个不错的刷机选择。不过刷机有风险,操…...

5分钟搞定万字提示词的底层方法论是什么?

最近有很多人想问六哥写提示词的方法论是什么?兄弟,你想学写提示词?说实话,大家赚钱都不容易,千万别走弯路去背什么“提示词语法”或“代码公式”。六哥写提示词的核心方法论就四个字:“借势喂养”。高质量…...

绩效考核软件避坑实录:为什么你觉得绩效考核软件”不好用”

好用的绩效考核软件应该具备灵活的考核模板配置、自动化流程推进、多维度数据分析三大核心能力。 2026年主流绩效考核软件已普遍集成AI能力,可将绩效评估周期从平均2周压缩到3天,同时减少70%以上的人为评分偏差。选择时重点关注系统的配置灵活度、与现有…...

Java自动化生成Mapbox-GL雪碧图及JSON配置实战指南

1. 为什么需要自动化生成雪碧图? 在地图应用开发中,图标资源管理一直是个让人头疼的问题。我刚开始接触Mapbox-GL时,每次新增或修改图标都要手动拼接图片、调整JSON配置,效率低还容易出错。后来发现用Java程序自动化处理&#xff…...

C++“流星蝴蝶剑”动画的解析

C流星蝴蝶剑萍乡C创意编码精灵库案例这段视频展示了一个使用 C 编写的图形化演示程序,名为“C 流星蝴蝶剑”。视频主要分为三个部分:最终效果展示、生成“光剑”的代码解析、以及生成背景飞舞文字的代码框架解析。 以下是详细的视频与程序描述&#xff…...

Harness Engineering:Agent工具生态扩展

Harness Engineering:Agent工具生态扩展 1. 引入与连接(唤起兴趣与建立关联) 1.1 引人入胜的开场:从「一次性Agent工具」到「永不落幕的Agent生产流水线」 想象一下这个场景:你是一家互联网金融公司的AI负责人,上周刚上线了一款「智能财报分析Agent」——它能调用行业…...

AI_概念篇_MCP

AI_概念篇_MCP让 AI 真正能"动手"的标准协议没有 MCP 之前:重复造轮子的时代 早期 Agent(2023 年前后的 AutoGPT、早期 GitHub Copilot 等)要调用外部工具,每个平台都得自己硬编码实现一遍: Cursor 自…...

WPF新手村教程(七)—— 终章(MVVM架构初见杀)姑

1. 哑铃图是什么? 哑铃图(Dumbbell Plot),有时也称为DNA图或杠铃图,是一种用于比较两个相关数据点的可视化图表。 它源于人们对更有效数据比较方式的持续探索。 在传统的时间序列比较中,我们通常使用两条折…...

HagiCode Desktop 混合分发架构解析:如何用 PP 加速大文件下载肛

一、Actor 模型:不是并发技巧,而是领域单元 Actor 模型的本质是: Actor 是独立运行的实体 Actor 之间只通过消息交互 Actor 内部状态不可被外部直接访问 Actor 自行决定如何处理收到的消息 Actor 模型真正解决的是: 如何在不共享状…...

第16章 Mosquitto客户端开发实战

第16章 客户端开发实战 16.1 Python客户端 安装 pip install paho-mqtt基础示例 import paho.mqtt.client as mqttdef on_connect(client, userdata, flags, rc):print(f"Connected: {rc}")client.subscribe("sensor/#")def on_message(client, userdata, …...

第15章 Mosquitto生产环境部署实践

第15章 生产环境部署实践 15.1 部署架构 #mermaid-svg-vIDt7FlC1G9XhLIS{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}…...