一文学会：用DeepSeek R1/V3 + AnythingLLM + Ollama 打造本地化部署的个人/企业知识库，无须担心数据上传云端的泄露问题

前言

如果你不知道Ollama是什么，以及想知道如何安装并使用Ollama，请先移步本人的这篇文章：
《只看这篇就够了：本地电脑部署DeepSeek R1大模型，实现AI自由保姆级教程，从此妈妈再也不用担心服务器繁忙啦》（文章里的Chatbox可不用装）

本篇教程，咱就接着这篇文章，继续探索：

一、AnythingLLM 简介&基础应用

AnythingLLM 是一款开箱即用的一体化 AI 应用，支持 RAG（检索增强生成）、AI 代理等功能。
它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统，并提供api方式调用。

1.主要特性

• 多种部署方式：支持云端、本地和自托管部署。
• 多用户协作：支持团队协作，适用于企业知识管理和客户支持。
• 多模型支持：兼容 OpenAI、Anthropic、LocalAI 等主流大模型。
• 多向量数据库支持：支持 Pinecone、Weaviate 等向量数据库。
• 多文件格式处理：支持 PDF、TXT、DOCX 等文件格式。
• 实时网络搜索：结合 LLM 响应缓存与对话标记功能，提供高效的文档管理和智能问答能力。

2.下载与安装

AnythingLLM 提供了 Mac、Windows 和 Linux 的安装包，用户可以直接从官网下载并安装。

官网地址：https://anythingllm.com

根据需要，下载自己对应的操作系统的版本。我这里以Windows版为例

安装完成后，首次启动时会提示配置偏好设置。用户可以根据需求进行设置，后续也可以随时修改。

3.配置 LLM 提供商

在 AnythingLLM 的设置页面，可以通过 LLM 首选项 修改 LLM 提供商。

本文使用本地部署的 Ollama 和 deepseek-r1:14b 模型。
配置完成后，务必点击 Save changes 按钮保存设置。

4.AnythingLLM 工作区&对话

我们新建一个工作区，取名为“xxx系统智能客服”，然后点击保存。

工作区聊天设置，设置好默认的参数后，点击下方的“Update workspace”。

接下来就可以自由地对话啦：

在聊天界面中，用户可以创建多个工作区。
每个工作区可以独立管理文档和 LLM 设置，并支持多个会话（Thread），每个会话的上下文也是独立的。

二、AnythingLLM 进阶应用：知识增强使用

点击“上传”图标，上传一个文档，支持的格式多样，txt、csv、word等基本都涵盖了。

上传完成后，选择一个或多个文档，点击“Move to Workspace”

点击右下角的“Save and Embed”，如弹出成功提示，就说明我们就配置完成啦。

现在你可以开始你的任意提问了，LLM会结合自己的知识，以及文档的内容，生成你提问的相应回答。

提示：保存成功后，请新开Thread哦，不然知识可能没有更新~

三、AnythingLLM 的 API 访问

AnythingLLM也是提供了对外api访问的，使得我们的其他程序，可以接入进来。

创建好api密钥，打开api文档，根据你实际情况，用相应的语言，接入即可，就能达到上述我们图形化界面上的一系列操作。

四、小结

这里总结一些容易产生歧义的概念，以及个性化的配置。

1.聊天模式

我们可以看到，在“聊天设置”里，有2种模式：聊天和查询

• 聊天：将提供LLM的一般知识和找到的文档上下文的答案。
• 查询：将仅提供找到的文档上下文的答案。

可以根据自己的实际情况，选择不同的聊天模式。

2.本地存储&向量数据库

由于我们的初衷是：打造个性化的本地知识库，所以对于向量数据库，推荐LanceDB，它是100%保存在本地的，无需担心会联网上传敏感数据，使得数据更安全。

同时，LanceDB也是默认配置，无需额外配置。

---

都看到这里了，各位帅哥/美女，不管有用没用，都帮忙点个赞呗，❤️谢谢~

---

Author

吴所畏惧 2025.02.10