【大模型】Ollama+AnythingLLM搭建RAG大模型私有知识库

一、AnythingLLM简介

AnythingLLM是由Mintplex Labs Inc.开发的一个全栈应用程序，是一款高效、可定制、开源的企业级文档聊天机器人解决方案。AnythingLLM能够将任何文档、资源或内容片段转化为大语言模型在聊天中可以利用的相关上下文。

AnythingLLM支持几乎所有的主流大模型和多种文档类型，可定制化，而且安装和设置简单。目前适用于MacOS、Linux和Windows操作系统，也可以使用Docker安装。官方已经做好了各个版本的应用，直接下载对应版本，像正常软件一样安装启动即可。

1.核心特性

• 多用户协作与权限定制：支持多用户同时在线，根据角色分配不同权限，保障信息安全。
• 全面文档格式兼容：无缝支持PDF、TXT、DOCX等主流文档格式，扩展知识库的边界。
• 直观的文档管理界面：用户友好的界面简化了向量数据库中的文档管理流程。
• 双模式对话系统：对话模式记录历史问答，查询模式专注于文档的即时速查。

2.技术生态支持

• LLM支持：全面兼容开源llama.cpp模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2等，以及LM Studio和LocalAi。
• 嵌入模型：内建AnythingLLM原生嵌入器，同时支持OpenAI、Azure OpenAI等嵌入技术。
• 向量数据库：以LanceDB为默认选择，同时支持Pinecone、Chroma、Weaviate、QDrant等数据库，为知识库提供强大的数据索引和检索能力。

二、搭建本地智能知识库

2.1 安装Ollama

AnythingLLM中需要设置 “工作区 LLM 提供者”，这里我们可以使用 Ollama 来提供大模型服务，这里就需要提前在我们的环境上安装好 Ollama 。

Ollama 的安装及部署参考本人之前的博客：【大模型】Ollama的安装部署及运行大模型教程

在使用AnythingLLM前，需要启动Ollama服务。执行ollama serve，ollama默认地址为：http://127.0.0.1:11434

【注意】：这里我们的 Ollama 安装在Ubuntu远程服务器上，AnythingLLM 安装在本地 Windows
PC机上。如果想在本地PC机访问 Ollama 提供的模型服务，还需做个端口映射。在Windows命令行页面输入如下命令：

python ssh -L 11434:localhost:11434 [e-mail]

然后在PC机的浏览器访问 http://127.0.0.1:11434/，能够看到如下页面：

2.2 安装AnythingLLM

（1）下载安装包进行安装

安装包下载地址：https://anythingllm.com/desktop

这里，我们选择了 Windows 的安装包，在本地PC机上进行安装。

（2）Open Seetings

进入 Open Seetings页面，可以设置人工智能提供商，包括：LLM首选项、向量数据库等。

• LLM首选项：
  
  这里我们选择了 Ollama 来提供模型服务。

• 向量数据库
  
  向量数据库直接使用默认的LanceDB即可。

（3）创建工作区

（4）设置工作区

（5）开启对话

在对话界面可以通过“上传文档”，或者 “发送消息” 来开启对话。

• 上传文档
  

参考资料

• 【RAG检索增强生成】Ollama+AnythingLLM本地搭建RAG大模型私有知识库_ollama检索增强