3款自己电脑就可以运行AI LLM的项目

AnythingLLM、LocalGPT和PrivateGPT都是与大语言模型（LLM）相关的项目，它们允许用户在本地环境中与文档进行交互，但它们在实现方式和特点上存在一些差异。AnythingLLM使用Pinecone和ChromaDB来处理矢量嵌入，并使用OpenAI API来实现其LLM和会话功能。

AnythingLLM

由Mintplex Labs Inc.开发的开源工具，旨在创建个人或企业的私有化本地知识库。它通过结合大模型基于RAG（Retrieval-Augmented Generation）检索增强来实现知识库的检索和生成。AnythingLLM支持多用户使用，并可以设置权限管理，支持多种文档类型，如PDF、TXT、DOCX等，并提供简易的文档管理界面。此外，它还支持多种LLM、嵌入模型和向量数据库，允许用户通过对话或搜索的方式进行问题回答和摘要生成。

文档地址：https://docs.useanything.com/

LocalGPT

一个允许用户在本地设备上使用GPT模型与文档进行聊天的项目。它是受original privateGPT启发的项目，使用Vicuna-7B模型和InstructorEmbeddings代替了LlamaEmbeddings。LocalGPT可以在GPU上运行，但也支持CPU，尽管在CPU上运行可能会比较慢。LocalGPT利用LangChain工具来解析文档并创建嵌入，然后将其存储在本地向量数据库中，使用Chroma向量存储。它使用本地LLM来理解问题并创建答案，从文档中提取答案的上下文。

文档地址：https://github.com/PromtEngineer/localGPT

PrivateGPT

PrivateGPT 是一个结合了高效能语言处理与强大隐私保护的先进语言模型平台。它基于OpenAI的GPT架构，提供了API，支持正常响应和流式响应。
文档地址：https://docs.privategpt.dev/overview/welcome/introduction

PrivateGPT的主要功能包括：

• 隐私保护：PrivateGPT在用户输入提示中删除超过50种类型的人可识别信息（PII），然后将这些信息重新填充到生成的回答中，以确保用户体验的无缝性和安全性。

• 本地化运行：PrivateGPT可以在本地环境中运行，无需上传数据到互联网或与他人分享，从而保护数据隐私。

• 多种应用场景：PrivateGPT可以应用于多种场景，包括在线聊天机器人、自动邮件回复、文章生成、代码生成等。此外，它还可以用于文本生成、问答系统、自动摘要、情感分析等多种自然语言处理任务。

• 智能写作：PrivateGPT可以帮助创作者快速草拟文章框架，生成创意内容。

• 开源项目：PrivateGPT是一个开源项目，用户可以通过Python开发环境构建自己的个性化GPT-4模型，并且无需任何编码或技术知识即可使用。

• 数据控制能力：PrivateGPT具备完整的数据控制能力，使用户能够在本地环境中与强大的语言模型进行交互，确保数据的私密性和安全性。

PrivateGPT不仅提供了一个高效的语言模型平台，还通过隐私保护和本地化运行等特性，满足了现代企业在数据隐私和安全方面的严格要求。

总的来说，AnythingLLM、LocalGPT和PrivateGPT都提供了一种方式，使用户能够在本地环境中与文档进行交互，保护数据隐私，同时利用大语言模型的能力。不同之处在于它们所使用的具体技术栈、支持的硬件、以及用户界面和权限管理等方面。

LocalGPT与PrivateGPT都要求本地运行LLM，对本地机器有一定的要求，AnythingLLM就稍微轻量一些，本地电脑不必运行LLM也能使用LLM带来的益处。