当前位置：首页 > news >正文

在笔记本电脑上使用 LLMs 的 5 种方法

news 文章来源：https://blog.csdn.net/python12345678_/article/details/139679591 2025/5/4 14:36:48

在网上使用 ChatGPT 很简单，只需有网络连接和好的浏览器即可。但这样做可能会泄露您的隐私和数据。OpenAI 存储了您的提示和其他元数据以重新训练模型。对于一些人来说可能不成问题，但注重隐私的人可能更愿意在本地使用这些模型，不受外部跟踪的影响。

本文将介绍五种在本地使用大型语言模型（LLMs）的方法。这些软件大多兼容所有主要操作系统，并且可以轻松下载安装。通过在笔记本电脑上使用LLMs，您可以自由选择模型，只需从 HuggingFace hub 下载模型即可开始使用。此外，您还可以授权这些应用程序访问您的项目文件夹，并生成上下文感知的响应。

1. GPT4All

GPT4All 是一款先进的开源软件，允许用户轻松下载和安装最先进的开源模型。

只需从网站下载并在系统上安装 GPT4ALL。接下来，从面板中选择适合您需求的模型即可开始使用。如果您安装了 CUDA（Nvidia GPU），GPT4ALL 将自动开始使用您的 GPU 生成每秒最多 30 个标记的快速响应。

您可以授予对包含重要文件和代码的多个文件夹的访问权限，GPT4ALL 将使用检索增强生成生成响应。GPT4ALL 用户友好，速度快，受到 AI 社区的欢迎。

2. LM Studio

LM Studio 是一款新软件，与 GPT4ALL 相比，它提供了几个优点。用户界面出色，您可以通过几次点击安装 Hugging Face Hub 上的任何模型。此外，它提供了 GPU 卸载和其他 GPT4ALL 中不可用的选项。但是，LM Studio 是闭源的，并且没有通过阅读项目文件生成上下文感知的响应选项。

LM Studio 提供了对数千种开源LLMs的访问，允许您启动本地推理服务器，行为类似于 OpenAI API。您可以通过交互式用户界面上的多个选项修改LLM的响应。

3. Ollama

Ollama 是一个命令行界面（CLI）工具，可快速操作大型语言模型，如 Llama 2、Mistral 和 Gemma。如果您是黑客或开发人员，这个CLI工具是一个绝佳的选择。您可以下载并安装该软件，并使用 llama run llama2 命令开始使用 LLaMA 2 模型。您可以在 GitHub 存储库中找到其他模型命令。

它还允许您启动本地 HTTP 服务器，可以与其他应用程序集成。例如，您可以通过提供本地服务器地址使用 Code GPT VSCode 扩展，并开始使用它作为AI编码助手。

4. LLaMA.cpp

LLaMA.cpp 是一个同时提供 CLI 和图形用户界面（GUI）的工具。它允许您在本地无需任何麻烦即可使用任何开源LLMs。这个工具高度可定制，并提供对任何查询的快速响应，因为它完全使用纯 C/C++ 编写。

LLaMA.cpp 支持所有类型的操作系统、CPU 和 GPU。您还可以使用多模态模型，如 LLaVA、BakLLaVA、Obsidian 和 ShareGPT4V。

5. NVIDIA Chat with RTX

要使用 NVIDIA Chat with RTX，您需要在笔记本电脑上下载并安装 Windows 11 应用程序。该应用程序与至少具有 8GB RAM 和 50GB 可用存储空间的 30 系列或 40 系列 RTX NVIDIA 显卡的笔记本电脑兼容。此外，您的笔记本电脑至少应具有 16GB RAM 才能顺利运行 Chat with RTX。

通过 Chat with RTX，您可以在笔记本电脑上本地运行 LLaMA 和 Mistral 模型。这是一个快速高效的应用程序，甚至可以从您提供的文档或 YouTube 视频中学习。但是，需要注意的是，Chat with RTX 依赖于 TensorRTX-LLM，后者仅支持 30 系列 GPU 或更新版本。

结论

如果您想利用最新的LLMs同时保持数据安全和私密，您可以使用像 GPT4All、LM Studio、Ollama、LLaMA.cpp 或 NVIDIA Chat with RTX 这样的工具。每个工具

都有其独特的优势，无论是易于使用的界面、命令行可访问性还是对多模态模型的支持。通过正确的设置，您可以拥有一个功能强大的人工智能助手，生成定制的上下文感知响应。

建议您先从 GPT4All 和 LM Studio 开始，因为它们涵盖了大多数基本需求。之后，您可以尝试 Ollama 和 LLaMA.cpp，最后再尝试 Chat with RTX。

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。