【大模型系列】Windows系统上运行大语言模型方式

在Windows系统上运行大语言模型（LLMs）有多种方式，以下是一些具体的方法：

GPT4All

• 简介：GPT4All是一个适用于所有操作系统的LLM框架和聊天机器人应用程序，可以本地运行LLMs，并通过API将其与任何应用程序集成。
• 步骤：
  • 从GPT4All的GitHub仓库下载安装程序，并根据操作系统选择合适的版本。
  • 安装软件包后启动GPT4All应用程序，并下载所需的语言模型。
  • 选择下载的模型并开始使用应用程序进行聊天或生成响应。
  • GPT4All支持使用GPU加速响应生成（如果安装了CUDA）。
  • 可以通过设置调整模型参数，自定义模型响应，并连接本地文件夹以获取上下文感知响应。
  • 提供OpenAI API密钥可以访问GPT-3.5和GPT-4模型。

LM Studio

• 简介：LM Studio提供了与GPT4All类似的选项，但不允许连接本地文件夹来生成上下文感知的答案。它允许用户下载和自定义多种模型，并一键启动API服务器。
• 步骤：
  • 从LM Studio的主页下载安装程序，并使用默认选项安装应用程序。
  • 使用搜索功能从Hugging Face下载所需的模型。
  • 选择下载的模型并开始聊天。
  • LM Studio提供了更多的自定义选项，并允许同时运行和服务多个模型。

Jan

• 简介：Jan是最流行和最美观的本地LLM应用程序之一，生成响应的速度非常快。它允许用户安装扩展并使用来自不同提供商的专有模型。
• 步骤：
  • 从Jan的官方网站下载安装程序，并用默认设置安装Jan应用程序。
  • 导入已有的模型或下载新模型。
  • 在聊天用户界面中选择导入的模型并开始生成响应。
  • Jan也可以用作本地API服务器。

llama.cpp

• 简介：llama.cpp是另一个流行的开源LLM框架，许多本地和基于Web的AI应用程序都是基于llama.cpp的。学习使用它将有助于了解其他LLM应用程序的幕后工作原理。
• 步骤：
  • 在shell中使用cd命令进入项目目录，并从GitHub服务器克隆llama.cpp的所有文件。
  • 在Windows上，需要下载并安装MakeFile make命令行工具（如w64devkit）。
  • 安装完成后，通过输入命令运行llama.cpp Web UI服务器。

Ollama

• 简介：Ollama是一个易于使用的LLM框架，支持Windows系统。用户可以通过其官方网站下载并安装exe安装程序。
• 步骤：
  • 访问Ollama官网，点击Download进入下载页面，选择Download for Windows（Preview）下载exe安装程序。
  • 双击exe文件进行安装，点击Install执行安装，等待安装完成。
  • 安装完成后，打开命令窗口，输入模型安装命令（如“ollama run qwen :7b”等，具体命令根据所选模型而定），等待安装完成。
  • 安装好后，即可开始使用Ollama进行聊天或生成文本。