玩转大语言模型——Ubuntu系统环境下使用llama.cpp进行CPU与GPU混合推理deepseek

系列文章目录

玩转大语言模型——使用langchain和Ollama本地部署大语言模型
玩转大语言模型——三分钟教你用langchain+提示词工程获得猫娘女友
玩转大语言模型——ollama导入huggingface下载的模型
玩转大语言模型——langchain调用ollama视觉多模态语言模型
玩转大语言模型——使用transformers中的pipeline调用huggingface中模型
玩转大语言模型——transformers微调huggingface格式的中文Bert模型
玩转大语言模型——使用GraphRAG+Ollama构建知识图谱
玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题
玩转大语言模型——配置图数据库Neo4j（含apoc插件）并导入GraphRAG生成的知识图谱
玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程
玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)
玩转大语言模型——使用LM Studio在本地部署deepseek R1的零基础）教程
玩转大语言模型——Ubuntu系统环境下使用llama.cpp进行CPU与GPU混合推理deepseek
玩转大语言模型——使用Kiln AI可视化环境进行大语言模型微调数据合成

---

---

前言

llama.cpp是一个基于C/C++的开源项目，旨在高效地运行大型语言模型推理。纯采用纯C/C++编写，不依赖其他外部库，可移植性强，只要环境支持C/C++运行，就能运行llama.cpp。支持Apple芯片，通过ARM NEON等框架进行优化；支持x86架构的AVX等指令集；提供自定义CUDA内核，支持NVIDIA、AMD等GPU，还支持Vulkan和SYCL后端，可实现CPU+GPU混合推理。除此之外还支持1.5位到8位的整数量化，加快推理速度并减少内存使用，便于在资源有限的设备上运行。从推理速度上来看，相比原始Python实现，采用C++开发的llama.cpp推理速度更快。通过4-bit、GGUF等量化技术，大幅降低显存需求，能在8GB显存的消费级显卡上运行大模型。本篇将以deepseek为例，介绍如何使用llama.cpp部署大语言模型并进行简单应用

下载并配置llama.cpp

在本篇中仅介绍Linux系统、Nvidia显卡下的配置
更多配置的操作见官网：https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md

更新apt-get

sudo apt-get update

下载依赖

sudo apt-get install build-essential cmake curl libcurl4-openssl-dev -y

其中：

• build-essential ：必需的工具和库，确保系统能正常进行编译。
• cmake ：跨平台的构建系统，用于管理项目的编译过程。
• curl ：命令行工具，用于通过 URL 发送和接收数据。
• libcurl4-openssl-dev ：cURL的一个库文件，允许在编程中通过 cURL 发送 HTTP 请求。libcurl4-openssl-dev 是与 OpenSSL配合使用的版本，提供了 SSL/TLS 加密支持，用于安全的 HTTP 请求。

---

克隆代码

github链接：https://github.com/ggml-org/llama.cpp
也可以直接使用git方式下载

git clone https://github.com/ggml-org/llama.cpp

下载后进入到llama.cpp路径

cd llama.cpp

---

编译项目

构建项目文件

使用CMake构建项目文件

cmake -B build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON

其中参数

参数	含义
-B	构建目录，在此命令中为build目录
-DBUILD_SHARED_LIBS	创建共享库选项，设置为OFF则不创建共享库，仅使用静态库
-DGGML_CUDA	在有 GPU 的情况下使用 GPU 加速
-DLLAMA_CURL	支持网络请求

进一步编译

cmake --build build --config Release --clean-first --target llama-quantize llama-cli llama-gguf-split

其中参数：

参数	含义
–build	用来指示构建文件的路径
–config	指定构建配置，可选参数Debug(调试版本，包含调试信息但没有优化)、Release（没有调试信息，但运行效率更高）
-j	构建过程使用的并行CPU数
–clean-first	是否在构建之前清空以前的构建结果，一般建议是情况，防止出现错误
–target	指定构建的目标，不设置这一参数默认是构建所有的目标

本篇中编译的目标以及解释

目标	解释
llama-quantize	将模型的精度从浮点数降低到整数，从而减少内存占用和提高推理速度
llama-cli	用于运行模型或与用户交互
llama-gguf-split	于将一个大模型文件拆分成多个小文件，方便存储和加载

---

推理

推理时需要先切换到编译后的bin文件目录下

cd /build/bin

CLI工具推理

使用llama-cli可以实现与模型的交互模式推理

 ./llama-cli -m /home/aixing/learn_llm/gguf_model/deepseek/DeepSeek-R1-Distill-Qwen-7B/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

交互如下

如果觉得每次执行都要输入一大堆很麻烦，也可以将命令写入sh文件

echo ./llama-cli -m /home/aixing/learn_llm/gguf_model/deepseek/DeepSeek-R1-Distill-Qwen-7B/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf > llama-cli-test.sh

下次执行时仅运行sh文件即可

bash llama-cli-test.sh

推理模板

使用以下命令查看相关参数

llama-cli - h

我们可以看到相关的可选模板

随后可以通过设置--chat-template来设定模板，除此之外还可以通过以下命令自定义模板

llama-cli -m model.gguf -cnv --in-prefix 'User: ' --reverse-prompt 'User:'

server工具

使用llama-server可以提供API服务

./llama-server -m /home/aixing/learn_llm/gguf_model/deepseek/DeepSeek-R1-Distill-Qwen-1.5B-Q2_K/DeepSeek-R1-Distill-Qwen-1.5B-Q2_K.gguf --port 8080 --host 0.0.0.0 -ngl 5 --parallel 10

其中参数及其含义

参数	含义
-m	模型路径
–port	端口号，默认是8080
host	设置为全零代表全都可以访问
-ngl	卸载到GPU的层数
–parallel	并发访问数

llama-server提供的是类似于OpenAI的接口，如果是本机访问，使用127.0.0.1:8080/v1或localhost:8080，如果是局域网内其他机子，需要将127.0.0.1换成服务器的IP地址。

如果服务器本地可以访问，局域网内访问不了，查看一下防火墙有没有允许外界访问端口，或者如果是自己做测试，且没有其他应用，可以直接关掉防火墙。

如果是使用WSL的Ubuntu系统，最好是用本地访问，由于Windows本身防火墙或者与Windows本身端口冲突都可能会导致远程访问失败，调节起来非常的麻烦。

与此同时，llama.cpp还提供了一个WebUI界面
直接访问localhost:8080就可以使用

结尾

在本章中简单介绍了llama.cpp的使用，实际上llama.cpp的操作细节和参数设置有很多，后续会专门出一个参数的详解