在CentOS服务器上部署DeepSeek R1

在CentOS服务器上部署DeepSeek R1，并通过公网IP与其进行对话，可以按照以下步骤操作：

一、环境准备
系统要求：
CentOS 8+（需支持AVX512指令集）。
硬件配置：
GPU版本：NVIDIA驱动520+，CUDA 11.8+。
CPU版本：至少16核处理器，64GB内存。
存储空间：原始模型需要30GB，量化后约8-20GB。
安装基础工具：
更新系统并安装必要的编译工具：

一定要买GPU服务器。

sudo yum update -y
sudo yum install -y cmake g++ python3-devel

二、安装Ollama及DeepSeek R1模型
安装Ollama核心组件：
curl -fsSL https://ollama.com/install.sh | sh
这里的下载速度可能会特别慢，建议自己配hosts。

安装模型转换工具：

pip3.8 install llama-cpp-python[server] --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu

这一步可能依赖版本，g++版本不兼容一直导致报错，建议通过docker方式进行部署。
我自己用的是pip3.8，可根据pip版本自行调整。

下载DeepSeek R1原始模型：