一起学大语言模型-通过ollama搭建本地大语言模型服务

Ollama的github地址链接

https://github.com/ollama/ollama

安装

下载

mac安装包下载地址：

https://ollama.com/download/Ollama-darwin.zip

windows 安装包下载地址：

https://ollama.com/download/OllamaSetup.exe

linux安装命令：

curl -fsSL https://ollama.com/install.sh | sh

linux手动安装：

https://github.com/ollama/ollama/blob/main/docs/linux.md

本文是在windows上安装搭建， 所以下载的windows安装包。

需求配置

这个是文档链接地址： https://github.com/ollama/ollama/tree/main/docs

可以在这里找到对应的系统安装配置详细文档， 以windows为例， 找到windows.md， 这个文档就是windows安装配置文档

windows安装需要的配置需求如下（没有独显也可以安装的， 我的电脑用的集显）

• Windows 10 22H2 or newer, Home or Pro
• NVIDIA 452.39 or newer Drivers if you have an NVIDIA card
• AMD Radeon Driver Drivers and Support for Processors and Graphics if you have a Radeon card

Ollama uses unicode characters for progress indication,
which may render as unknown squares in some older terminal fonts in
Windows 10. If you see this, try changing your terminal font settings.

更改安装目录

默认安装目录是 %LocalAppData%/Programs/Ollama

如果想改变安装目录， 可以通过如下命令（目录替换成你想安装的目录）：

OllamaSetup.exe /DIR="d:\some\location"

安装

按照安装向导一步一步来就行了。

更改下载的模型存储位置

通过设置环境变量 OLLAMA_MODELS 来设置模型下载的存储位置

Ollama一些目录说明

日志目录

日志目录是%LocalAppData%/Ollama

• app.log: 图形应用日志

• server.log: 服务日志

• upgrade.log: 更新日志

安装好之后就可以简单的测试下了

运行一个模型测试下

打开命令行， 运行如下命令，启动模型llama3.2

ollama run llama3.2

出现send a message输入提示表示启动模型成功了。

测试下

可以使用curl或者postman发个请求

如下命令是通过curl请求

curl http://localhost:11434/api/chat -d '{
"model": "llama3.2", "stream": false,
"messages": [{"role": "system", "content": "使用中文回答"},
{"role": "user", "content": "中国首都是哪个城市?"}
]}'

会返回如下结果：

{"model": "llama3.2","created_at": "2025-04-01T05:21:33.3777246Z","message": {"role": "assistant","content": "中国的首都是北京。"},"done_reason": "stop","done": true,"total_duration": 775795700,"load_duration": 38845600,"prompt_eval_count": 36,"prompt_eval_duration": 266016400,"eval_count": 8,"eval_duration": 468865200
}

更改服务监听地址和端口号

默认监听地址和端口号是： 127.0.0.1:11434

可以通过设置环境变量 OLLAMA_HOST ， 然后在任务管理器里杀掉ollama进程， 再重新运行就可以了。