Ollama安装-运行模型-常用运维命令

方法1官方命令行安装安装 curl -fsSL https://ollama.com/install.sh | sh 注需要网络支持可以安装的话就不需要执行手动安装的配置官方脚本会把所有东西都配置好如果要修改镜像源可查看后面修改镜像源的方法2.4。 启动 ollama serve 验证安装成功显示版本号即成功 ollama -v方法2手动安装Ollama二进制文件并配置一、准备工作安装依赖# 更新软件源 sudo apt update # 安装 zst 解压工具用于解压 .tar.zst 格式包 sudo apt install zstd -y 下载Ollama二进制文件 window浏览器直接访问https://ollama.com/download/ollama-linux-amd64.tar.zst # 上传二进制文件到服务器 Linux物理服务器直接远程连接上传文件。 WSL安装的Linuxsudo cp /mnt/c/Downloads/ollama-linux-amd64.tar.zst /home/commonsofts/ 说明WSL安装Linux会默认挂在本地磁盘用mnt/(磁盘符)可以直接访问。二、解压 Ollama 安装包# 进入安装目录示例/home/commonsofts可自定义 cd /home/commonsofts # 解压 ollama-linux-amd64.tar.zst必须加 sudo系统目录权限 sudo tar -I zstd -xvf ollama-linux-amd64.tar.zst # 将可执行文件复制到系统命令目录全局可用 sudo cp bin/ollama /usr/local/bin/ # 验证安装成功显示版本号即成功 ollama --version三、注册系统服务 开机自启# 创建 systemd 服务文件 sudo tee /etc/systemd/system/ollama.service EOF [Unit] DescriptionOllama Service Afternetwork.target [Service] ExecStart/usr/local/bin/ollama serve Userroot Grouproot Restartalways RestartSec3 [Install] WantedBymulti-user.target EOF # 重新加载服务配置 sudo systemctl daemon-reload # 启动 Ollama 服务 sudo systemctl start ollama # 设置开机自启 sudo systemctl enable ollama # 查看服务状态验证运行正常 sudo systemctl status ollama四、配置国内镜像加速必配解决下载慢# Ollama 默认模型镜像源 - 官方 registryhttps://registry.ollama.com - 国内加速镜像https://mirror.ollama.com - 配置方式设置环境变量 OLLAMA_MODEL_SERVER # 国内可用镜像列表任选一个 • 阿里云最快https://mirrors.aliyun.com/ollama • 清华镜像https://ollama.tuna.tsinghua.edu.cn • 华为云https://mirrors.huaweicloud.com/ollama # 编辑服务文件添加镜像环境变量 sudo tee /etc/systemd/system/ollama.service EOF [Unit] DescriptionOllama Service Afternetwork.target [Service] ExecStart/usr/local/bin/ollama serve Userroot Grouproot Restartalways RestartSec3 # 国内阿里云镜像如果不需要可以注释掉 EnvironmentOLLAMA_MODEL_SERVERhttps://mirrors.aliyun.com/ollama [Install] WantedBymulti-user.target EOF # 重新加载配置并重启服务 sudo systemctl daemon-reload sudo systemctl restart ollama五、配置外部访问可选允许跨IP调用# 官方推荐修改配置文件方式 sudo systemctl edit ollama # 在打开的编辑器中追加以下内容 [Service] # 多个Environment往下追加就行 EnvironmentOLLAMA_HOST0.0.0.0:11434 # 允许所有IP访问 EnvironmentOLLAMA_ORIGINS* # 允许跨域请求 # 保存退出后执行以下命令生效 sudo systemctl daemon-reload sudo systemctl restart ollama # 验证配置是否生效 sudo systemctl show --propertyEnvironment ollama # 正常输出应包含 # EnvironmentOLLAMA_MODEL_SERVERhttps://mirrors.aliyun.com/ollama OLLAMA_HOST0.0.0.0:11434 OLLAMA_ORIGINS* # 配置文件相关说明及临时文件说明与清理 # 执行systemctl edit命令后可能生成以下临时文件 # .#override.conf* 临时锁文件防止多用户并发编辑 # .#override.conf*.save 自动备份文件用于配置恢复 # 清理方法 cd /etc/systemd/system/ollama.service.d sudo rm -f .#*六、安装运行模型模型名称可以从这里找https://ollama.com/search涉及命令如下 sudo ollama pull 模型名称 # 下载/拉取模型例ollama pull qwen2.5:7b sudo ollama run 模型名称 # 运行模型并进入对话未下载会自动下载 类如 sudo ollama pull qwen2.5:7b # 下载模型 sudo ollama run qwen2.5:7b # 运行模型此时就可以在命令行窗口和大模型对话了。 或 sudo ollama run qwen2.5:7b # 会执行pull和run操作七、Ollama 常用管理命令# 一、Ollama 服务管理命令 sudo systemctl start ollama # 启动 Ollama 服务 ollama serve sudo systemctl stop ollama # 停止 Ollama 服务 sudo systemctl restart ollama # 重启 Ollama 服务 sudo systemctl enable ollama # 设置 Ollama 开机自启 sudo systemctl disable ollama # 取消 Ollama 开机自启 sudo systemctl status ollama # 查看服务运行状态是否正常启动 # 二、Ollama 模型核心操作命令 sudo ollama list # 查看本地已安装的所有模型列表 sudo ollama pull 模型名称 # 下载/拉取模型例ollama pull qwen2.5:7b sudo ollama run 模型名称 # 运行模型并进入对话未下载会自动下载 sudo ollama rm 模型名称 # 删除本地指定模型例ollama rm qwen2.5:7b sudo ollama show 模型名称 # 查看模型的详细信息配置、参数等 sudo ollama ps # 查看当前正在运行中的模型进程 sudo ollama stop --all # 停止所有正在运行的模型 ollama run qwen2.5:7b 你好 # 验证ollama加载模型回答问题是否可行 # 三、Ollama 日志信息命令 journalctl -u ollama -f # 实时滚动日志排查问题最常用 journalctl -u ollama -n 100 # 查看最近 100 行日志 journalctl -u ollama --since today # 查看今天所有日志 journalctl -u ollama --since 1 hour ago # 查看最近 1 小时日志 sudo journalctl --rotate sudo journalctl --vacuum-time1d # 清理旧日志释放空间 Window环境 cat $env:LOCALAPPDATA\Ollama\server.log # 查看日志文件 Get-Content $env:LOCALAPPDATA\Ollama\server.log -Wait # 实时跟踪 # 四、Ollama 基础信息命令 sudo ollama --version # 查看 Ollama 版本号 sudo ollama help # 查看 Ollama 帮助文档Ollama参数优化配置速查表生产环境 → 一律禁止纯 CPU 推理。环境变量配置表参数名核心作用可配置范围/值配置依据生产环境建议OLLAMA_NUM_GPU启用几块显卡参与推理0(禁用)/1/2/3…看 GPU 数量1张卡1显存太小01(至少1张计算卡)OLLAMA_GPU_LAYERS加载多少层模型到显存加速0~40(随模型变化)看 专用GPU显存≤4G04-8G10-20≥8G3535(全量加载满速)OLLAMA_NUM_THREADCPU 参与推理的线程数1~CPU逻辑处理器数看 CPU 核心数4核48核816核168~16(留余量给系统)OLLAMA_BATCH_SIZE单次处理 Token 数量32/64/128/256/512看 系统内存 运行模式纯CPU16G64~128显卡跑大显存512512(大显存最优)一报错/爆显存 → batch_size 减半OLLAMA_KEEP_ALIVE模型驻留超时常驻/卸载30s/5m/1h/24h/-1看 使用频率日常30m~1h服务24h永久-124h(长期运行低延迟) 配置口诀显卡小≤4G→ num_gpu0, gpu_layers0CPU 几核 → num_thread几纯CPU16G内存 → batch_size64模型常驻 → KEEP_ALIVE30m~24h一报错/爆显存 → batch_size 减半