保姆级教程：在RuoYi-AI里用Ollama跑通本地Llama3模型（附完整配置截图）

零基础实战RuoYi-AI与Ollama深度整合指南第一次在本地环境跑通Llama3模型时那种不依赖任何云服务的成就感至今难忘。作为一款开箱即用的AI开发框架RuoYi-AI与Ollama的组合让本地大模型部署变得前所未有的简单——但魔鬼往往藏在配置细节里。本文将带你穿越那些官方文档没细说的配置雷区用三十多张实机截图还原每个关键步骤。1. 环境准备与前置检查在开始配置之前我们需要确保两个核心组件已正确就位。打开终端依次执行以下验证命令# 检查RuoYi-AI服务状态 docker ps | grep ruoyi-ai # 验证Ollama服务运行 curl http://localhost:11434常见的环境问题往往出现在三个方面端口冲突11434端口被其他服务占用权限不足Ollama需要读写模型目录的权限版本不匹配RuoYi-AI与Ollama存在兼容性问题提示如果遇到Connection refused错误先确认Ollama是否以守护进程方式运行ollama serve通过ollama list查看已安装模型时输出应该类似这样MODEL NAMESIZEDIGESTllama34.7GB6c0f9...这个表格中的MODEL NAME字段将成为后续配置的关键参数。我曾见过开发者因为大小写不一致如输入Llama3而非llama3导致数小时的调试失败。2. 系统模型配置详解登录RuoYi-AI后台导航至运营管理 系统模型点击新增按钮时会看到这些字段模型名称必须与ollama list输出完全一致模型标识用于API调用的唯一ID建议英文小写请求地址默认http://127.0.0.1:11434/api/generate最大令牌数控制生成文本长度Llama3建议设为2048最容易出错的请求地址配置有三种典型错误遗漏/api/generate路径使用localhost而非127.0.0.1错误指定HTTP/HTTPS协议配置完成后立即点击测试连接按钮。成功的响应应该返回类似这样的JSON结构{ model: llama3, response: The model is ready }3. 调试与异常处理当看到连接成功提示却无法实际调用时可以按这个排查流程操作检查模型加载状态ollama ps确认模型状态为running查看实时日志journalctl -u ollama -f验证API端点curl -X POST http://127.0.0.1:11434/api/generate -d { model: llama3, prompt: Hello }常见错误代码及解决方案错误码可能原因解决方案404模型名称错误核对ollama list输出503模型未加载执行ollama run llama3408超时设置过短修改RuoYi-AI超时为120s4. 性能优化实战在本地i7-12700K/32GB内存的测试环境中默认配置下Llama3的响应时间约为15秒/请求。通过以下调整可以提升到3-5秒Ollama启动参数优化OLLAMA_NUM_PARALLEL4 ollama serveRuoYi-AI配置调整批处理大小设为8温度参数0.7平衡创造性与稳定性上下文窗口4096匹配Llama3原始设置内存使用监控建议watch -n 1 free -h | grep Mem当看到可用内存低于2GB时考虑减少并行请求数使用--numa参数绑定NUMA节点换用更小尺寸的模型变体如llama3:8b-instruct-q45. 生产环境部署建议对于需要7x24小时运行的场景推荐采用以下架构RuoYi-AI → Nginx负载均衡 → 多Ollama实例使用Docker Compose编排时关键配置片段如下services: ollama1: image: ollama/ollama ports: - 11434 deploy: resources: limits: cpus: 4 memory: 16G ollama2: image: ollama/ollama ports: - 11434 deploy: resources: limits: cpus: 4 memory: 16G这种配置下单个RTX 4090显卡可以同时服务8-10个并发请求。记得定期执行ollama pull llama3获取模型更新。