SpringAI集成Ollama实战：从零构建本地AI对话服务

1. 环境准备搭建Ollama本地AI模型服务想要在本地运行AI对话服务首先需要部署Ollama这个轻量级的大模型运行环境。Ollama最大的优势在于它能让开发者在普通配置的电脑上就能运行各种开源大模型而不需要昂贵的GPU服务器。安装过程非常简单只需要三步访问Ollama官网下载对应操作系统的安装包运行安装程序它会自动配置好环境变量在终端输入ollama --version验证安装是否成功安装完成后我们需要下载一个大模型。Ollama支持多种开源模型比如Llama3、Mistral等。这里我推荐使用Llama3-8B这个模型它在性能和资源消耗之间取得了很好的平衡。下载命令如下ollama pull llama3:8b这个命令会自动下载模型文件大小约4.7GB。下载完成后可以通过以下命令测试模型是否正常工作ollama run llama3:8b 你好如果看到模型返回了回答说明环境已经准备就绪。Ollama默认会在本地11434端口启动服务这是我们后续SpringAI集成时需要连接的服务地址。2. 项目搭建创建SpringBoot基础工程现在我们来创建一个SpringBoot项目作为AI服务的载体。建议使用最新的SpringBoot 3.2.x版本因为它对AI集成的支持最好。首先在pom.xml中添加必要的依赖dependencies !-- SpringBoot基础依赖 -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-web/artifactId version3.2.5/version /dependency !-- SpringAI的Ollama集成 -- dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-ollama/artifactId version1.0.3/version /dependency !-- 响应式编程支持用于流式调用 -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-webflux/artifactId /dependency /dependencies接着配置application.yml文件设置Ollama的连接信息spring: ai: ollama: base-url: http://localhost:11434 chat: model: llama3:8b这里有几个关键点需要注意base-url必须与Ollama服务地址一致model名称要和下载的模型完全匹配如果使用自定义端口记得在URL中指定3. 核心实现普通调用与流式调用对比3.1 普通调用实现普通调用是最基础的AI交互方式客户端发送请求后等待完整响应。我们先创建一个ControllerRestController RequestMapping(/api/ai) public class AIController { Autowired private OllamaChatClient chatClient; GetMapping(/chat) public String chat(RequestParam String message) { Prompt prompt new Prompt(message); ChatResponse response chatClient.call(prompt); return response.getResult().getOutput().getContent(); } }这种实现方式简单直接适合以下场景需要完整回答才能继续后续处理响应内容较短少于500字对实时性要求不高的应用3.2 流式调用实现流式调用能显著提升用户体验让回答像打字一样逐步显示。实现方式如下GetMapping(value /stream, produces MediaType.TEXT_EVENT_STREAM_VALUE) public FluxString streamChat(RequestParam String message) { Prompt prompt new Prompt(message); return chatClient.stream(prompt) .map(response - response.getResult().getOutput().getContent()); }流式调用的优势在于响应速度快用户无需等待完整生成内存占用低适合长文本生成更接近人类对话体验实际测试中流式调用的首字节响应时间(TTFB)比普通调用快3-5倍特别适合聊天类应用。4. 进阶优化提升服务稳定性和性能4.1 超时与重试配置在application.yml中添加以下配置可以优化连接稳定性spring: ai: ollama: client: connect-timeout: 30s read-timeout: 5m retry: max-attempts: 3 initial-interval: 1s4.2 温度参数调节通过调整temperature参数可以控制回答的创造性OllamaOptions options new OllamaOptions(); options.setTemperature(0.7f); // 0-1之间越高越有创意 chatClient.withDefaultOptions(options);4.3 上下文管理要实现多轮对话需要维护对话历史ListMessage history new ArrayList(); PostMapping(/conversation) public String conversation(RequestParam String message) { history.add(new HumanMessage(message)); Prompt prompt new Prompt(history); ChatResponse response chatClient.call(prompt); String answer response.getResult().getOutput().getContent(); history.add(new AiMessage(answer)); return answer; }5. 部署与测试建议本地测试时建议使用Postman或curl验证接口# 普通调用测试 curl http://localhost:8080/api/ai/chat?message你好 # 流式调用测试 curl http://localhost:8080/api/ai/stream?message介绍一下你自己对于生产环境部署有几个注意事项为Ollama服务分配足够的内存至少8GB考虑使用Nginx做反向代理和负载均衡监控服务健康状态设置自动重启机制我在实际项目中发现当并发请求较多时Ollama服务可能会出现响应变慢的情况。这时可以通过限制最大并发数来保证服务质量Configuration class OllamaConfig { Bean Primary OllamaChatClient throttledChatClient(OllamaChatClient chatClient) { return new OllamaChatClient(chatClient.getApi()) { private final Semaphore semaphore new Semaphore(5); Override public ChatResponse call(Prompt prompt) { try { semaphore.acquire(); return super.call(prompt); } finally { semaphore.release(); } } }; } }