springai结合ollama

目录

ollama

介绍

使用

下载：

安装：

点击这个玩意next就行了。

运行

spring ai使用ollama调用本地部署的大模型

加依赖

配置yml

写代码

---

ollama

介绍

Ø官网：Ollama

ØOllama是一个用于部署和运行各种开源大模型的工具；

Ø它能够帮助用户快速在本地运行各种大模型，极大地简化了大模型在本地运行的过程。

Ø用户通过执行几条命令就能在本地运行开源大模型，如Llama2等；

Ø综上，Ollama是一个大模型部署运行工具，在该工具里面可以部署运行各种大模型，方便开发者在本地搭建一套大模型运行环境；

使用

下载：

Download Ollama on macOS

安装：

点击这个玩意next就行了。

运行

ollama run qwen:0.5b-chat（大模型的名字去ollama官网找：library）

后面这个qwen:0.5b-chat是模型名字，你需要自己去找对应的想用的模型

注意：默认的ollama api会监听11434端口，可以使用命令进行查看（如下）

netstat-ano | findstr 11434

spring ai使用ollama调用本地部署的大模型

加依赖

<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-ollama-spring-boot-starter</artifactId></dependency>

配置yml

因为ollama这个依赖默认用的是minster这个大模型，为了能使用别的大模型，我们可以在配置文件中标明

chat:

​ option:

​ model: xxxxx(模型名字)

其他配置默认的，直接抄就行。

写代码

import jakarta.annotation.Resource;
import org.springframework.ai.ollama.OllamaChatClient;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;@RestController
public class olllamacoll {@Resourceprivate OllamaChatClient ollamaChatClient;@RequestMapping(value = "/ai/ollama")public Object ollama(@RequestParam(value = "msq") String msq){String called=ollamaChatClient.call(msq);return called;}
}