当前位置： 首页 > news >正文

Spring AI 实现调用openAi 多模态大模型

news 2026/2/9 0:41:28

什么是多模态？

多模态（Multimodal）指的是数据或信息的多种表现形式。在人工智能领域，我们经常会听到这个词，尤其是在近期大型模型（如GPT-4）开始支持多模态之后。

  1. 模态：模态是指数据的一种形式，例如文本、图像、音频等。每一种形式都是一种模态。
  2. 多模态：多模态就是将不同模态的数据结合起来，以更全面、更丰富的方式来处理信息。比如，我们可以同时处理文本、图像、语音等多种类型的数据。

举个例子，如果我想告诉你“我有一个苹果”，我可以用文字写出来，也可以用语言说出来，还可以用图片画出来。这就是相同信息的多种模态表现形式。

同样地，给大模型一副图片，可以上大模型对这张图片进行详细地描述。给大模型一段文本，可以让大模型进行概要提取，内容总结等。

Spring AI的多模态

多模态是指模型能够同时理解和处理来自各种来源的信息，包括文本、图像、音频和其他数据格式。

Spring AI Message API提供了所有必要的抽象来支持多模态LLMs。

在这里插入图片描述

  • 消息的 content 字段主要用作文本输入，而可选的 media 字段允许添加一个或多个不同模态的附加内容，例如图像、音频和视频。
  • MimeType 指定模态类型。根据所使用的LLMs，媒体的数据字段可以是编码的原始媒体内容或内容的URI。

例如，我们要实现一个功能：将下面的图片（multimodal.test.png）作为输入，并要求LLM解释它在图片中看到了什么。

在这里插入图片描述

项目搭建参考 Spring AI 介绍以及与 Spring Boot 项目整合

下面是多模态代码的实现















相关文章：
















Spring AI 实现调用openAi 多模态大模型




什么是多模态？ 
多模态（Multimodal）指的是数据或信息的多种表现形式。在人工智能领域，我们经常会听到这个词，尤其是在近期大型模型（如GPT-4）开始支持多模态之后。 模态：模态是指数据的一种形式，例如文本、图像、音频等。每一种形式都是一种模态。多模态：多模态就是将…...






编程日记
2024/6/27 3:56:35



















《妃梦千年》第十二章：层层迷雾




第十二章：层层迷雾 
苏珊遭遇险境的消息让林清婉感到紧张。她知道，宫中有些人对她的势力感到威胁，试图通过伤害苏珊来打击她。林清婉决定采取更谨慎的措施保护自己和苏珊，同时查明幕后黑手的身份。 
几天后，林清婉收到…...






编程日记
2024/6/27 3:54:32



















java的字节符输出流基类、File Writer类和Buffered Writer类




一、字节符输出流基类：Writer 
1.属于抽象类 
2.常用方法  二、字节符输出流Flie Writer类 
1.是writer类的子类 
2.以字符为数据处理单元向文本文件中写数据 
3.示例 4.实现步骤 三、BufferedWriter类 
1.是Writer类的子类。 
2.带有缓冲区 
默认情况下&#xff0c…...






编程日记
2024/6/27 3:53:31



















qt 简单实验 一个可以向右侧拖拽缩放的矩形




1.概要 
目的是设置一个可以拖拽缩放的矩形，这里仅用右侧的一个边模拟这个过程。就是为了抓住核心，这个便解决了，其他的边也是一样的。而这个更能体现原理。 
2.代码 
2.1 resizablerectangle.h 
#ifndef RESIZABLERECTANGLE_H
#define RESIZ…...






编程日记
2024/6/27 3:51:29



















Google Adsense----Wordpress插入谷歌广告




1.搭建个人博客,绑定谷歌search consol,注册adsense 
详细可以参考这个视频b站视频 
2.将个人博客网站关联到Adsense 
在adsense里新加网站,输入你的博客网址,双击网站  将这段代码复制到header.php的里面  
在wordpress仪表盘的外观-主题文件编辑器,找到header.php将代码复制,…...






编程日记
2024/6/27 3:50:28



















2-17 基于matlab的改进的遗传算法（IGA）对城市交通信号优化分析




基于matlab的改进的遗传算法（IGA）对城市交通信号优化分析。根据交通流量以及饱和流量，对城市道路交叉口交通信号灯实施合理优化控制，考虑到交通状况的动态变化，及每个交叉口的唯一性。通过实时监测交通流量&#xff0c…...






编程日记
2024/6/27 3:49:27



















VOC格式转YOLO格式，xml文件转txt文件简单通用代码




目录 前言 
思路介绍 
代码 
完整代码 
拓展代码 前言 很多人在进行目标检测训练时习惯将得到的数据标注为XML文件的VOC格式，或者在网上获取的数据集被标注为XML文件，但是不同的标注工具进行的标注会产生不同的标注xml文件，这里我写了一种通用…...






编程日记
2024/6/27 3:48:25



















STL迭代器的基础应用




STL迭代器的应用 迭代器的定义方法： 
类型作用定义方式正向迭代器正序遍历STL容器容器类名::iterator 迭代器名常量正向迭代器以只读方式正序遍历STL容器容器类名::const_iterator 迭代器名反向迭代器逆序遍历STL容器容器类名::reverse_iterator 迭代器名常量反向迭…...






编程日记
2024/6/27 3:47:24



















【SQL】数据操作语言(DML) - 删除数据：精细管理数据的利刃




目录 
前言       
DELETE语句的基础使用 
删除指定记录 
清空表与删除表数据的区别 
注意 前言       在数据库管理的日常工作中，数据的删除是一项需要格外小心的操作，因为一旦数据被删除，往往难以恢复。数据操作语言(DML)中的DELETE语句&am…...






编程日记
2024/6/27 3:46:23



















异步复制，主库宕机后，数据可能丢失吗？




异步复制是数据库复制的一种方式，它允许主数据库（主库）在不等待从数据库（从库）完成数据同步的情况下继续处理事务。这种方式可以提高数据库的性能，因为主库不需要等待数据复制到从库。然而，异步…...






编程日记
2024/6/27 3:44:21



















如何在Spring Boot中优雅处理异常




如何在Spring Boot中优雅处理异常 
大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天我们将深入探讨在Spring Boot应用程序中如何优雅地处理异常，以…...






编程日记
2024/6/27 3:43:20



















1.3.数据的表示




定点数 
原码 
最高位是符号位，0表示正号，1表示负号，其余的n-1位表示数值的绝对值。 
数值0的原码表示有两种形式： 
[0]原0 0000000 
[-0]原1 0000000 
例：1010 
最高位为1表示这是一个负数， 
其它三位 010…...






编程日记
2024/6/27 3:42:19



















【进阶篇-Day4：使用JAVA编写石头迷阵游戏】




目录 1、绘制界面2、打乱石头方块3、移动业务4、游戏判定胜利5、统计步数6、重新游戏7、完整代码： 1、绘制界面 上述思路是：使用一个二维数组存放图片的编号，然后在后持遍历即可获取对应的图片。 代码如下： package com.itheima.s…...






编程日记
2024/6/27 3:41:18



















探索 LLamaWorker：基于LLamaSharp的.NET本地大模型服务




LLamaWorker 是一个基于 LLamaSharp 项目开发的 HTTP API 服务器。它提供与 OpenAI 兼容的 API，使得开发者可以轻松地将大型语言模型（LLM）集成到自己的应用程序中。 1. 背景 
在人工智能领域，大型语言模型（LLM&#xf…...






编程日记
2024/6/27 3:39:16



















Qt开发 | Qt控件 | QTabWidget基本用法 | QListWidget应用详解 | QScrollArea应用详解




文章目录 一、QTabWidget基本用法二、QListWidget应用详解1.列表模式1.1 基本操作1.2 添加自定义item1.3 如何添加右键菜单1.4 QListWidget如何删除item 2.图标模式 三、QScrollArea应用详解 一、QTabWidget基本用法 QTabWidget 是 Qt 框架中的一个类，它提供了一个选…...






编程日记
2024/6/27 3:37:13



















2023年 AI APT可持续攻击的调查研究报告




总览  
随着网络技术的不断发展，网络安全威胁也日益严峻。高级持续性威胁（APT）攻击以其目标明确、手段多样、隐蔽性强等特点，成为网络安全领域的重要挑战。本文分析2023年当前 APT 攻击的主要特点、活跃组织、攻击趋势以及漏洞利用…...






编程日记
2024/6/27 3:36:11



















Leetcode 102.目标和




给定一个正整数数组 nums 和一个整数 target 。 向数组中的每个整数前添加 ‘’ 或 ‘-’ ，然后串联起所有整数，可以构造一个 表达式 ： 例如，nums  [2, 1] ，可以在 2 之前添加 ‘’ ，在 1 之前添加 ‘-’ &…...






编程日记
2024/6/27 3:35:11



















LLM AI工具和Delphi名称的起源




LLM AI工具和Delphi名称的起源 使用ChatGPT，直接或通过微软工具，以及其他基于llm的引擎。我很欣赏他们提供好的总结和比较的能力，并且还编写了一些样板代码。与此同时，当你问一些重要的问题时，你会得到一些令人惊讶的好…...






编程日记
2024/6/27 3:34:10



















打破数据分析壁垒：SPSS复习必备（十一）




一、方差分析 
方差分析的应用条件如下： 
（1）独立，各组数据相互独立，互不相关； 
（2）正态：即各组数据符合正态分布； 
（3）方差齐性&…...






编程日记
2024/6/27 3:33:09



















【十六】【QT开发应用】Menu菜单,contextMenuEvent,setContextMenuPolicy,addAction




在 Qt 框架中，QMenu 类用于创建和管理菜单。菜单是用户界面的一部分，可以包含多个选项或动作，用户可以选择这些选项来执行特定的功能。菜单通常显示在菜单栏、上下文菜单（右键菜单）或工具栏中。 基本用法 
创建菜单对象…...






编程日记
2024/6/27 3:32:07





















C++_核心编程_多态案例二-制作饮品




#include <iostream>
#include <string>  
using namespace std;/*制作饮品的大致流程为&#xff1a;煮水 -  冲泡 - 倒入杯中 - 加入辅料
利用多态技术实现本案例&#xff0c;提供抽象制作饮品基类&#xff0c;提供子类制作咖啡和茶叶*//*基类*/
class AbstractDr…...






编程新知
2026/2/8 20:42:55



















盘古信息PCB行业解决方案：以全域场景重构，激活智造新未来




一、破局&#xff1a;PCB行业的时代之问 
在数字经济蓬勃发展的浪潮中&#xff0c;PCB&#xff08;印制电路板&#xff09;作为 “电子产品之母”&#xff0c;其重要性愈发凸显。随着 5G、人工智能等新兴技术的加速渗透&#xff0c;PCB行业面临着前所未有的挑战与机遇。产品迭代…...






编程新知
2026/2/7 17:29:24



















SciencePlots——绘制论文中的图片




文章目录 安装一、风格二、1 资源 安装 
# 安装最新版
pip install githttps://github.com/garrettj403/SciencePlots.git# 安装稳定版
pip install SciencePlots一、风格 
简单好用的深度学习论文绘图专用工具包–Science Plot 二、 
1 资源 
论文绘图神器来了&#xff1a;一行…...






编程新知
2025/9/8 13:50:07



















[ICLR 2022]How Much Can CLIP Benefit Vision-and-Language Tasks?




论文网址&#xff1a;pdf 
英文是纯手打的&#xff01;论文原文的summarizing and paraphrasing。可能会出现难以避免的拼写错误和语法错误&#xff0c;若有发现欢迎评论指正&#xff01;文章偏向于笔记&#xff0c;谨慎食用 目录 
1. 心得 
2. 论文逐段精读 
2.1. Abstract 
2…...






编程新知
2026/2/6 14:42:11



















微服务商城-商品微服务




数据表 
CREATE TABLE product (id bigint(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT 商品id,cateid smallint(6) UNSIGNED NOT NULL DEFAULT 0 COMMENT 类别Id,name varchar(100) NOT NULL DEFAULT  COMMENT 商品名称,subtitle varchar(200) NOT NULL DEFAULT  COMMENT 商…...






编程新知
2026/1/29 18:30:30



















多模态大语言模型arxiv论文略读（108）




CROME: Cross-Modal Adapters for Efficient Multimodal LLM 
➡️ 论文标题&#xff1a;CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文作者&#xff1a;Sayna Ebrahimi, Sercan O. Arik, Tejas Nama, Tomas Pfister ➡️ 研究机构: Google Cloud AI Re…...






编程新知
2026/2/1 6:11:51



















html-＜abbr＞ 缩写或首字母缩略词




定义与作用 
<abbr> 标签用于表示缩写或首字母缩略词&#xff0c;它可以帮助用户更好地理解缩写的含义&#xff0c;尤其是对于那些不熟悉该缩写的用户。 
title 属性的内容提供了缩写的详细说明。当用户将鼠标悬停在缩写上时&#xff0c;会显示一个提示框。 
示例&#x…...






编程新知
2026/1/24 19:22:03



















python报错No module named ‘tensorflow.keras‘




是由于不同版本的tensorflow下的keras所在的路径不同&#xff0c;结合所安装的tensorflow的目录结构修改from语句即可。 
原语句&#xff1a; 
from tensorflow.keras.layers import Conv1D, MaxPooling1D, LSTM, Dense 
修改后&#xff1a; 
from tensorflow.python.keras.lay…...






编程新知
2025/9/24 7:39:50



















在QWebEngineView上实现鼠标、触摸等事件捕获的解决方案




这个问题我看其他博主也写了&#xff0c;要么要会员、要么写的乱七八糟。这里我整理一下&#xff0c;把问题说清楚并且给出代码&#xff0c;拿去用就行&#xff0c;照着葫芦画瓢。 
问题 
在继承QWebEngineView后&#xff0c;重写mousePressEvent或event函数无法捕获鼠标按下事…...






编程新知
2025/6/11 3:07:32



















无人机侦测与反制技术的进展与应用




国家电网无人机侦测与反制技术的进展与应用 
引言 
随着无人机&#xff08;无人驾驶飞行器&#xff0c;UAV&#xff09;技术的快速发展&#xff0c;其在商业、娱乐和军事领域的广泛应用带来了新的安全挑战。特别是对于关键基础设施如电力系统&#xff0c;无人机的“黑飞”&…...






编程新知
2026/1/26 6:01:03