当前位置：首页 > news >正文

Spring AI 实现调用openAi 多模态大模型

news 2025/12/22 11:02:24

什么是多模态？

多模态（Multimodal）指的是数据或信息的多种表现形式。在人工智能领域，我们经常会听到这个词，尤其是在近期大型模型（如GPT-4）开始支持多模态之后。

模态：模态是指数据的一种形式，例如文本、图像、音频等。每一种形式都是一种模态。
多模态：多模态就是将不同模态的数据结合起来，以更全面、更丰富的方式来处理信息。比如，我们可以同时处理文本、图像、语音等多种类型的数据。

举个例子，如果我想告诉你“我有一个苹果”，我可以用文字写出来，也可以用语言说出来，还可以用图片画出来。这就是相同信息的多种模态表现形式。

同样地，给大模型一副图片，可以上大模型对这张图片进行详细地描述。给大模型一段文本，可以让大模型进行概要提取，内容总结等。

Spring AI的多模态

多模态是指模型能够同时理解和处理来自各种来源的信息，包括文本、图像、音频和其他数据格式。

Spring AI Message API提供了所有必要的抽象来支持多模态LLMs。

在这里插入图片描述

消息的 content 字段主要用作文本输入，而可选的 media 字段允许添加一个或多个不同模态的附加内容，例如图像、音频和视频。
MimeType 指定模态类型。根据所使用的LLMs，媒体的数据字段可以是编码的原始媒体内容或内容的URI。

例如，我们要实现一个功能：将下面的图片（multimodal.test.png）作为输入，并要求LLM解释它在图片中看到了什么。

在这里插入图片描述

项目搭建参考 Spring AI 介绍以及与 Spring Boot 项目整合

下面是多模态代码的实现

Spring AI 实现调用openAi 多模态大模型

什么是多模态？多模态（Multimodal）指的是数据或信息的多种表现形式。在人工智能领域，我们经常会听到这个词，尤其是在近期大型模型（如GPT-4）开始支持多模态之后。模态：模态是指数据的一种形式，例如文本、图像、音频等。每一种形式都是一种模态。多模态：多模态就是将…...

编程日记 2024/6/27 3:56:35

《妃梦千年》第十二章：层层迷雾

第十二章：层层迷雾苏珊遭遇险境的消息让林清婉感到紧张。她知道，宫中有些人对她的势力感到威胁，试图通过伤害苏珊来打击她。林清婉决定采取更谨慎的措施保护自己和苏珊，同时查明幕后黑手的身份。几天后，林清婉收到…...

编程日记 2024/6/27 3:54:32

java的字节符输出流基类、File Writer类和Buffered Writer类

一、字节符输出流基类：Writer 1.属于抽象类 2.常用方法二、字节符输出流Flie Writer类 1.是writer类的子类 2.以字符为数据处理单元向文本文件中写数据 3.示例 4.实现步骤三、BufferedWriter类 1.是Writer类的子类。 2.带有缓冲区默认情况下&#xff0c…...

编程日记 2024/6/27 3:53:31

qt 简单实验一个可以向右侧拖拽缩放的矩形

1.概要目的是设置一个可以拖拽缩放的矩形，这里仅用右侧的一个边模拟这个过程。就是为了抓住核心，这个便解决了，其他的边也是一样的。而这个更能体现原理。 2.代码 2.1 resizablerectangle.h #ifndef RESIZABLERECTANGLE_H #define RESIZ…...

编程日记 2024/6/27 3:51:29

Google Adsense----Wordpress插入谷歌广告

1.搭建个人博客,绑定谷歌search consol,注册adsense 详细可以参考这个视频b站视频 2.将个人博客网站关联到Adsense 在adsense里新加网站,输入你的博客网址,双击网站将这段代码复制到header.php的里面在wordpress仪表盘的外观-主题文件编辑器,找到header.php将代码复制,…...

编程日记 2024/6/27 3:50:28

2-17 基于matlab的改进的遗传算法（IGA）对城市交通信号优化分析

基于matlab的改进的遗传算法（IGA）对城市交通信号优化分析。根据交通流量以及饱和流量，对城市道路交叉口交通信号灯实施合理优化控制，考虑到交通状况的动态变化，及每个交叉口的唯一性。通过实时监测交通流量&#xff0c…...

编程日记 2024/6/27 3:49:27

VOC格式转YOLO格式，xml文件转txt文件简单通用代码

目录前言思路介绍代码完整代码拓展代码前言很多人在进行目标检测训练时习惯将得到的数据标注为XML文件的VOC格式，或者在网上获取的数据集被标注为XML文件，但是不同的标注工具进行的标注会产生不同的标注xml文件，这里我写了一种通用…...

编程日记 2024/6/27 3:48:25

STL迭代器的基础应用

STL迭代器的应用迭代器的定义方法： 类型作用定义方式正向迭代器正序遍历STL容器容器类名::iterator 迭代器名常量正向迭代器以只读方式正序遍历STL容器容器类名::const_iterator 迭代器名反向迭代器逆序遍历STL容器容器类名::reverse_iterator 迭代器名常量反向迭…...

编程日记 2024/6/27 3:47:24

【SQL】数据操作语言(DML) - 删除数据：精细管理数据的利刃

目录前言 DELETE语句的基础使用删除指定记录清空表与删除表数据的区别注意前言在数据库管理的日常工作中，数据的删除是一项需要格外小心的操作，因为一旦数据被删除，往往难以恢复。数据操作语言(DML)中的DELETE语句&am…...

编程日记 2024/6/27 3:46:23

异步复制，主库宕机后，数据可能丢失吗？

异步复制是数据库复制的一种方式，它允许主数据库（主库）在不等待从数据库（从库）完成数据同步的情况下继续处理事务。这种方式可以提高数据库的性能，因为主库不需要等待数据复制到从库。然而，异步…...

编程日记 2024/6/27 3:44:21

如何在Spring Boot中优雅处理异常

如何在Spring Boot中优雅处理异常大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天我们将深入探讨在Spring Boot应用程序中如何优雅地处理异常，以…...

编程日记 2024/6/27 3:43:20

1.3.数据的表示

定点数原码最高位是符号位，0表示正号，1表示负号，其余的n-1位表示数值的绝对值。数值0的原码表示有两种形式： [0]原0 0000000 [-0]原1 0000000 例：1010 最高位为1表示这是一个负数， 其它三位 010…...

编程日记 2024/6/27 3:42:19

【进阶篇-Day4：使用JAVA编写石头迷阵游戏】

目录 1、绘制界面2、打乱石头方块3、移动业务4、游戏判定胜利5、统计步数6、重新游戏7、完整代码： 1、绘制界面上述思路是：使用一个二维数组存放图片的编号，然后在后持遍历即可获取对应的图片。代码如下： package com.itheima.s…...

编程日记 2024/6/27 3:41:18

探索 LLamaWorker：基于LLamaSharp的.NET本地大模型服务

LLamaWorker 是一个基于 LLamaSharp 项目开发的 HTTP API 服务器。它提供与 OpenAI 兼容的 API，使得开发者可以轻松地将大型语言模型（LLM）集成到自己的应用程序中。 1. 背景在人工智能领域，大型语言模型（LLM&#xf…...

编程日记 2024/6/27 3:39:16

Qt开发 | Qt控件 | QTabWidget基本用法 | QListWidget应用详解 | QScrollArea应用详解

文章目录一、QTabWidget基本用法二、QListWidget应用详解1.列表模式1.1 基本操作1.2 添加自定义item1.3 如何添加右键菜单1.4 QListWidget如何删除item 2.图标模式三、QScrollArea应用详解一、QTabWidget基本用法 QTabWidget 是 Qt 框架中的一个类，它提供了一个选…...

编程日记 2024/6/27 3:37:13

2023年 AI APT可持续攻击的调查研究报告

总览随着网络技术的不断发展，网络安全威胁也日益严峻。高级持续性威胁（APT）攻击以其目标明确、手段多样、隐蔽性强等特点，成为网络安全领域的重要挑战。本文分析2023年当前 APT 攻击的主要特点、活跃组织、攻击趋势以及漏洞利用…...

编程日记 2024/6/27 3:36:11

Leetcode 102.目标和

给定一个正整数数组 nums 和一个整数 target 。向数组中的每个整数前添加 ‘’ 或 ‘-’ ，然后串联起所有整数，可以构造一个表达式 ： 例如，nums [2, 1] ，可以在 2 之前添加 ‘’ ，在 1 之前添加 ‘-’ &…...

编程日记 2024/6/27 3:35:11

LLM AI工具和Delphi名称的起源

LLM AI工具和Delphi名称的起源使用ChatGPT，直接或通过微软工具，以及其他基于llm的引擎。我很欣赏他们提供好的总结和比较的能力，并且还编写了一些样板代码。与此同时，当你问一些重要的问题时，你会得到一些令人惊讶的好…...

编程日记 2024/6/27 3:34:10

打破数据分析壁垒：SPSS复习必备（十一）

一、方差分析方差分析的应用条件如下： （1）独立，各组数据相互独立，互不相关； （2）正态：即各组数据符合正态分布； （3）方差齐性&…...

编程日记 2024/6/27 3:33:09

【十六】【QT开发应用】Menu菜单,contextMenuEvent,setContextMenuPolicy,addAction

在 Qt 框架中，QMenu 类用于创建和管理菜单。菜单是用户界面的一部分，可以包含多个选项或动作，用户可以选择这些选项来执行特定的功能。菜单通常显示在菜单栏、上下文菜单（右键菜单）或工具栏中。基本用法创建菜单对象…...

编程日记 2024/6/27 3:32:07

Lombok 的 @Data 注解失效，未生成 getter/setter 方法引发的HTTP 406 错误

HTTP 状态码 406 (Not Acceptable) 和 500 (Internal Server Error) 是两类完全不同的错误，它们的含义、原因和解决方法都有显著区别。以下是详细对比： 1. HTTP 406 (Not Acceptable) 含义： 客户端请求的内容类型与服务器支持的内容类型不匹…...

编程新知 2025/12/22 9:49:28

C++标志库中提供is_convertible，可以测试一种类型是否可以转换为另一只类型： template <class From, class To> struct is_convertible; 使用举例： #include <iostream> #include <string>using namespace std;struct A { }; struct B : A { };int main…...

编程新知 2025/6/11 15:23:57

Zustand 状态管理库：极简而强大的解决方案

Zustand 是一个轻量级、快速和可扩展的状态管理库，特别适合 React 应用。它以简洁的 API 和高效的性能解决了 Redux 等状态管理方案中的繁琐问题。核心优势对比基本使用指南 1. 创建 Store // store.js import create from zustandconst useStore create((set)…...

编程新知 2025/12/19 21:51:58

pam_env.so模块配置解析

在PAM（Pluggable Authentication Modules）配置中， /etc/pam.d/su 文件相关配置含义如下： 配置解析 auth required pam_env.so1. 字段分解字段值说明模块类型auth认证类模块，负责验证用户身份&am…...

编程新知 2025/10/5 8:09:39

从零实现STL哈希容器：unordered_map/unordered_set封装详解

本篇文章是对C学习的STL哈希容器自主实现部分的学习分享希望也能为你带来些帮助~ 那咱们废话不多说，直接开始吧！ 一、源码结构分析 1. SGISTL30实现剖析 // hash_set核心结构 template <class Value, class HashFcn, ...> class hash_set {ty…...

编程新知 2025/12/18 4:40:10