当前位置：首页 > news >正文

Spring AI 实现调用openAi 多模态大模型

news 2025/11/6 21:27:28

什么是多模态？

多模态（Multimodal）指的是数据或信息的多种表现形式。在人工智能领域，我们经常会听到这个词，尤其是在近期大型模型（如GPT-4）开始支持多模态之后。

模态：模态是指数据的一种形式，例如文本、图像、音频等。每一种形式都是一种模态。
多模态：多模态就是将不同模态的数据结合起来，以更全面、更丰富的方式来处理信息。比如，我们可以同时处理文本、图像、语音等多种类型的数据。

举个例子，如果我想告诉你“我有一个苹果”，我可以用文字写出来，也可以用语言说出来，还可以用图片画出来。这就是相同信息的多种模态表现形式。

同样地，给大模型一副图片，可以上大模型对这张图片进行详细地描述。给大模型一段文本，可以让大模型进行概要提取，内容总结等。

Spring AI的多模态

多模态是指模型能够同时理解和处理来自各种来源的信息，包括文本、图像、音频和其他数据格式。

Spring AI Message API提供了所有必要的抽象来支持多模态LLMs。

在这里插入图片描述

消息的 content 字段主要用作文本输入，而可选的 media 字段允许添加一个或多个不同模态的附加内容，例如图像、音频和视频。
MimeType 指定模态类型。根据所使用的LLMs，媒体的数据字段可以是编码的原始媒体内容或内容的URI。

例如，我们要实现一个功能：将下面的图片（multimodal.test.png）作为输入，并要求LLM解释它在图片中看到了什么。

在这里插入图片描述

项目搭建参考 Spring AI 介绍以及与 Spring Boot 项目整合

下面是多模态代码的实现

Spring AI 实现调用openAi 多模态大模型

什么是多模态？多模态（Multimodal）指的是数据或信息的多种表现形式。在人工智能领域，我们经常会听到这个词，尤其是在近期大型模型（如GPT-4）开始支持多模态之后。模态：模态是指数据的一种形式，例如文本、图像、音频等。每一种形式都是一种模态。多模态：多模态就是将…...

编程日记 2024/6/27 3:56:35

《妃梦千年》第十二章：层层迷雾

第十二章：层层迷雾苏珊遭遇险境的消息让林清婉感到紧张。她知道，宫中有些人对她的势力感到威胁，试图通过伤害苏珊来打击她。林清婉决定采取更谨慎的措施保护自己和苏珊，同时查明幕后黑手的身份。几天后，林清婉收到…...

编程日记 2024/6/27 3:54:32

java的字节符输出流基类、File Writer类和Buffered Writer类

一、字节符输出流基类：Writer 1.属于抽象类 2.常用方法二、字节符输出流Flie Writer类 1.是writer类的子类 2.以字符为数据处理单元向文本文件中写数据 3.示例 4.实现步骤三、BufferedWriter类 1.是Writer类的子类。 2.带有缓冲区默认情况下&#xff0c…...

编程日记 2024/6/27 3:53:31

qt 简单实验一个可以向右侧拖拽缩放的矩形

1.概要目的是设置一个可以拖拽缩放的矩形，这里仅用右侧的一个边模拟这个过程。就是为了抓住核心，这个便解决了，其他的边也是一样的。而这个更能体现原理。 2.代码 2.1 resizablerectangle.h #ifndef RESIZABLERECTANGLE_H #define RESIZ…...

编程日记 2024/6/27 3:51:29

Google Adsense----Wordpress插入谷歌广告

1.搭建个人博客,绑定谷歌search consol,注册adsense 详细可以参考这个视频b站视频 2.将个人博客网站关联到Adsense 在adsense里新加网站,输入你的博客网址,双击网站将这段代码复制到header.php的里面在wordpress仪表盘的外观-主题文件编辑器,找到header.php将代码复制,…...

编程日记 2024/6/27 3:50:28

2-17 基于matlab的改进的遗传算法（IGA）对城市交通信号优化分析

基于matlab的改进的遗传算法（IGA）对城市交通信号优化分析。根据交通流量以及饱和流量，对城市道路交叉口交通信号灯实施合理优化控制，考虑到交通状况的动态变化，及每个交叉口的唯一性。通过实时监测交通流量&#xff0c…...

编程日记 2024/6/27 3:49:27

VOC格式转YOLO格式，xml文件转txt文件简单通用代码

目录前言思路介绍代码完整代码拓展代码前言很多人在进行目标检测训练时习惯将得到的数据标注为XML文件的VOC格式，或者在网上获取的数据集被标注为XML文件，但是不同的标注工具进行的标注会产生不同的标注xml文件，这里我写了一种通用…...

编程日记 2024/6/27 3:48:25

STL迭代器的基础应用

STL迭代器的应用迭代器的定义方法： 类型作用定义方式正向迭代器正序遍历STL容器容器类名::iterator 迭代器名常量正向迭代器以只读方式正序遍历STL容器容器类名::const_iterator 迭代器名反向迭代器逆序遍历STL容器容器类名::reverse_iterator 迭代器名常量反向迭…...

编程日记 2024/6/27 3:47:24

【SQL】数据操作语言(DML) - 删除数据：精细管理数据的利刃

目录前言 DELETE语句的基础使用删除指定记录清空表与删除表数据的区别注意前言在数据库管理的日常工作中，数据的删除是一项需要格外小心的操作，因为一旦数据被删除，往往难以恢复。数据操作语言(DML)中的DELETE语句&am…...

编程日记 2024/6/27 3:46:23

异步复制，主库宕机后，数据可能丢失吗？

异步复制是数据库复制的一种方式，它允许主数据库（主库）在不等待从数据库（从库）完成数据同步的情况下继续处理事务。这种方式可以提高数据库的性能，因为主库不需要等待数据复制到从库。然而，异步…...

编程日记 2024/6/27 3:44:21

如何在Spring Boot中优雅处理异常

如何在Spring Boot中优雅处理异常大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天我们将深入探讨在Spring Boot应用程序中如何优雅地处理异常，以…...

编程日记 2024/6/27 3:43:20

1.3.数据的表示

定点数原码最高位是符号位，0表示正号，1表示负号，其余的n-1位表示数值的绝对值。数值0的原码表示有两种形式： [0]原0 0000000 [-0]原1 0000000 例：1010 最高位为1表示这是一个负数， 其它三位 010…...

编程日记 2024/6/27 3:42:19

【进阶篇-Day4：使用JAVA编写石头迷阵游戏】

目录 1、绘制界面2、打乱石头方块3、移动业务4、游戏判定胜利5、统计步数6、重新游戏7、完整代码： 1、绘制界面上述思路是：使用一个二维数组存放图片的编号，然后在后持遍历即可获取对应的图片。代码如下： package com.itheima.s…...

编程日记 2024/6/27 3:41:18

探索 LLamaWorker：基于LLamaSharp的.NET本地大模型服务

LLamaWorker 是一个基于 LLamaSharp 项目开发的 HTTP API 服务器。它提供与 OpenAI 兼容的 API，使得开发者可以轻松地将大型语言模型（LLM）集成到自己的应用程序中。 1. 背景在人工智能领域，大型语言模型（LLM&#xf…...

编程日记 2024/6/27 3:39:16

Qt开发 | Qt控件 | QTabWidget基本用法 | QListWidget应用详解 | QScrollArea应用详解

文章目录一、QTabWidget基本用法二、QListWidget应用详解1.列表模式1.1 基本操作1.2 添加自定义item1.3 如何添加右键菜单1.4 QListWidget如何删除item 2.图标模式三、QScrollArea应用详解一、QTabWidget基本用法 QTabWidget 是 Qt 框架中的一个类，它提供了一个选…...

编程日记 2024/6/27 3:37:13

2023年 AI APT可持续攻击的调查研究报告

总览随着网络技术的不断发展，网络安全威胁也日益严峻。高级持续性威胁（APT）攻击以其目标明确、手段多样、隐蔽性强等特点，成为网络安全领域的重要挑战。本文分析2023年当前 APT 攻击的主要特点、活跃组织、攻击趋势以及漏洞利用…...

编程日记 2024/6/27 3:36:11

Leetcode 102.目标和

给定一个正整数数组 nums 和一个整数 target 。向数组中的每个整数前添加 ‘’ 或 ‘-’ ，然后串联起所有整数，可以构造一个表达式 ： 例如，nums [2, 1] ，可以在 2 之前添加 ‘’ ，在 1 之前添加 ‘-’ &…...

编程日记 2024/6/27 3:35:11

LLM AI工具和Delphi名称的起源

LLM AI工具和Delphi名称的起源使用ChatGPT，直接或通过微软工具，以及其他基于llm的引擎。我很欣赏他们提供好的总结和比较的能力，并且还编写了一些样板代码。与此同时，当你问一些重要的问题时，你会得到一些令人惊讶的好…...

编程日记 2024/6/27 3:34:10

打破数据分析壁垒：SPSS复习必备（十一）

一、方差分析方差分析的应用条件如下： （1）独立，各组数据相互独立，互不相关； （2）正态：即各组数据符合正态分布； （3）方差齐性&…...

编程日记 2024/6/27 3:33:09

【十六】【QT开发应用】Menu菜单,contextMenuEvent,setContextMenuPolicy,addAction

在 Qt 框架中，QMenu 类用于创建和管理菜单。菜单是用户界面的一部分，可以包含多个选项或动作，用户可以选择这些选项来执行特定的功能。菜单通常显示在菜单栏、上下文菜单（右键菜单）或工具栏中。基本用法创建菜单对象…...

编程日记 2024/6/27 3:32:07

变量 varablie 声明- Rust 变量 let mut 声明与 C/C++ 变量声明对比分析

一、变量声明设计：let 与 mut 的哲学解析 Rust 采用 let 声明变量并通过 mut 显式标记可变性，这种设计体现了语言的核心哲学。以下是深度解析： 1.1 设计理念剖析安全优先原则：默认不可变强制开发者明确声明意图 let x 5; …...

编程新知 2025/9/28 20:12:12

生成xcframework

打包 XCFramework 的方法 XCFramework 是苹果推出的一种多平台二进制分发格式，可以包含多个架构和平台的代码。打包 XCFramework 通常用于分发库或框架。使用 Xcode 命令行工具打包通过 xcodebuild 命令可以打包 XCFramework。确保项目已经配置好需要支持的平台…...

编程新知 2025/10/5 2:30:38

Flask RESTful 示例

目录 1. 环境准备2. 安装依赖3. 修改main.py4. 运行应用5. API使用示例获取所有任务获取单个任务创建新任务更新任务删除任务中文乱码问题： 下面创建一个简单的Flask RESTful API示例。首先，我们需要创建环境，安装必要的依赖，然后…...

编程新知 2025/10/28 12:40:10

CMake基础：构建流程详解

目录 1.CMake构建过程的基本流程 2.CMake构建的具体步骤 2.1.创建构建目录 2.2.使用 CMake 生成构建文件 2.3.编译和构建 2.4.清理构建文件 2.5.重新配置和构建 3.跨平台构建示例 4.工具链与交叉编译 5.CMake构建后的项目结构解析 5.1.CMake构建后的目录结构 5.2.构…...

编程新知 2025/11/2 14:30:10

Objective-C常用命名规范总结

【OC】常用命名规范总结文章目录【OC】常用命名规范总结1.类名（Class Name)2.协议名（Protocol Name)3.方法名（Method Name)4.属性名（Property Name）5.局部变量/实例变量（Local / Instance Variables&…...

编程新知 2025/10/5 6:41:51

现代密码学 | 椭圆曲线密码学—附py代码

Elliptic Curve Cryptography 椭圆曲线密码学（ECC）是一种基于有限域上椭圆曲线数学特性的公钥加密技术。其核心原理涉及椭圆曲线的代数性质、离散对数问题以及有限域上的运算。椭圆曲线密码学是多种数字签名算法的基础，例如椭圆曲线数字签…...

编程新知 2025/10/27 21:58:02

安全突围：重塑内生安全体系：齐向东在2025年BCS大会的演讲

文章目录前言第一部分：体系力量是突围之钥第一重困境是体系思想落地不畅。第二重困境是大小体系融合瓶颈。第三重困境是“小体系”运营梗阻。第二部分：体系矛盾是突围之障一是数据孤岛的障碍。二是投入不足的障碍。三是新旧兼容难的障碍。第三部分&am…...

编程新知 2025/10/26 13:12:06

AI+无人机如何守护濒危物种？YOLOv8实现95%精准识别

【导读】野生动物监测在理解和保护生态系统中发挥着至关重要的作用。然而，传统的野生动物观察方法往往耗时耗力、成本高昂且范围有限。无人机的出现为野生动物监测提供了有前景的替代方案，能够实现大范围覆盖并远程采集数据。尽管具备这些优势&#xf…...

编程新知 2025/10/28 23:33:33

push [特殊字符] present

push 🆚 present 前言present和dismiss特点代码演示 push和pop特点代码演示前言在 iOS 开发中，push 和 present 是两种不同的视图控制器切换方式，它们有着显著的区别。 present和dismiss 特点在当前控制器上方新建视图层级需要手动调用…...

编程新知 2025/10/28 15:15:54

windows系统MySQL安装文档

概览：本文讨论了MySQL的安装、使用过程中涉及的解压、配置、初始化、注册服务、启动、修改密码、登录、退出以及卸载等相关内容，为学习者提供全面的操作指导。关键要点包括： 解压 ：下载完成后解压压缩包，得到MySQL 8.…...

编程新知 2025/10/30 6:40:06

什么是多模态？

Spring AI的多模态

相关文章：