当前位置: 首页 > news >正文

Spring Boot 流式响应豆包大模型对话能力

当Spring Boot遇见豆包大模型:一场流式响应的"魔法吟唱"仪式

一、前言:关于流式响应的奇妙比喻

想象一下你正在火锅店点单,如果服务员必须等所有菜品都备齐才一次性端上来,你可能会饿得把菜单都啃了。而流式响应就像贴心的服务员,毛肚刚切好就立刻端上桌,肥牛卷还在空中飞着就送到你面前——这就是我们今天要施展的"异步上菜大法"!

注:完整代码见底部

二、Spring Boot魔法阵搭建

2.1 召唤SSE精灵

@PostMapping(value = "/ask", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public SseEmitter ask() {SseEmitter emitter = new SseEmitter(60_000L); // 设置60秒超时结界//...后续魔法吟唱
}

这段咒语相当于在Spring Boot的魔法阵中召唤了一个SSE(Server-Sent Events)精灵,它将负责持续不断地把豆包大模型的智慧结晶传送给前端。

2.2 构建跨次元传送门

@CrossOrigin(origins = "*") // 允许所有位面的访问

这行代码就像在霍格沃茨的墙上开了个任意门,让前端、移动端、甚至隔壁王大爷的智能拐杖都能连接我们的服务。

三、豆包大模型召唤仪式

3.1 拼装召唤咒语

ArkService arkService = ArkService.builder().apiKey("你的魔法密钥") // 请自行替换成阿拉霍洞开咒.build();

这里我们正在拼装哈利·波特级别的魔法道具,apiKey就是你的魔杖认证,记得千万不要像把WiFi密码写成纸条贴在电梯里一样暴露它!

3.2 构建魔法对话卷轴

List<ChatMessage> chatMessages = new ArrayList<>();
chatMessages.add(ChatMessage.builder().role(ChatMessageRole.USER) // 麻瓜用户身份.content("求Java策略模式代码") // 你的灵魂拷问.build());

这相当于在羊皮纸上书写你的问题,就像给猫头鹰系上求助信。注意提问要像调制福灵剂一样精准,才能得到理想的回答。

四、流式响应的炼金术

4.1 启动魔法反应堆

new Thread(() -> {// 这里开始炼制长生不老药...哦不,处理响应
}).start();

我们开启了多线程炼丹炉(误),确保主线程不会像被石化的赫敏一样僵住。

4.2 实时传输咒语

arkService.streamChatCompletion(...).forEach(j -> {emitter.send(SseEmitter.event().data(JSON.toJSONString(aiChatDTO))); // 把知识碎片装进漂流瓶
});

这就像用魔法把一本厚书拆成一页页的羊皮纸,通过飞路网持续传送。前端可以像收快递一样实时展示每个字的到来。

五、魔法的收尾工作

5.1 关闭魔法阵

finally {arkService.shutdownExecutor(); // 收拾魔法实验室
}

就像优秀的巫师总会清理遗忘咒的施法痕迹,这里确保我们的魔法资源不会像韦斯莱家的飞车一样失控乱跑。

5.2 异常处理小精灵

emitter.completeWithError(ex); // 把锅甩给异常对象

当魔药课发生爆炸时,我们要优雅地把错误信息封装成记忆球,而不是让整个霍格沃茨城堡崩溃。

六、实战效果展示

当你在控制台看到这样的输出:

"定义策略接口->创建具体策略类->配置上下文..."

说明你的魔法已经生效!前端会像收到邓布利多军的秘密信号一样,逐字显示出策略模式的代码实现。

postman效果图

在这里插入图片描述

七、写给麻瓜程序员的注意事项

  1. 密钥保护:把你的apiKey当成隐形衣,千万别学洛哈特教授到处炫耀
  2. 超时设置:60秒足够熬制一锅标准的缓和剂,但复杂问题可能需要更久
  3. 流量控制:别让你的魔法管道像韦斯莱笑话商店的烟花一样喷涌过度

八、结语:你已学会的魔法

现在你已经掌握了:

  • 搭建SSE双向镜通信
  • 流式响应炼金术
  • 大模型召唤仪式
  • 异常处理的黑魔法防御术

快去创建你自己的"魔法AI助手"吧!记住:好的代码应该像福灵剂一样令人愉悦,而不是像呕吐味的比比多味豆让人措手不及。愿代码之神永远眷顾你的IDE!

package com.ideal.jason.controller;import com.alibaba.fastjson.JSON;
import com.volcengine.ark.runtime.model.completion.chat.ChatCompletionRequest;
import com.volcengine.ark.runtime.model.completion.chat.ChatMessage;
import com.volcengine.ark.runtime.model.completion.chat.ChatMessageRole;
import com.volcengine.ark.runtime.service.ArkService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.CrossOrigin;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;import java.io.IOException;
import java.util.ArrayList;
import java.util.List;/*** @author: jason* @Date: 14 2月 2025*/
@CrossOrigin(origins = "*")
@Slf4j
@RestController
@RequestMapping("/api/ai")
public class AIController {@PostMapping(value = "/ask", produces = MediaType.TEXT_EVENT_STREAM_VALUE)public SseEmitter ask() {SseEmitter emitter = new SseEmitter(60_000L); // 超时时间 60 秒String apiKey = "ccde85e1-6ae4-1234-abe1-423164b9f965";//替换成自己的 API KeyString content = "java策略模式代码样例提供";//替换成自己的 API KeyString model = "doubao-1.5-pro-32k-250115";//替换成自己的 模型id// 创建ArkService实例ArkService arkService = ArkService.builder().apiKey(apiKey).build();// 模拟流式数据new Thread(() -> {try {// 初始化消息列表List<ChatMessage> chatMessages = new ArrayList<>();// 创建用户消息ChatMessage userMessage = ChatMessage.builder().role(ChatMessageRole.USER) // 设置消息角色为用户.content(content) // //替换成自己的 提问内容.build();// 将用户消息添加到消息列表chatMessages.add(userMessage);// 创建聊天完成请求ChatCompletionRequest chatCompletionRequest = ChatCompletionRequest.builder().model(model)// 需要替换为Model ID.messages(chatMessages) // 设置消息列表.stream(true)//以流式返回.build();// 发送聊天完成请求并打印响应// 获取响应并打印每个选择的消息内容StringBuilder sb = new StringBuilder();arkService.streamChatCompletion(chatCompletionRequest).blockingIterable().forEach(j -> j.getChoices().forEach(choice -> {//System.out.print(choice.getMessage().getContent());AIChatDTO aiChatDTO =AIChatDTO.builder().content(choice.getMessage().getContent().toString()).build();try {emitter.send(SseEmitter.event()//.id(choice.getMessage().getToolCallId()).data(JSON.toJSONString(aiChatDTO)));sb.append(aiChatDTO.getContent());} catch (IOException e) {log.error("ask IOException");}}));System.out.println(sb);emitter.complete();} catch (Exception ex) {emitter.completeWithError(ex);} finally {// 关闭服务执行器arkService.shutdownExecutor();}}).start();return emitter;}
}

maven依赖

        <!-- 豆包 --><dependency><groupId>com.volcengine</groupId><artifactId>volcengine-java-sdk-ark-runtime</artifactId><version>LATEST</version></dependency>

相关文章:

Spring Boot 流式响应豆包大模型对话能力

当Spring Boot遇见豆包大模型&#xff1a;一场流式响应的"魔法吟唱"仪式 一、前言&#xff1a;关于流式响应的奇妙比喻 想象一下你正在火锅店点单&#xff0c;如果服务员必须等所有菜品都备齐才一次性端上来&#xff0c;你可能会饿得把菜单都啃了。而流式响应就像贴…...

算法之领域算法

领域算法 ♥一些领域算法知识体系♥ | Java 全栈知识体系...

【愚公系列】《Python网络爬虫从入门到精通》033-DataFrame的数据排序

标题详情作者简介愚公搬代码头衔华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云专家博主,阿里云签约作者,腾讯云优秀博主,腾讯云内容共创官,掘金优秀博主,亚马逊技领云博主,51CTO博客专家等。近期荣誉2022年度…...

软件安全性测试类型分享,第三方软件测试机构如何进行安全性测试?

在数字化时代&#xff0c;软件的安全性至关重要&#xff0c;因此软件产品安全性测试必不可少。软件安全性测试是指针对软件系统的漏洞、弱点及其他安全隐患进行评估和检测的过程。它旨在发现潜在的安全问题&#xff0c;以保护软件和用户的利益。通过系统化的测试&#xff0c;企…...

eMMC安全简介

1. 引言 术语“信息安全”涵盖多种不同的设计特性。一般而言&#xff0c; 信息安全是指通过实践防止信息遭受未经授权的访问、使用、披露、中断、篡改、检查、记录或销毁。 信息安全的三大核心目标为 机密性&#xff08;Confidentiality&#xff09;、完整性&#xff08;Integr…...

在VSCode 中使用通义灵码最新版详细教程

在 VSCode 中使用通义灵码&#xff1a;最新版详细教程与使用场景 Visual Studio Code&#xff08;简称 VSCode&#xff09;是一款由微软开发的轻量级、功能强大的开源代码编辑器&#xff0c;支持多种编程语言&#xff0c;深受开发者喜爱。而通义灵码&#xff08;TONGYI Lingma…...

Ubuntu20.04安装Isaac sim/ Isaac lab

2025年之后omniverse好像不能直接装Isaac sim了&#xff0c;要跳转到官网链接。 Isaac lab要在Isaac sim安装之后才能安装 Ubuntu20.04安装Isaac sim/ Isaac lab Isaac sim安装Isaac lab安装 Isaac sim安装 找到官网 Isaac sim官方文档 下载下来解压到本地文件夹&#xff0c…...

Redis 持久化方式:RDB(Redis Database)和 AOF(Append Only File)

本部分内容是关于博主在学习 Redis 时关于持久化部分的记录&#xff0c;介绍了 RDB 和 AOF 两种持久化方式&#xff0c;详细介绍了持久化的原理、配置、使用方式、优缺点和使用场景。并对两种持久化方式做了对比。文章最后介绍了 Redis 持久化的意义并与其他常见的缓存技术做了…...

spring boot 连接FTP实现文件上传

spring boot 连接FTP实现文件上传 maven&#xff1a; <!--ftp--><dependency><groupId>commons-net</groupId><artifactId>commons-net</artifactId><version>3.8.0</version></dependency>接口示例&#xff1a; ApiO…...

怎么进行mysql的优化?

MySQL 的优化是一个系统性的工作&#xff0c;涉及多个层面&#xff0c;包括查询优化、索引优化、配置优化、架构优化等。以下是一些常见的 MySQL 优化方法&#xff1a; 查询优化 避免全表扫描&#xff1a;确保查询能够使用索引&#xff0c;避免 SELECT *&#xff0c;只选择需要…...

Octave3D 关卡设计插件

课程参考链接 这位大佬有在视频合集中有详细的讲解&#xff0c;个人体验过&#xff0c;感觉功能很强大 https://www.bilibili.com/video/BV1Kq4y1C72P/?share_sourcecopy_web&vd_source0a41d8122353e3e841ae0a39908c2181 Prefab资源管理 第一步 在场景中创建一个空物体…...

【论文笔记-TPAMI 2024】FreqFusion:用于密集图像预测的频率感知特征融合

Frequency-aware Feature Fusion for Dense Image Prediction 用于密集图像预测的频率感知特征融合 Abstract&#xff1a;密集图像预测任务要求具有强类别信息和高分辨率精确空间边界细节的特征。为了实现这一点&#xff0c;现代分层模型通常利用特征融合&#xff0c;直接添加…...

DeepBI成单关键词管理策略:提升转化与曝光,助力电商业绩双增长

在电商竞争愈发激烈的市场环境中&#xff0c;优化广告投放的关键词管理是提升产品转化率和曝光量的关键。特别是对于那些已经证明其转化能力的成单关键词&#xff0c;如何更好地管理和优化&#xff0c;成为了卖家们亟需解决的问题。DeepBI通过一套智能化的管理方案&#xff0c;…...

ai-3、机器学习之逻辑回归

机器学习之逻辑回归 1、分类问题2、逻辑回归2.1、二分类问题线性回归2.2、二分类问题逻辑回归 1、分类问题 分类问题常用的算法&#xff1a;逻辑回归 y0 :垃圾邮件 y1&#xff1a;正常邮件 准确来说是分类任务与线性回归任务的区别 2、逻辑回归 2.1、二分类问题线性回归 分类…...

在kubernetes集群中持续压测 SpringCloud 应用,pod 的 memory cache 持续增长问题

问题描述 在kubernetes集群中压测 SpringCloud 应用,持续压测, pod 的 memory cache 持续增长,导致 pod 最终挂了。上图看看效果吧~pod的资源配置 cpu: 1~2 core内存:1~3 G pod 数:1分析思路 1)pod 级的 Memory Cache ,显示的为当前 pod 的 linux 系统的 cache 内存的…...

金融赋能绍兴纺织 民生银行助力外贸中小微企业“走出去”

在浙江绍兴&#xff0c;纺织业作为一张熠熠生辉的产业名片&#xff0c;承载着深厚的历史底蕴与蓬勃的发展活力。这里依傍长三角经济圈&#xff0c;交通网络纵横交错&#xff0c;将原材料产地与广阔市场紧密相连&#xff1b;产业集群高度成熟&#xff0c;上下游产业链完备&#…...

ubuntu:换源安装docker-ce和docker-compose

更新apt源 apt换源&#xff1a;ubuntu&#xff1a;更新阿里云apt源-CSDN博客 安装docker-ce 1、更新软件源 sudo apt update2、安装基本软件 sudo apt-get install apt-transport-https ca-certificates curl software-properties-common lrzsz -y3、指定使用阿里云镜像 su…...

基于 Elasticsearch 和 Milvus 的 RAG 运维知识库的架构设计和部署落地实现指南

最近在整理一些业务场景的架构设计和部署落地实现指南 先放一个 【基于RAG的运维知识库 (ElasticSearch + Milvus) 的详细实现指南】,其中包含了详尽的技术实现细节、可运行的示例代码、原理分析、优缺点分析和应用场景分析。 架构描述: 基于RAG的运维知识库 (ElasticSearch…...

基于Python的web漏洞挖掘,漏洞扫描系统(附源码,部署)

本次技术通过利用Python技术来开发一款针对web漏洞挖掘扫描的技术&#xff0c;通过web漏洞的挖掘扫描来实现对网站URL的漏洞检测&#xff0c;通过高中低风险的判断来实现对一款网站中存在的漏洞进行可视化的分析&#xff0c;从而能够找到问题并且尽快的实现问题的解决。 博主介…...

Spring Boot全局异常处理:“危机公关”团队

目录 一、全局异常处理的作用二、Spring Boot 实现全局异常处理&#xff08;附上代码实例&#xff09;三、总结&#xff1a; &#x1f31f;我的其他文章也讲解的比较有趣&#x1f601;&#xff0c;如果喜欢博主的讲解方式&#xff0c;可以多多支持一下&#xff0c;感谢&#x1…...

云原生核心技术 (7/12): K8s 核心概念白话解读(上):Pod 和 Deployment 究竟是什么?

大家好&#xff0c;欢迎来到《云原生核心技术》系列的第七篇&#xff01; 在上一篇&#xff0c;我们成功地使用 Minikube 或 kind 在自己的电脑上搭建起了一个迷你但功能完备的 Kubernetes 集群。现在&#xff0c;我们就像一个拥有了一块崭新数字土地的农场主&#xff0c;是时…...

IGP(Interior Gateway Protocol,内部网关协议)

IGP&#xff08;Interior Gateway Protocol&#xff0c;内部网关协议&#xff09; 是一种用于在一个自治系统&#xff08;AS&#xff09;内部传递路由信息的路由协议&#xff0c;主要用于在一个组织或机构的内部网络中决定数据包的最佳路径。与用于自治系统之间通信的 EGP&…...

【论文笔记】若干矿井粉尘检测算法概述

总的来说&#xff0c;传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度&#xff0c;通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...

【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张(Windows/Linux)

要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况&#xff0c;可以通过以下几种方式模拟或触发&#xff1a; 1. 增加CPU负载 运行大量计算密集型任务&#xff0c;例如&#xff1a; 使用多线程循环执行复杂计算&#xff08;如数学运算、加密解密等&#xff09;。运行图…...

BCS 2025|百度副总裁陈洋:智能体在安全领域的应用实践

6月5日&#xff0c;2025全球数字经济大会数字安全主论坛暨北京网络安全大会在国家会议中心隆重开幕。百度副总裁陈洋受邀出席&#xff0c;并作《智能体在安全领域的应用实践》主题演讲&#xff0c;分享了在智能体在安全领域的突破性实践。他指出&#xff0c;百度通过将安全能力…...

聊一聊接口测试的意义有哪些?

目录 一、隔离性 & 早期测试 二、保障系统集成质量 三、验证业务逻辑的核心层 四、提升测试效率与覆盖度 五、系统稳定性的守护者 六、驱动团队协作与契约管理 七、性能与扩展性的前置评估 八、持续交付的核心支撑 接口测试的意义可以从四个维度展开&#xff0c;首…...

【开发技术】.Net使用FFmpeg视频特定帧上绘制内容

目录 一、目的 二、解决方案 2.1 什么是FFmpeg 2.2 FFmpeg主要功能 2.3 使用Xabe.FFmpeg调用FFmpeg功能 2.4 使用 FFmpeg 的 drawbox 滤镜来绘制 ROI 三、总结 一、目的 当前市场上有很多目标检测智能识别的相关算法&#xff0c;当前调用一个医疗行业的AI识别算法后返回…...

python执行测试用例,allure报乱码且未成功生成报告

allure执行测试用例时显示乱码&#xff1a;‘allure’ &#xfffd;&#xfffd;&#xfffd;&#xfffd;&#xfffd;ڲ&#xfffd;&#xfffd;&#xfffd;&#xfffd;ⲿ&#xfffd;&#xfffd;&#xfffd;Ҳ&#xfffd;&#xfffd;&#xfffd;ǿ&#xfffd;&am…...

【Nginx】使用 Nginx+Lua 实现基于 IP 的访问频率限制

使用 NginxLua 实现基于 IP 的访问频率限制 在高并发场景下&#xff0c;限制某个 IP 的访问频率是非常重要的&#xff0c;可以有效防止恶意攻击或错误配置导致的服务宕机。以下是一个详细的实现方案&#xff0c;使用 Nginx 和 Lua 脚本结合 Redis 来实现基于 IP 的访问频率限制…...

破解路内监管盲区:免布线低位视频桩重塑停车管理新标准

城市路内停车管理常因行道树遮挡、高位设备盲区等问题&#xff0c;导致车牌识别率低、逃费率高&#xff0c;传统模式在复杂路段束手无策。免布线低位视频桩凭借超低视角部署与智能算法&#xff0c;正成为破局关键。该设备安装于车位侧方0.5-0.7米高度&#xff0c;直接规避树枝遮…...