当前位置：首页 > news >正文

通义千问大模型Java调用,百炼

news 文章来源：https://blog.csdn.net/qq_39506978/article/details/142031066 2025/5/12 2:02:59

文章目录

一、大模型服务平台[百炼](https://help.aliyun.com/zh/model-studio/getting-started)
二、Java sdk调用与eventStream
三、百炼平台其它

一、大模型服务平台百炼

百炼是阿里新出的一个大模型服务平台，聚合了多个千问大模型及其它一些大模型的调用，暴露了一个同一的http请求入口，调用接口需要申请一个apikey,不需apisecret用于计费，有免费额度，较小的模型很便宜，各语言可以直接拼接请求参数发起http调用，主流开发语言python，Java等还提供了SDK使用起来更方便。

二、Java sdk调用与eventStream

package com.example.demo.qianwen;import java.util.Arrays;
import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import lombok.SneakyThrows;public class Main {@SneakyThrowspublic static void main(String[] args) {Generation gen = new Generation();Message systemMsg = Message.builder().role(Role.SYSTEM.getValue()).content("You are a helpful assistant.").build();Message userMsg = Message.builder().role(Role.USER.getValue()).content("Java udp代码案例？").build();GenerationParam param = GenerationParam.builder().model("qwen-turbo").apiKey("sk-f6a3b3**************") // 替换自己的.messages(Arrays.asList(systemMsg, userMsg)).resultFormat(GenerationParam.ResultFormat.MESSAGE).temperature(0.8f).incrementalOutput(true).build();// String content = gen.call(param).getOutput().getChoices().get(0).getMessage().getContent();gen.streamCall(param).blockingSubscribe(generationResult -> {System.out.println(generationResult.getOutput().getText());});}
}

这里获取模型推理结果有两种方式：call一次性获取全部结果与sreamCall流式获取数据。后者是比较常用的，因为模型推理往往需要数秒设置更长时间，推理出一点数据就先给用户展示，避免干等。这里持续往前端推送数据比不是websocket,而是利用了HTTP自带的一种更轻量的特性eventStream，用法比较类似websocket。如上代码只需要在streamCall回调函数中改为使用httpserverlet response对象将数据发送到前端即可（注意添加一个响应头Content-Type: text/event-stream;charset=UTF-8)
`1 在这里插入图片描述
springboot web支持了http这种特性，往前端send数据调用SseEmitter 的方法即可，它会帮我们加上必要的响应头,如上代码streamCall回调函数中改为SseEmitter的send方法即可。

import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.servlet.mvc.method.annotation.SseEmitter;import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.atomic.AtomicInteger;@RestController
public class SseController {private static final Map<Long, SseEmitter> emitters = new ConcurrentHashMap<>();private static final AtomicInteger eventId = new AtomicInteger(0);@GetMapping("/sse/events")public SseEmitter getEvents() {SseEmitter emitter = new SseEmitter(Long.MAX_VALUE);Long id = System.currentTimeMillis();emitters.put(id, emitter);// 发送初始事件sendToClient(emitter, "Welcome to the SSE example!");// 设置超时处理emitter.onTimeout(() -> emitters.remove(id));// 设置错误处理emitter.onCompletion(() -> emitters.remove(id));return emitter;}public void sendToClient(SseEmitter emitter, String message) {try {emitter.send(SseEmitter.event().id(String.valueOf(eventId.incrementAndGet())).name("sse").data(message));} catch (Exception e) {emitters.values().removeIf(ee -> ee.equals(emitter));}}
}

前端处理示例

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>SSE Example</title>
</head>
<body><h1>Server-Sent Events Demo</h1><ul id="events-list"></ul><script>// 创建EventSource实例const source = new EventSource('/sse/events');// 当接收到新的事件时source.onmessage = function(event) {// 解析接收到的数据const data = JSON.parse(event.data);// 在页面上显示数据displayEvent(data);};// 当发生错误时source.onerror = function(event) {console.error('Error occurred:', event);// 如果连接丢失，可以尝试重新连接// source.close(); // 关闭连接};// 显示事件数据function displayEvent(data) {const list = document.getElementById('events-list');const item = document.createElement('li');item.textContent = data.message;list.appendChild(item);}</script>
</body>
</html>

三、百炼平台其它

百炼平台文档非常齐全，这里主要再总结一下
//TODO

通义千问大模型Java调用,百炼

文章目录

一、大模型服务平台百炼

二、Java sdk调用与eventStream

三、百炼平台其它

相关文章：

通义千问大模型Java调用,百炼

新发现！一键管理所有远程会话的神器——1Remote

华为 HCIP 认证费用和报名资格

Linux下载压缩包：tar.gz、zip、tar.bz2格式全攻略

运行PaddleOCR报错：requests.exceptions.SSLError: HTTPSconnectionPool……

基于STM32L431小熊派设计的智能花盆(微信小程序+腾讯云IOT)(223)

CentOS 入门必备基础知识

快速排序

钢琴灯有必要买很贵的吗？五款值得入手的护眼灯分享

C和指针：指针

paddle 分类网络

计算机网络408考研 2022

2023级JavaScript与jQuery

【C++】————IO流

ESP8266连接到Blinker平台

qwen2 VL 多模态图文模型；图像、视频使用案例

ASPICE评估：汽车软件质量的守护神

野生动物检测系统源码分享

【Hot100】LeetCode—75. 颜色分类

【物联网技术大作业】设计一个智能家居的应用场景

ESP8266做httpServer提示Header fields are too long for server to interpret

jmeter设置全局token

DORIS - DORIS之索引简介

Java 串口通信—收发，监听数据(代码实现)

fileinput pdf编辑初始化预览

微信支付开发-需求整理及需求设计

vs code: pnpm : 无法加载文件 C:\Program Files\nodejs\pnpm.ps1，因为在此系统上禁止运行脚本

web测试必备技能：浏览器兼容性测试

《数据资产管理核心技术与应用》首次大型赠书活动圆满结束

vue在一个组件引用其他组件