通义千问 ( 一 ) 基础实例
1.相关概念
1.1.模型与平台
1.1.1.通义千问
通义千问 : 是阿里云研发的大语言模型;用于理解和分析用户输入的自然语言,在不同领域和任务为用户提供服务和帮助。
具体应用场景如下:
-
文字创作:撰写故事、公文、邮件、剧本和诗歌等。
-
文本处理:润色文本和提取文本摘要等。
-
编程辅助:编写和优化代码等。
-
翻译服务:提供各类语言的翻译服务,如英语、日语、法语或西班牙语等。
-
对话模拟:扮演不同角色进行交互式对话。
-
数据可视化:图表制作和数据呈现等。
1.1.2.灵积 ( DashScope )
灵积 (英文名 DashScope ) : 是阿里云推出的模型服务平台,提供了包括通义千问在内的多种模型的服务接口,建立在“模型即服务”(Model-as-a-Service,MaaS)的理念基础之上,围绕AI各领域模型,通过标准化API接口提供模型推理等服务,为用户打造一站式模型解决方案。
1.2.API-KEY
API-KEY
DashScope使用API-KEY作为调用API的密钥。API-KEY承担了调用鉴权、计量计费等功能。API-KEY被广泛应用于DashScope API中,通过 api-key 参数指定。DashScope中所有不同的模型API服务都可以使用一个API-KEY、以一致的编程方式进行调用,方便开发者进行跨模态的、多个模型的接续调用。
API-KEY是访问DashScope的密钥,请务必妥善保存。不要以任何方式公开到外部渠道,避免因未经授权的使用造成安全风险或资金损失。
推荐将API-KEY配置到环境变量中以降低API-KEY的泄漏风险
https://help.aliyun.com/zh/dashscope/developer-reference/acquisition-and-configuration-of-api-key?spm=a2c4g.11186623.0.0.42b6b400xOdsJb
如何获取通义千问API的KEY_模型服务灵积(DashScope)-阿里云帮助中心 (aliyun.com)
1.3.模型分类及token与收费
1.3.1.qwen-max
通义千问系列效果最好的模型,适合复杂、多步骤的任务。
| 上下文长度(Token数) | 最大输入(Token数) | 最大输出(Token数) | 输入成本(每千Token) | 输出成本(每千Token) |
|---|---|---|---|---|
| 8k | 6k | 2k | 0.04元 | 0.12元 |
1.3.2.qwen-plus
能力均衡,推理效果和速度介于通义千问-Max和通义千问-Turbo之间,适合中等复杂任务。
| 上下文长度(Token数) | 最大输入(Token数) | 最大输出(Token数) | 输入成本(每千Token) | 输出成本(每千Token) |
|---|---|---|---|---|
| 32k | 30k | 8k | 0.004元 | 0.012元 |
1.3.3.qwen-turbo
通义千问系列速度最快、成本很低的模型,适合简单任务。
| 上下文长度(Token数) | 最大输入(Token数) | 最大输出(Token数) | 输入成本(每千Token) | 输出成本(每千Token) |
|---|---|---|---|---|
| 8k | 6k | 1.5k | 0.002元 | 0.006元 |
每个模型还有一些小模型
对于中文文本来说,千问模型的1个token平均对应1.5-1.8个汉字;
对于英文文本来说,1个token通常对应一个单词或词根。
2.基础说明
2.1.基础案例
创建springboot 项目导入 spring web 依赖
2.1.1.maven导入依赖
<!-- https://mvnrepository.com/artifact/com.alibaba/dashscope-sdk-java -->
<dependency><groupId>com.alibaba</groupId><artifactId>dashscope-sdk-java</artifactId><version>2.16.2</version>
</dependency>
2.1.2.调用代码
创建 controller 类
import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.utils.Constants;
import com.alibaba.dashscope.utils.JsonUtils;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;import java.util.Arrays;@RestController
@RequestMapping("/tongyi")
public class CallBaseController {@Value("${tongyi.api-key}")private String apiKey;@RequestMapping("/call/base")public String callBase(@RequestParam(value = "message", required = false, defaultValue = "中国的首都是哪里?") String message) throws NoApiKeyException, InputRequiredException {GenerationResult result = callWithMessage(message);System.out.println(JsonUtils.toJson(result));return result.getOutput().getChoices().get(0).getMessage().getContent();}public GenerationResult callWithMessage(String message) throws ApiException, NoApiKeyException, InputRequiredException {// 设置API密钥Constants.apiKey = apiKey;// 初始化生成对象Generation gen = new Generation();// 构建[ 系统 ]消息,说明AI助手的角色定位Message systemMsg = Message.builder().role(Role.SYSTEM.getValue()).content("你是一个乐于助人的AI助手.").build();// 构建[ 用户 ]消息,内容为用户的问题或指令Message userMsg = Message.builder().role(Role.USER.getValue()).content(message).build();// 构建生成参数对象,用于定制化生成请求GenerationParam param = GenerationParam.builder().model("qwen-turbo") // 选择使用的模型.messages(Arrays.asList(systemMsg, userMsg)) // 设置消息列表,包括系统消息和用户消息.resultFormat(GenerationParam.ResultFormat.MESSAGE) // 设置返回格式为消息格式.topK(50) // 设置Top-K参数,控制生成结果的多样性.temperature(0.8f) // 设置温度参数,控制生成结果的随机性.topP(0.8) // 设置Top-P参数,进一步控制生成结果的多样性.seed(1234) // 设置随机种子,以获得可复现的生成结果.build();// 调用生成对象的call方法,执行生成请求,并返回生成结果return gen.call(param);}
}
请求
GET http://localhost:8081/tongyi/call/base?message=你是谁?HTTP/1.1 200 我是阿里云开发的一款超大规模语言模型,我叫通义千问。作为一个AI助手,我的目标是帮助用户获得准确、有用的信息,解决他们的问题和困惑。无论是提供知识解答、创意建议,还是进行信息查询,我都致力于以最有效的方式提供帮助。
返回的结果
{"requestId": "fbd59659-bf46-9bf8-9c9b-58934190e57d","usage": {"input_tokens": 25,"output_tokens": 60,"total_tokens": 85},"output": {"choices": [{"finish_reason": "stop","message": {"role": "assistant","content": "我是阿里云开发的一款超大规模语言模型,我叫通义千问。作为一个AI助手,我的目标是帮助用户获得准确、有用的信息,解决他们的问题和困惑。无论是提供知识解答、创意建议,还是进行信息查询,我都致力于以最有效的方式提供帮助。"}}]}
}
2.2.多轮对话案例
多轮对话可以让大模型参考历史对话信息,更符合日常交流的场景。
实现多轮对话的关键在于维护一个存放历史对话信息的列表,并将更新后的列表作为大模型的输入,从而使大模型可以参考历史对话信息进行回复。
如果对话轮数较多,可能会超过大模型可以输入的token上限。需要控制输入大模型的token数量。
2.2.1.调用代码
import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.utils.Constants;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;import java.util.ArrayList;
import java.util.List;@RestController
@RequestMapping("/tongyi")
public class CallManyController {@Value("${tongyi.api-key}")private String apiKey;// 历史消息列表private List<Message> historyMessage =new ArrayList<>(List.of(createMessage(Role.SYSTEM, "你是一个乐于助人的AI助手. 可以按照使用者来设置身份, 你要记住这些设置!")));// 历史消息列表的最大长度private int maxLen = 10;@RequestMapping("/call/many")public String callMany(@RequestParam(value = "message", required = false, defaultValue = "中国的首都是哪里?") String message) throws NoApiKeyException, InputRequiredException {// 用户输入的文本是UserMessagehistoryMessage.add(createMessage(Role.USER, message));// 发给AI前对历史消息对列的长度进行检查if (historyMessage.size() > maxLen) {historyMessage = historyMessage.subList(historyMessage.size() - maxLen - 1, historyMessage.size());}System.out.println("模型输入:" + historyMessage);GenerationParam param = createGenerationParam(historyMessage);GenerationResult result = callGenerationWithMessages(param);System.out.println("模型输出:" + result.getOutput().getChoices().get(0).getMessage().getContent());historyMessage.add(result.getOutput().getChoices().get(0).getMessage());return result.getOutput().getChoices().get(0).getMessage().getContent();}public GenerationParam createGenerationParam(List<Message> messages) {return GenerationParam.builder().model("qwen-turbo").messages(messages).resultFormat(GenerationParam.ResultFormat.MESSAGE).topP(0.8).build();}public GenerationResult callGenerationWithMessages(GenerationParam param) throws ApiException, NoApiKeyException, InputRequiredException {// 设置API密钥Constants.apiKey = apiKey;Generation gen = new Generation();return gen.call(param);}private static Message createMessage(Role role, String content) {return Message.builder().role(role.getValue()).content(content).build();}}
2.2.2.测试
###
GET http://localhost:8081/tongyi/call/many?message=你现在的名字叫王小二###
GET http://localhost:8081/tongyi/call/many?message=你是一名大学生###
GET http://localhost:8081/tongyi/call/many?message=你的学习成绩很好, 也很乐意帮助别人###
GET http://localhost:8081/tongyi/call/many?message=现在介绍一下你自己, 你的名字, 你的身份, 你的性格
2.3.prompt
通过prompt方式调用时,输入与输出的数据格式比messages方式简单,更适合单轮问答等简单场景;在更复杂的场景中推荐您通过messages方式调用。
import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.aigc.generation.models.QwenParam;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.utils.Constants;
import com.alibaba.dashscope.utils.JsonUtils;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;import java.util.Arrays;
import java.util.concurrent.Semaphore;@RestController
@RequestMapping("/tongyi")
public class CallPromptController {@Value("${tongyi.api-key}")private String apiKey;@RequestMapping("/call/prompt")public String callBase(@RequestParam(value = "message", required = false, defaultValue = "中国的首都是哪里?") String message) throws NoApiKeyException, InputRequiredException {try {GenerationResult result = qwenQuickStart(message);qwenQuickStartCallback(message);System.out.println(JsonUtils.toJson(result));return result.getOutput().getText();} catch (ApiException | NoApiKeyException | InputRequiredException| InterruptedException e) {System.out.println(String.format("Exception %s", e.getMessage()));}return null;}/*** 使用通义灵码快速开始生成文本*/public GenerationResult qwenQuickStart(String prompt) throws NoApiKeyException, ApiException, InputRequiredException {// 设置API密钥Constants.apiKey = apiKey;// 创建Generation实例,用于调用API生成文本Generation gen = new Generation();// 构建请求参数QwenParam param = QwenParam.builder().model(Generation.Models.QWEN_TURBO) // 设置使用的模型为Qwen Turbo.prompt(prompt) // 设置提示词.topP(0.8) // 设置采样参数topP,0.8表示在概率为0.8的范围内采样.build();// 调用API生成文本GenerationResult result = gen.call(param);// 打印生成结果的JSON格式System.out.println(JsonUtils.toJson(result));// 返回生成结果return result;}// 回调方式实现的轻量级快速开始示例// 该方法演示了如何通过回调实时处理请求// 参数:prompt - 生成文本的提示信息// 异常:NoApiKeyException - 未设置API密钥异常, ApiException - API调用异常, InputRequiredException - 必需输入缺失异常, InterruptedException - 线程中断异常public void qwenQuickStartCallback(String prompt) throws NoApiKeyException, ApiException, InputRequiredException, InterruptedException {// 设置API密钥Constants.apiKey = apiKey;// 创建生成实例Generation gen = new Generation();// 构建请求参数QwenParam param = QwenParam.builder().model(Generation.Models.QWEN_TURBO) // 指定模型.prompt(prompt) // 设置提示信息.topP(0.8) // 设置采样参数,这里表示top-p采样.build();// 使用信号量控制回调的完成Semaphore semaphore = new Semaphore(0);// 调用生成接口,并指定回调处理结果gen.call(param, new ResultCallback<GenerationResult>() {// 当生成结果时触发@Overridepublic void onEvent(GenerationResult message) {System.out.println(message);}// 当发生错误时触发@Overridepublic void onError(Exception ex) {System.out.println(ex.getMessage());semaphore.release(); // 释放信号量,允许线程继续执行}// 当生成完成时触发@Overridepublic void onComplete() {System.out.println("onComplete");semaphore.release(); // 释放信号量,允许线程继续执行}});// 等待回调完成semaphore.acquire();}
}
相关文章:
通义千问 ( 一 ) 基础实例
1.相关概念 1.1.模型与平台 1.1.1.通义千问 通义千问 : 是阿里云研发的大语言模型;用于理解和分析用户输入的自然语言,在不同领域和任务为用户提供服务和帮助。 具体应用场景如下: 文字创作:撰写故事、公文、邮件、剧本和诗歌…...
docker 修改数据目录
1.停止 Docker 服务 sudo systemctl stop docker sudo systemctl stop docker.socket2.复制数据目录 sudo cp -rp /var/lib/docker /data/ 或 # sudo rsync -aP /var/lib/docker/ /data/docker/3.修改 Docker 配置 编辑 Docker 的配置文件,设置新的数据目录&#…...
r4s软路由写入iStoreOS镜像
需要用到的工具: 1、r4s软路由 2、32G及以上的TF卡 3、TF卡读卡器 4、镜像写入软件(推荐Etcher,下载地址:https://github.com/balena-io/etcher/releases/download/v1.19.21/balenaEtcher-1.19.21.Setup.exe) 5、…...
[C++][opencv]基于opencv实现photoshop算法灰度化图像
测试环境】 vs2019 opencv4.8.0 【效果演示】 【核心实现代码】 BlackWhite.hpp #ifndef OPENCV2_PS_BLACKWHITE_HPP_ #define OPENCV2_PS_BLACKWHITE_HPP_#include "opencv2/core.hpp"namespace cv {class BlackWhite { public:float red; //红色的灰度系…...
Emacs23.x版本之重要特性及用法实例(一百五十六)
简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 新书发布:《Android系统多媒体进阶实战》🚀 优质专栏: Audio工程师进阶系列…...
机器学习 第11章-特征选择与稀疏学习
机器学习 第11章-特征选择与稀疏学习 11.1 子集搜索与评价 我们将属性称为“特征”(feature),对当前学习任务有用的属性称为“相关特征”(relevant feature)、没什么用的属性称为“无关特征”(irrelevant feature)。从给定的特征集合中选择出相关特征子集的过程&a…...
Grok 2携AI图片生成重生
埃隆马斯克(Elon Musk)的人工智能初创公司xAI推出其最新的AI助手Grok 2的测试版,添加了类似于OpenAI的DALL-E和Google的Gemini的图像生成工具,但对可以生成的图像类型的限制显然较少。<这是其中的一个“亮点”,一些…...
使用Nexus搭建Maven私服仓库
一、私服仓库简介 在Java的世界中,我们通常使用Maven的依赖体系来管理构件(artifact,又称为二方库或三方库)的依赖,Maven仓库用于存储这些构件。一般的远程仓库(比如Maven Central)只提供下载功…...
云计算day27
任务背景 公司的服务器越来越多, 维护⼀些简单的事情都会变得很繁琐。⽤ shell脚本来管理少量服务器效率还⾏, 服务器多了之后, shell脚本⽆ 法实现⾼效率运维。这种情况下,我们需要引⼊⾃动化运维⼯具, 对 多台服务器实现⾼效运维。 任务要求任务要求 通过管…...
关于HTTP HEAD介绍
一、HTTP HEAD介绍 HTTP HEAD 是一种 HTTP 请求方法,它用于请求服务器返回指定资源的元信息(metadata),而不包括响应体的内容。这种请求方式常用于客户端预先评估资源的大小、最后修改日期或其他头信息,而无需实际下载…...
WPF Mvvm
了解MVVM 什么是MVVM:一种设计模式 设计模式(Design pattern)代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人…...
pnpm【实用教程】2024最新版
pnpm 简介 pnpm 全称 performant npm,即高性能的 npm,由 npm/yarn 衍生而来,解决了 npm/yarn 内部潜在的 bug,极大的优化了性能,扩展了使用场景,被誉为 最先进的包管理工具 安装 pnpm npm i -g pnpm使用 pn…...
C#的前沿技术有哪些?
C#作为.NET平台的核心语言,其前沿技术主要围绕.NET生态系统的扩展和更新展开。了解C#的前沿技术对于开发者来说至关重要,因为它们代表了该语言和平台的最新发展方向和趋势。目前,C#的前沿技术主要集中在以下几个方面: 1. NET 6: …...
Vue2移动端(H5项目)项目基于vant封装图片上传组件(支持批量上传、单个上传、回显、删除、预览、最大上传数等功能)---解决批量上传问题
一、最终效果 二、参数配置 1、代码示例: <t-uploadfileList"fileList":showFileList"showFileList"showFile"showFile":showFileUrl"showFileUrl"/>2、配置参数(TUpload Attributes)继承va…...
ELK整合实战,filebeat和logstash采集SpringBoot项目日志发送至ES
文章目录 ELK整合实战使用FileBeats将日志发送到Logstash配置Logstash接收FileBeat收集的数据并打印Logstash输出数据到Elasticsearch利用Logstash过滤器解析日志Grok插件Grok语法用法 输出到Elasticsearch指定索引 前文:FileBeats详解 前文:logstash详解…...
网络编程:OSI协议,TCP/IP协议,IP地址,UDP编程
目录 国际网络通信协议标准: 1.OSI协议: 2.TCP/IP协议模型: 应用层 : 传输层: 网络层: IPV4协议 IP地址 IP地址的划分: 公有地址 私有地址 MA…...
QtExa001自动包装流水线的框架设计vs2019QT
QtExa001自动包装流水线的框架设计 工程代码: https://download.csdn.net/download/txwtech/89636815https://download.csdn.net/download/txwtech/89636815 主界面: 设置:进行参数配置,保存ini文件 调试:tcp/ip&…...
SpringBoot拦截器的使用介绍
SpringBoot拦截器的使用介绍 本篇文章主要讲的是 SpringBoot 拦截器的使用介绍。 1、定义拦截器 拦截器:所谓拦截器,就是能够在进行某个操作之前拦截请求,如果请求符合条件就允许在往下执行。 定义拦截器的几种方式。 1.1 实现HandleInt…...
Spring Boot应用中的资源分离与高效打包实践
在电商网站项目中,前端资源通常包括HTML、CSS、JavaScript、图片、字体等静态文件,以及Thymeleaf或Freemarker等模板引擎渲染的页面。将这些资源从Spring Boot主应用中分离出来,不仅有利于前后端团队的并行开发,还能提高应用的加载…...
分析 avformat_open_input 数据读取过程
------------------------------------------------------------ author: hjjdebug date: 2024年 08月 13日 星期二 17:31:43 CST descriptor: 分析 avformat_open_input 数据读取过程 ------------------------------------------------------------ avformat_open_input 中读…...
观成科技:隐蔽隧道工具Ligolo-ng加密流量分析
1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具,该工具基于TUN接口实现其功能,利用反向TCP/TLS连接建立一条隐蔽的通信信道,支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式,适应复杂网…...
《从零掌握MIPI CSI-2: 协议精解与FPGA摄像头开发实战》-- CSI-2 协议详细解析 (一)
CSI-2 协议详细解析 (一) 1. CSI-2层定义(CSI-2 Layer Definitions) 分层结构 :CSI-2协议分为6层: 物理层(PHY Layer) : 定义电气特性、时钟机制和传输介质(导线&#…...
vscode(仍待补充)
写于2025 6.9 主包将加入vscode这个更权威的圈子 vscode的基本使用 侧边栏 vscode还能连接ssh? debug时使用的launch文件 1.task.json {"tasks": [{"type": "cppbuild","label": "C/C: gcc.exe 生成活动文件"…...
高频面试之3Zookeeper
高频面试之3Zookeeper 文章目录 高频面试之3Zookeeper3.1 常用命令3.2 选举机制3.3 Zookeeper符合法则中哪两个?3.4 Zookeeper脑裂3.5 Zookeeper用来干嘛了 3.1 常用命令 ls、get、create、delete、deleteall3.2 选举机制 半数机制(过半机制࿰…...
2.Vue编写一个app
1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...
从零开始打造 OpenSTLinux 6.6 Yocto 系统(基于STM32CubeMX)(九)
设备树移植 和uboot设备树修改的内容同步到kernel将设备树stm32mp157d-stm32mp157daa1-mx.dts复制到内核源码目录下 源码修改及编译 修改arch/arm/boot/dts/st/Makefile,新增设备树编译 stm32mp157f-ev1-m4-examples.dtb \stm32mp157d-stm32mp157daa1-mx.dtb修改…...
自然语言处理——循环神经网络
自然语言处理——循环神经网络 循环神经网络应用到基于机器学习的自然语言处理任务序列到类别同步的序列到序列模式异步的序列到序列模式 参数学习和长程依赖问题基于门控的循环神经网络门控循环单元(GRU)长短期记忆神经网络(LSTM)…...
全志A40i android7.1 调试信息打印串口由uart0改为uart3
一,概述 1. 目的 将调试信息打印串口由uart0改为uart3。 2. 版本信息 Uboot版本:2014.07; Kernel版本:Linux-3.10; 二,Uboot 1. sys_config.fex改动 使能uart3(TX:PH00 RX:PH01),并让boo…...
零基础在实践中学习网络安全-皮卡丘靶场(第九期-Unsafe Fileupload模块)(yakit方式)
本期内容并不是很难,相信大家会学的很愉快,当然对于有后端基础的朋友来说,本期内容更加容易了解,当然没有基础的也别担心,本期内容会详细解释有关内容 本期用到的软件:yakit(因为经过之前好多期…...
技术栈RabbitMq的介绍和使用
目录 1. 什么是消息队列?2. 消息队列的优点3. RabbitMQ 消息队列概述4. RabbitMQ 安装5. Exchange 四种类型5.1 direct 精准匹配5.2 fanout 广播5.3 topic 正则匹配 6. RabbitMQ 队列模式6.1 简单队列模式6.2 工作队列模式6.3 发布/订阅模式6.4 路由模式6.5 主题模式…...
