通义千问 ( 一 ) 基础实例
1.相关概念
1.1.模型与平台
1.1.1.通义千问
通义千问 : 是阿里云研发的大语言模型;用于理解和分析用户输入的自然语言,在不同领域和任务为用户提供服务和帮助。
具体应用场景如下:
-
文字创作:撰写故事、公文、邮件、剧本和诗歌等。
-
文本处理:润色文本和提取文本摘要等。
-
编程辅助:编写和优化代码等。
-
翻译服务:提供各类语言的翻译服务,如英语、日语、法语或西班牙语等。
-
对话模拟:扮演不同角色进行交互式对话。
-
数据可视化:图表制作和数据呈现等。
1.1.2.灵积 ( DashScope )
灵积 (英文名 DashScope ) : 是阿里云推出的模型服务平台,提供了包括通义千问在内的多种模型的服务接口,建立在“模型即服务”(Model-as-a-Service,MaaS)的理念基础之上,围绕AI各领域模型,通过标准化API接口提供模型推理等服务,为用户打造一站式模型解决方案。
1.2.API-KEY
API-KEY
DashScope使用API-KEY作为调用API的密钥。API-KEY承担了调用鉴权、计量计费等功能。API-KEY被广泛应用于DashScope API中,通过 api-key 参数指定。DashScope中所有不同的模型API服务都可以使用一个API-KEY、以一致的编程方式进行调用,方便开发者进行跨模态的、多个模型的接续调用。
API-KEY是访问DashScope的密钥,请务必妥善保存。不要以任何方式公开到外部渠道,避免因未经授权的使用造成安全风险或资金损失。
推荐将API-KEY配置到环境变量中以降低API-KEY的泄漏风险
https://help.aliyun.com/zh/dashscope/developer-reference/acquisition-and-configuration-of-api-key?spm=a2c4g.11186623.0.0.42b6b400xOdsJb
如何获取通义千问API的KEY_模型服务灵积(DashScope)-阿里云帮助中心 (aliyun.com)
1.3.模型分类及token与收费
1.3.1.qwen-max
通义千问系列效果最好的模型,适合复杂、多步骤的任务。
| 上下文长度(Token数) | 最大输入(Token数) | 最大输出(Token数) | 输入成本(每千Token) | 输出成本(每千Token) |
|---|---|---|---|---|
| 8k | 6k | 2k | 0.04元 | 0.12元 |
1.3.2.qwen-plus
能力均衡,推理效果和速度介于通义千问-Max和通义千问-Turbo之间,适合中等复杂任务。
| 上下文长度(Token数) | 最大输入(Token数) | 最大输出(Token数) | 输入成本(每千Token) | 输出成本(每千Token) |
|---|---|---|---|---|
| 32k | 30k | 8k | 0.004元 | 0.012元 |
1.3.3.qwen-turbo
通义千问系列速度最快、成本很低的模型,适合简单任务。
| 上下文长度(Token数) | 最大输入(Token数) | 最大输出(Token数) | 输入成本(每千Token) | 输出成本(每千Token) |
|---|---|---|---|---|
| 8k | 6k | 1.5k | 0.002元 | 0.006元 |
每个模型还有一些小模型
对于中文文本来说,千问模型的1个token平均对应1.5-1.8个汉字;
对于英文文本来说,1个token通常对应一个单词或词根。
2.基础说明
2.1.基础案例
创建springboot 项目导入 spring web 依赖
2.1.1.maven导入依赖
<!-- https://mvnrepository.com/artifact/com.alibaba/dashscope-sdk-java -->
<dependency><groupId>com.alibaba</groupId><artifactId>dashscope-sdk-java</artifactId><version>2.16.2</version>
</dependency>
2.1.2.调用代码
创建 controller 类
import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.utils.Constants;
import com.alibaba.dashscope.utils.JsonUtils;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;import java.util.Arrays;@RestController
@RequestMapping("/tongyi")
public class CallBaseController {@Value("${tongyi.api-key}")private String apiKey;@RequestMapping("/call/base")public String callBase(@RequestParam(value = "message", required = false, defaultValue = "中国的首都是哪里?") String message) throws NoApiKeyException, InputRequiredException {GenerationResult result = callWithMessage(message);System.out.println(JsonUtils.toJson(result));return result.getOutput().getChoices().get(0).getMessage().getContent();}public GenerationResult callWithMessage(String message) throws ApiException, NoApiKeyException, InputRequiredException {// 设置API密钥Constants.apiKey = apiKey;// 初始化生成对象Generation gen = new Generation();// 构建[ 系统 ]消息,说明AI助手的角色定位Message systemMsg = Message.builder().role(Role.SYSTEM.getValue()).content("你是一个乐于助人的AI助手.").build();// 构建[ 用户 ]消息,内容为用户的问题或指令Message userMsg = Message.builder().role(Role.USER.getValue()).content(message).build();// 构建生成参数对象,用于定制化生成请求GenerationParam param = GenerationParam.builder().model("qwen-turbo") // 选择使用的模型.messages(Arrays.asList(systemMsg, userMsg)) // 设置消息列表,包括系统消息和用户消息.resultFormat(GenerationParam.ResultFormat.MESSAGE) // 设置返回格式为消息格式.topK(50) // 设置Top-K参数,控制生成结果的多样性.temperature(0.8f) // 设置温度参数,控制生成结果的随机性.topP(0.8) // 设置Top-P参数,进一步控制生成结果的多样性.seed(1234) // 设置随机种子,以获得可复现的生成结果.build();// 调用生成对象的call方法,执行生成请求,并返回生成结果return gen.call(param);}
}
请求
GET http://localhost:8081/tongyi/call/base?message=你是谁?HTTP/1.1 200 我是阿里云开发的一款超大规模语言模型,我叫通义千问。作为一个AI助手,我的目标是帮助用户获得准确、有用的信息,解决他们的问题和困惑。无论是提供知识解答、创意建议,还是进行信息查询,我都致力于以最有效的方式提供帮助。
返回的结果
{"requestId": "fbd59659-bf46-9bf8-9c9b-58934190e57d","usage": {"input_tokens": 25,"output_tokens": 60,"total_tokens": 85},"output": {"choices": [{"finish_reason": "stop","message": {"role": "assistant","content": "我是阿里云开发的一款超大规模语言模型,我叫通义千问。作为一个AI助手,我的目标是帮助用户获得准确、有用的信息,解决他们的问题和困惑。无论是提供知识解答、创意建议,还是进行信息查询,我都致力于以最有效的方式提供帮助。"}}]}
}
2.2.多轮对话案例
多轮对话可以让大模型参考历史对话信息,更符合日常交流的场景。
实现多轮对话的关键在于维护一个存放历史对话信息的列表,并将更新后的列表作为大模型的输入,从而使大模型可以参考历史对话信息进行回复。
如果对话轮数较多,可能会超过大模型可以输入的token上限。需要控制输入大模型的token数量。
2.2.1.调用代码
import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.utils.Constants;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;import java.util.ArrayList;
import java.util.List;@RestController
@RequestMapping("/tongyi")
public class CallManyController {@Value("${tongyi.api-key}")private String apiKey;// 历史消息列表private List<Message> historyMessage =new ArrayList<>(List.of(createMessage(Role.SYSTEM, "你是一个乐于助人的AI助手. 可以按照使用者来设置身份, 你要记住这些设置!")));// 历史消息列表的最大长度private int maxLen = 10;@RequestMapping("/call/many")public String callMany(@RequestParam(value = "message", required = false, defaultValue = "中国的首都是哪里?") String message) throws NoApiKeyException, InputRequiredException {// 用户输入的文本是UserMessagehistoryMessage.add(createMessage(Role.USER, message));// 发给AI前对历史消息对列的长度进行检查if (historyMessage.size() > maxLen) {historyMessage = historyMessage.subList(historyMessage.size() - maxLen - 1, historyMessage.size());}System.out.println("模型输入:" + historyMessage);GenerationParam param = createGenerationParam(historyMessage);GenerationResult result = callGenerationWithMessages(param);System.out.println("模型输出:" + result.getOutput().getChoices().get(0).getMessage().getContent());historyMessage.add(result.getOutput().getChoices().get(0).getMessage());return result.getOutput().getChoices().get(0).getMessage().getContent();}public GenerationParam createGenerationParam(List<Message> messages) {return GenerationParam.builder().model("qwen-turbo").messages(messages).resultFormat(GenerationParam.ResultFormat.MESSAGE).topP(0.8).build();}public GenerationResult callGenerationWithMessages(GenerationParam param) throws ApiException, NoApiKeyException, InputRequiredException {// 设置API密钥Constants.apiKey = apiKey;Generation gen = new Generation();return gen.call(param);}private static Message createMessage(Role role, String content) {return Message.builder().role(role.getValue()).content(content).build();}}
2.2.2.测试
###
GET http://localhost:8081/tongyi/call/many?message=你现在的名字叫王小二###
GET http://localhost:8081/tongyi/call/many?message=你是一名大学生###
GET http://localhost:8081/tongyi/call/many?message=你的学习成绩很好, 也很乐意帮助别人###
GET http://localhost:8081/tongyi/call/many?message=现在介绍一下你自己, 你的名字, 你的身份, 你的性格
2.3.prompt
通过prompt方式调用时,输入与输出的数据格式比messages方式简单,更适合单轮问答等简单场景;在更复杂的场景中推荐您通过messages方式调用。
import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.aigc.generation.models.QwenParam;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.exception.ApiException;
import com.alibaba.dashscope.exception.InputRequiredException;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.alibaba.dashscope.utils.Constants;
import com.alibaba.dashscope.utils.JsonUtils;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;import java.util.Arrays;
import java.util.concurrent.Semaphore;@RestController
@RequestMapping("/tongyi")
public class CallPromptController {@Value("${tongyi.api-key}")private String apiKey;@RequestMapping("/call/prompt")public String callBase(@RequestParam(value = "message", required = false, defaultValue = "中国的首都是哪里?") String message) throws NoApiKeyException, InputRequiredException {try {GenerationResult result = qwenQuickStart(message);qwenQuickStartCallback(message);System.out.println(JsonUtils.toJson(result));return result.getOutput().getText();} catch (ApiException | NoApiKeyException | InputRequiredException| InterruptedException e) {System.out.println(String.format("Exception %s", e.getMessage()));}return null;}/*** 使用通义灵码快速开始生成文本*/public GenerationResult qwenQuickStart(String prompt) throws NoApiKeyException, ApiException, InputRequiredException {// 设置API密钥Constants.apiKey = apiKey;// 创建Generation实例,用于调用API生成文本Generation gen = new Generation();// 构建请求参数QwenParam param = QwenParam.builder().model(Generation.Models.QWEN_TURBO) // 设置使用的模型为Qwen Turbo.prompt(prompt) // 设置提示词.topP(0.8) // 设置采样参数topP,0.8表示在概率为0.8的范围内采样.build();// 调用API生成文本GenerationResult result = gen.call(param);// 打印生成结果的JSON格式System.out.println(JsonUtils.toJson(result));// 返回生成结果return result;}// 回调方式实现的轻量级快速开始示例// 该方法演示了如何通过回调实时处理请求// 参数:prompt - 生成文本的提示信息// 异常:NoApiKeyException - 未设置API密钥异常, ApiException - API调用异常, InputRequiredException - 必需输入缺失异常, InterruptedException - 线程中断异常public void qwenQuickStartCallback(String prompt) throws NoApiKeyException, ApiException, InputRequiredException, InterruptedException {// 设置API密钥Constants.apiKey = apiKey;// 创建生成实例Generation gen = new Generation();// 构建请求参数QwenParam param = QwenParam.builder().model(Generation.Models.QWEN_TURBO) // 指定模型.prompt(prompt) // 设置提示信息.topP(0.8) // 设置采样参数,这里表示top-p采样.build();// 使用信号量控制回调的完成Semaphore semaphore = new Semaphore(0);// 调用生成接口,并指定回调处理结果gen.call(param, new ResultCallback<GenerationResult>() {// 当生成结果时触发@Overridepublic void onEvent(GenerationResult message) {System.out.println(message);}// 当发生错误时触发@Overridepublic void onError(Exception ex) {System.out.println(ex.getMessage());semaphore.release(); // 释放信号量,允许线程继续执行}// 当生成完成时触发@Overridepublic void onComplete() {System.out.println("onComplete");semaphore.release(); // 释放信号量,允许线程继续执行}});// 等待回调完成semaphore.acquire();}
}
相关文章:
通义千问 ( 一 ) 基础实例
1.相关概念 1.1.模型与平台 1.1.1.通义千问 通义千问 : 是阿里云研发的大语言模型;用于理解和分析用户输入的自然语言,在不同领域和任务为用户提供服务和帮助。 具体应用场景如下: 文字创作:撰写故事、公文、邮件、剧本和诗歌…...
docker 修改数据目录
1.停止 Docker 服务 sudo systemctl stop docker sudo systemctl stop docker.socket2.复制数据目录 sudo cp -rp /var/lib/docker /data/ 或 # sudo rsync -aP /var/lib/docker/ /data/docker/3.修改 Docker 配置 编辑 Docker 的配置文件,设置新的数据目录&#…...
r4s软路由写入iStoreOS镜像
需要用到的工具: 1、r4s软路由 2、32G及以上的TF卡 3、TF卡读卡器 4、镜像写入软件(推荐Etcher,下载地址:https://github.com/balena-io/etcher/releases/download/v1.19.21/balenaEtcher-1.19.21.Setup.exe) 5、…...
[C++][opencv]基于opencv实现photoshop算法灰度化图像
测试环境】 vs2019 opencv4.8.0 【效果演示】 【核心实现代码】 BlackWhite.hpp #ifndef OPENCV2_PS_BLACKWHITE_HPP_ #define OPENCV2_PS_BLACKWHITE_HPP_#include "opencv2/core.hpp"namespace cv {class BlackWhite { public:float red; //红色的灰度系…...
Emacs23.x版本之重要特性及用法实例(一百五十六)
简介: CSDN博客专家,专注Android/Linux系统,分享多mic语音方案、音视频、编解码等技术,与大家一起成长! 新书发布:《Android系统多媒体进阶实战》🚀 优质专栏: Audio工程师进阶系列…...
机器学习 第11章-特征选择与稀疏学习
机器学习 第11章-特征选择与稀疏学习 11.1 子集搜索与评价 我们将属性称为“特征”(feature),对当前学习任务有用的属性称为“相关特征”(relevant feature)、没什么用的属性称为“无关特征”(irrelevant feature)。从给定的特征集合中选择出相关特征子集的过程&a…...
Grok 2携AI图片生成重生
埃隆马斯克(Elon Musk)的人工智能初创公司xAI推出其最新的AI助手Grok 2的测试版,添加了类似于OpenAI的DALL-E和Google的Gemini的图像生成工具,但对可以生成的图像类型的限制显然较少。<这是其中的一个“亮点”,一些…...
使用Nexus搭建Maven私服仓库
一、私服仓库简介 在Java的世界中,我们通常使用Maven的依赖体系来管理构件(artifact,又称为二方库或三方库)的依赖,Maven仓库用于存储这些构件。一般的远程仓库(比如Maven Central)只提供下载功…...
云计算day27
任务背景 公司的服务器越来越多, 维护⼀些简单的事情都会变得很繁琐。⽤ shell脚本来管理少量服务器效率还⾏, 服务器多了之后, shell脚本⽆ 法实现⾼效率运维。这种情况下,我们需要引⼊⾃动化运维⼯具, 对 多台服务器实现⾼效运维。 任务要求任务要求 通过管…...
关于HTTP HEAD介绍
一、HTTP HEAD介绍 HTTP HEAD 是一种 HTTP 请求方法,它用于请求服务器返回指定资源的元信息(metadata),而不包括响应体的内容。这种请求方式常用于客户端预先评估资源的大小、最后修改日期或其他头信息,而无需实际下载…...
WPF Mvvm
了解MVVM 什么是MVVM:一种设计模式 设计模式(Design pattern)代表了最佳的实践,通常被有经验的面向对象的软件开发人员所采用。设计模式是软件开发人员在软件开发过程中面临的一般问题的解决方案。这些解决方案是众多软件开发人…...
pnpm【实用教程】2024最新版
pnpm 简介 pnpm 全称 performant npm,即高性能的 npm,由 npm/yarn 衍生而来,解决了 npm/yarn 内部潜在的 bug,极大的优化了性能,扩展了使用场景,被誉为 最先进的包管理工具 安装 pnpm npm i -g pnpm使用 pn…...
C#的前沿技术有哪些?
C#作为.NET平台的核心语言,其前沿技术主要围绕.NET生态系统的扩展和更新展开。了解C#的前沿技术对于开发者来说至关重要,因为它们代表了该语言和平台的最新发展方向和趋势。目前,C#的前沿技术主要集中在以下几个方面: 1. NET 6: …...
Vue2移动端(H5项目)项目基于vant封装图片上传组件(支持批量上传、单个上传、回显、删除、预览、最大上传数等功能)---解决批量上传问题
一、最终效果 二、参数配置 1、代码示例: <t-uploadfileList"fileList":showFileList"showFileList"showFile"showFile":showFileUrl"showFileUrl"/>2、配置参数(TUpload Attributes)继承va…...
ELK整合实战,filebeat和logstash采集SpringBoot项目日志发送至ES
文章目录 ELK整合实战使用FileBeats将日志发送到Logstash配置Logstash接收FileBeat收集的数据并打印Logstash输出数据到Elasticsearch利用Logstash过滤器解析日志Grok插件Grok语法用法 输出到Elasticsearch指定索引 前文:FileBeats详解 前文:logstash详解…...
网络编程:OSI协议,TCP/IP协议,IP地址,UDP编程
目录 国际网络通信协议标准: 1.OSI协议: 2.TCP/IP协议模型: 应用层 : 传输层: 网络层: IPV4协议 IP地址 IP地址的划分: 公有地址 私有地址 MA…...
QtExa001自动包装流水线的框架设计vs2019QT
QtExa001自动包装流水线的框架设计 工程代码: https://download.csdn.net/download/txwtech/89636815https://download.csdn.net/download/txwtech/89636815 主界面: 设置:进行参数配置,保存ini文件 调试:tcp/ip&…...
SpringBoot拦截器的使用介绍
SpringBoot拦截器的使用介绍 本篇文章主要讲的是 SpringBoot 拦截器的使用介绍。 1、定义拦截器 拦截器:所谓拦截器,就是能够在进行某个操作之前拦截请求,如果请求符合条件就允许在往下执行。 定义拦截器的几种方式。 1.1 实现HandleInt…...
Spring Boot应用中的资源分离与高效打包实践
在电商网站项目中,前端资源通常包括HTML、CSS、JavaScript、图片、字体等静态文件,以及Thymeleaf或Freemarker等模板引擎渲染的页面。将这些资源从Spring Boot主应用中分离出来,不仅有利于前后端团队的并行开发,还能提高应用的加载…...
分析 avformat_open_input 数据读取过程
------------------------------------------------------------ author: hjjdebug date: 2024年 08月 13日 星期二 17:31:43 CST descriptor: 分析 avformat_open_input 数据读取过程 ------------------------------------------------------------ avformat_open_input 中读…...
多云管理“拦路虎”:深入解析网络互联、身份同步与成本可视化的技术复杂度
一、引言:多云环境的技术复杂性本质 企业采用多云策略已从技术选型升维至生存刚需。当业务系统分散部署在多个云平台时,基础设施的技术债呈现指数级积累。网络连接、身份认证、成本管理这三大核心挑战相互嵌套:跨云网络构建数据…...
Chapter03-Authentication vulnerabilities
文章目录 1. 身份验证简介1.1 What is authentication1.2 difference between authentication and authorization1.3 身份验证机制失效的原因1.4 身份验证机制失效的影响 2. 基于登录功能的漏洞2.1 密码爆破2.2 用户名枚举2.3 有缺陷的暴力破解防护2.3.1 如果用户登录尝试失败次…...
C++实现分布式网络通信框架RPC(3)--rpc调用端
目录 一、前言 二、UserServiceRpc_Stub 三、 CallMethod方法的重写 头文件 实现 四、rpc调用端的调用 实现 五、 google::protobuf::RpcController *controller 头文件 实现 六、总结 一、前言 在前边的文章中,我们已经大致实现了rpc服务端的各项功能代…...
TDengine 快速体验(Docker 镜像方式)
简介 TDengine 可以通过安装包、Docker 镜像 及云服务快速体验 TDengine 的功能,本节首先介绍如何通过 Docker 快速体验 TDengine,然后介绍如何在 Docker 环境下体验 TDengine 的写入和查询功能。如果你不熟悉 Docker,请使用 安装包的方式快…...
day52 ResNet18 CBAM
在深度学习的旅程中,我们不断探索如何提升模型的性能。今天,我将分享我在 ResNet18 模型中插入 CBAM(Convolutional Block Attention Module)模块,并采用分阶段微调策略的实践过程。通过这个过程,我不仅提升…...
服务器硬防的应用场景都有哪些?
服务器硬防是指一种通过硬件设备层面的安全措施来防御服务器系统受到网络攻击的方式,避免服务器受到各种恶意攻击和网络威胁,那么,服务器硬防通常都会应用在哪些场景当中呢? 硬防服务器中一般会配备入侵检测系统和预防系统&#x…...
【Oracle】分区表
个人主页:Guiat 归属专栏:Oracle 文章目录 1. 分区表基础概述1.1 分区表的概念与优势1.2 分区类型概览1.3 分区表的工作原理 2. 范围分区 (RANGE Partitioning)2.1 基础范围分区2.1.1 按日期范围分区2.1.2 按数值范围分区 2.2 间隔分区 (INTERVAL Partit…...
Caliper 负载(Workload)详细解析
Caliper 负载(Workload)详细解析 负载(Workload)是 Caliper 性能测试的核心部分,它定义了测试期间要执行的具体合约调用行为和交易模式。下面我将全面深入地讲解负载的各个方面。 一、负载模块基本结构 一个典型的负载模块(如 workload.js)包含以下基本结构: use strict;/…...
苹果AI眼镜:从“工具”到“社交姿态”的范式革命——重新定义AI交互入口的未来机会
在2025年的AI硬件浪潮中,苹果AI眼镜(Apple Glasses)正在引发一场关于“人机交互形态”的深度思考。它并非简单地替代AirPods或Apple Watch,而是开辟了一个全新的、日常可接受的AI入口。其核心价值不在于功能的堆叠,而在于如何通过形态设计打破社交壁垒,成为用户“全天佩戴…...
pikachu靶场通关笔记19 SQL注入02-字符型注入(GET)
目录 一、SQL注入 二、字符型SQL注入 三、字符型注入与数字型注入 四、源码分析 五、渗透实战 1、渗透准备 2、SQL注入探测 (1)输入单引号 (2)万能注入语句 3、获取回显列orderby 4、获取数据库名database 5、获取表名…...
