Qwen2在Java项目中如何实现优雅的Function_Call工具调用
在当今AI技术飞速发展的背景下,大语言模型如Qwen2和GLM-4凭借其强大的语言处理能力,在诸多领域展现出了巨大的潜力。然而,大模型并非全知全能,它们在处理特定任务时,尤其是在需要与外部系统交互或执行具体功能时,会遇到一定的局限性。这主要是因为大模型通常被设计为封闭的文本生成系统,缺乏直接调用外部工具或API的能力。这种局限性凸显了工具调用在实际应用中的必要性,它能够扩展模型的功能边界,使其能够在真实世界场景中执行更加复杂和具体的操作。
工具调用的必要性
尽管大模型在自然语言理解和生成上取得了显著进步,但它们往往受限于训练数据的内容,无法直接访问网络资源、执行代码或操作数据库等。这意味着在解决实际问题时,模型可能无法提供直接、即时且准确的解决方案,尤其是那些需要实时数据处理或特定功能执行的任务。因此,通过工具调用来增强大模型的功能,成为提升其实用性和灵活性的关键。
在此背景下,ChatGLM3以及最近的GLM-4原生就已经支持了工具调用,这就非常方便,通过直接与外部工具交互,减少了中间环节,提高了响应速度和效率。
tools = [{"name": "track","description": "追踪指定股票的实时价格","parameters": {"type": "object","properties": {"symbol": {"description": "需要追踪的股票代码"}},"required": ['symbol']}},{"name": "text-to-speech","description": "将文本转换为语音","parameters": {"type": "object","properties": {"text": {"description": "需要转换成语音的文本"},"voice": {"description": "要使用的语音类型(男声、女声等)"},"speed": {"description": "语音的速度(快、中等、慢等)"}},"required": ['text']}}
]
system_info = {"role": "system", "content": "Answer the following questions as best as you can. You have access to the following tools:", "tools": tools}
但是Qwen1.5以及Qwen2并不具备原生的工具调用功能,得借助于其Qwen-Agent框架或者langChain框架。那不借助Python框架,我就要使用Java实现该怎么做呢?
使用Java实现Qwen2工具调用
首先,我们需要自定义两个注解FunctionDef
和FunctionParam
@Inherited
@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.METHOD})
public @interface FunctionDef {/*** 函数名称* @return 函数名称*/String name() default "";/*** 函数描述* @return 函数描述*/String description();
}@Inherited
@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.PARAMETER})
public @interface FunctionParam {/*** 参数名称* @return 参数名称*/String name();/*** 参数描述* @return 参数描述*/String description();/*** 参数枚举* @return 参数枚举*/String[] enums() default {};/*** 是否必填* @return 必填*/boolean required() default false;
}
然后,我们可以根据自己的需求,创建几个工具插件。下面是我创建的一个查询天气的插件:
public class WeatherTool {/*** 查询天气* @param city 城市* @return 天气信息*/@FunctionDef(name = "getWeatherInfo", description = "get the weather info")public static String getWeatherInfo(@FunctionParam(name = "city", description = "the city name") String city) {if (city == null || city.isEmpty()) {throw new IllegalArgumentException("City name must not be null or empty");}OkHttpClient client = new OkHttpClient.Builder().connectTimeout(60, TimeUnit.SECONDS).writeTimeout(60, TimeUnit.SECONDS).readTimeout(60, TimeUnit.SECONDS).build();try {Map<String, String> headers = new HashMap<>(16);headers.put("Content-Type", "application/json");Request.Builder builder = new Request.Builder().url("https://query.asilu.com/weather/baidu/?city="+city);builder.headers(Headers.of(headers));builder.method("GET", null);Request request = builder.build();Response response = client.newCall(request).execute();if (response.isSuccessful()) {ResponseBody responseBody = response.body();JSONObject jsonObject = JSONObject.parseObject(responseBody.string());return jsonObject.toString();} else {throw new OpenAIChatException("Failed with status code %d. messages: %s", response.code(), response.message());}} catch (IOException e) {e.printStackTrace();return "Error encountered while fetching weather data!";}}
}
再然后,我们把所有的工具插件都交给大模型,让它判断要满足用户的提问,应该选择哪个工具插件:
public String getToolResult(String sessionId,String prompt, List<Function> baseTools){String class2Json = buildClass2Json(new BaseFunction());String finalPrompt = String.format("你是一个AI助手,我会给你一个工具对象集合,工具对象包括name(工具名)、description(工具描述)、clazz(工具类名)、parameters(工具参数)。" +"你可以结合工具对象,从用户的问句中提取到关键词,确定要实现用户的任务应该选择哪个工具对象和工具的参数。" +"【工具集合】:%s。" +"【用户提问】:%s?" +"您的响应结果必须为JSON格式,并且不要返回任何不必要的解释,只提供遵循此格式的符合RFC8259的JSON响应。以下是输出必须遵守的JSON Schema实例:```%s```",JSON.toJSONString(baseTools),prompt,class2Json);String funcParams = chat(sessionId,finalPrompt);funcParams = JSON.parseObject(funcParams, OpenAIChatResponse.class).getChoices().get(0).getMessage().getContent();funcParams = funcParams.substring(funcParams.indexOf("{"), funcParams.lastIndexOf("}")+1);return LoadFunctions.load(JSON.parseObject(funcParams, BaseFunction.class));}
确定哪个工具插件后,再使用LoadFunctions.load加载执行这个工具插件:
public static String load(BaseFunction baseFunction){String className = baseFunction.getClazz();String methodName = baseFunction.getFunctionName();Map<String,String> arg = baseFunction.getParams();List<String> params = new ArrayList<>();String result = "";try {// 加载类Class<?> clazz = Class.forName(className);//可以使用arg.size确定几个参数,我为了演示方便,这里就默认只有一个参数了//int size = arg.size();Method method = clazz.getMethod(methodName,String.class);Parameter[] parameters = method.getParameters();// 如果方法有参数,并且参数类型已知(例如只有一个String类型的参数)for (int i = 0; i < parameters.length; i++){params.add(arg.values().stream().skip(i).findFirst().orElse(null));}// 创建类的实例,如果CarBean有一个无参构造函数Object instance = clazz.newInstance();result = method.invoke(instance,params.toArray()).toString();} catch (ClassNotFoundException e) {LOG.error("类未找到: {}" , className);} catch (NoSuchMethodException e) {LOG.error("找不到方法: {}" , methodName);} catch (InstantiationException | IllegalAccessException | InvocationTargetException e) {LOG.error("无法调用方法: {}" , e.getMessage());}return result;}
最后,我们就可以拿到工具执行的结果,然后把工具执行结果直接给到大模型,让它组织语言回答用户提问就可以了
public Flux<String> streamChatWithTools(String sessionId, String prompt, List<Function> baseTools) {//获取工具结果String toolResult = getToolResult(null,prompt, baseTools);LOG.info("工具调用结果为:{}",toolResult);String promptFormat = String.format("基于工具查询的结果:{%s}。请回答:%s?", toolResult, prompt);return streamChat(sessionId, promptFormat);}
到这里,我们就完成了像Qwen2这种没有原生支持Function_call的大模型的工具调用的功能了。
改进优化
在最初的版本中,我们是把普通问答和工具调用的问答分开设计的,这样的设计虽然能实现各种不同的功能,但是对于用户并不友好,“我怎么知道什么时候该使用工具模式呢?”。
因此,我们打算将普通问答模式和工具调用问答模式进行合并。这样,用户只需要专注于自己的问题即可,不用在纠结该选择哪个模式。
首先,我们定义一个返回空字符串的工具插件:
/*** 返回一个空字符串* @return 归属地*/@FunctionDef(name = "getEmptyResult", description = "get a empty result")public static String getEmptyResult() {return "";}
然后,也需要修改一下大模型选择工具插件的提示词,“如果用户提问内容与除了getEmptyResult之外的其他所有的工具都不相关,就返回getEmptyResult”:
public String getToolResult(String sessionId,String prompt, List<Function> baseTools){String class2Json = buildClass2Json(new BaseFunction());String finalPrompt = String.format("你是一个AI助手,我会给你一个工具对象集合,工具对象包括name(工具名)、description(工具描述)、clazz(工具类名)、parameters(工具参数)。" +"你可以结合工具对象,从用户的问句中提取到关键词,确定要实现用户的任务应该选择哪个工具对象和工具的参数。" +"【工具集合】:%s。" +"【用户提问】:%s?" +"如果用户提问内容与除了getEmptyResult之外的其他所有的工具都不相关,则你需要响应getEmptyResult工具即可。"+"您的响应结果必须为JSON格式,并且不要返回任何不必要的解释,只提供遵循此格式的符合RFC8259的JSON响应。以下是输出必须遵守的JSON Schema实例:```%s```",JSON.toJSONString(baseTools),prompt,class2Json);String funcParams = chat(sessionId,finalPrompt);funcParams = JSON.parseObject(funcParams, OpenAIChatResponse.class).getChoices().get(0).getMessage().getContent();funcParams = funcParams.substring(funcParams.indexOf("{"), funcParams.lastIndexOf("}")+1);return LoadFunctions.load(JSON.parseObject(funcParams, BaseFunction.class));}
这样,如果我如果输入一个问题,如地球的直径是多少。大模型识别这个问题与所有的工具插件都不相关,它就返回一个空字符串,也就是不用基于查询的知识进行回答。
public Flux<String> streamChatWithTools(String sessionId, String prompt, List<Function> baseTools) {//获取工具结果String toolResult = getToolResult(null,prompt, baseTools);LOG.info("工具调用结果为:{}",toolResult);String promptFormat = StringUtils.isEmpty(toolResult) ? String.format("请回答:%s?", prompt):String.format("基于工具查询的结果:{%s}。请回答:%s?", toolResult, prompt);return streamChat(sessionId, promptFormat);}
这样,我们就实现了使用一个接口,同时处理用户的通识问答和需要进行工具调用的问答。
相关文章:

Qwen2在Java项目中如何实现优雅的Function_Call工具调用
在当今AI技术飞速发展的背景下,大语言模型如Qwen2和GLM-4凭借其强大的语言处理能力,在诸多领域展现出了巨大的潜力。然而,大模型并非全知全能,它们在处理特定任务时,尤其是在需要与外部系统交互或执行具体功能时&#…...

【SPIE独立出版 | 往届均已完成EI检索】2024云计算、性能计算与深度学习国际学术会议(CCPCDL 2024)
2024云计算、性能计算与深度学习国际学术会议(CCPCDL 2024) 2024 International conference on Cloud Computing, Performance Computing and Deep Learning *CCPCDL往届均已完成EI检索,最快会后4个半月完成! 一、重要信息 大会官网:www…...

MYSQL 四、mysql进阶 4(索引的数据结构)
一、为什么使用索引 以及 索引的优缺点 1.为什么使用索引 索引是存储引擎用于快速找到数据记录的一种数据结构,就好比一本教科书的目录部分,通过目录中找到对应文章的页码,便可快速定位到需要的文章。Mysql中也是一样的道理,进行数…...

360vr党建线上主题展立体化呈现企业的文化理念和品牌形象
在现代科技的引领下,艺术与VR虚拟现实技术相融合必将成为趋势,深圳VR公司华锐视点荣幸地推出VR艺术品虚拟展厅,为您带来前所未有的艺术观赏体验。体验者足不出户即可置身于一个充满创意与灵感的虚拟艺术空间。 我们深入了解每一位客户的需求与…...

docker通过容器id查看运行命令;Portainer监控管理docker容器
1、docker通过容器id查看运行命令 参考:https://blog.csdn.net/a772304419/article/details/138732138 docker inspect 运行镜像id“Cmd”: [ “–model”, “/qwen-7b”, “–port”, “10860”, “–max-model-len”, “4096”, “–trust-remote-code”, “–t…...

XMind 2024软件最新版下载及详细安装教程
人所共知的是XMind 在公司和教育领域都有很广泛的应用,在公司中它能够用来进行会议管理、项目管理、信息管理、计划和XMind 被认为是一种新一代演示软件的模式。也就是说XMind不仅能够绘制思维导图,还能够绘制鱼骨图、二维图、树形图、逻辑图、组织结构…...
代码随想录算法训练营第四十四天 | 322. 零钱兑换、279.完全平方数、139.单词拆分、多重背包理论基础、背包问题总结
322. 零钱兑换 题目链接:https://leetcode.cn/problems/coin-change/ 文档讲解:https://programmercarl.com/0322.%E9%9B%B6%E9%92%B1%E5%85%91%E6%8D%A2.html 视频讲解:https://www.bilibili.com/video/BV14K411R7yv/ 思路 确定dp数组以及下…...

开源AGV调度系统OpenTCS中的路由器(router)详解
OpenTCS中的任务分派器router详解 1. 引言2. 路由器(router)2.1 代价计算函数(Cost functions)2.2 2.1 Routing groups2.1 默认的停车位置选择2.2 可选停车位置属性2.3 默认的充电位置选择2.4 即时运输订单分配 3. 默认任务分派器的配置项4. 参考资料与源…...
关于下载 IDEA、WebStorm 的一些心得感想
背景 实习第一天的时候,睿哥便吩咐我下载一些软件,这些软件以后在写项目的时候会用到,他叫我先装IDEA,WebStorm,微信开发者工具,git,还有Navicat。 这些软件能够被我们正常使用,无非就通过三步…...

C#使用Scoket实现服务器和客户端互发信息
20240616 By wdhuag 目录 前言: 参考: 一、服务器端: 1、服务器端口绑定: 2、服务器关闭: 二、客户端: 1、客户端连接: 2、客户端断开: 三、通讯: 1、接收信…...
【经验分享】SpringCloud + MyBatis Plus 配置 MySQL,TDengine 双数据源
概述 因为项目中采集工厂中的设备码点的数据量比较大,需要集成TDengine时序数据库,所以需要设置双数据源 操作步骤 导入依赖 <!-- 多数据源支持 --><dependency><groupId>com.baomidou</groupId><artifactId>dynamic-datasource-spring-boot-s…...
Pycharm 忽略文件
安装 .ignore插件 规则示例 罗列一些常遇到.getignore忽略规则的使用示例: 1. 在已忽略文件夹中不忽略指定文件夹: /libs/* !/libs/extend/ 2. 在已忽略文件夹中不忽略指定文件 /libs/* !/libs/extend/fastjson.jar 3.只忽略libs目录…...

爬虫学习。。。。
爬虫的概念: 爬虫是一种自动化信息采集程序或脚本,用于从互联网上抓取信息。 它通过模拟浏览器请求站点的行为,获取资源后分析并提取有用数据,这些数据可以是HTML代码、JSON数据或二进制数据(如图片、视频)…...

美国铁路客运巨头Amtrak泄漏旅客数据,数据销毁 硬盘销毁 文件销毁
旅客的Guest Rewards常旅客积分账户的个人信息被大量窃取。 美国国家客运铁路公司(Amtrak)近日披露了一起数据泄露事件,旅客的Guest Rewards常旅客积分账户的个人信息被大量窃取。 根据Amtrak向马萨诸塞州提交的泄露通知,5月15日…...

LabVIEW与Matlab联合编程的途径及比较
LabVIEW和Matlab联合编程可以通过多种途径实现,包括调用Matlab脚本节点、使用LabVIEW MathScript RT模块、利用ActiveX和COM接口,以及通过文件读写实现数据交换。每种方法都有其独特的优势和适用场景。本文将详细比较这些方法,帮助开发者…...

秋招突击——6/16——复习{(单调队列优化DP)——最大子序和,背包模型——宠物小精灵收服问题}——新作{二叉树的后序遍历}
文章目录 引言复习(单调队列优化DP)——最大子序和单调队列的基本实现思路——求可移动窗口中的最值总结 背包模型——宠物小精灵收服问题思路分析参考思路分析 新作二叉树的后续遍历加指针调换 总结 引言 复习 (单调队列优化DP)…...

SAR动目标检测系列:【4】动目标二维速度估计
在三大类杂波抑制技术(ATI、DPCA和STAP)中,STAP技术利用杂波与动目标在二维空时谱的差异,以信噪比最优为准则,对地杂波抑制的同时有效保留动目标后向散射能量,有效提高运动目标的检测概率和动目标信号输出信杂比,提供理…...

JavaEE多线程(2)
文章目录 1..多线程的安全1.1出现多线程不安全的原因1.2解决多线程不安全的⽅法1.3三种典型死锁场景1.4如何避免死锁问题2.线程等待通知机制2.1等待通知的作用2.2等待通知的方法——wait2.3唤醒wait的方法——notify 1…多线程的安全 1.1出现多线程不安全的原因 线程在系统中…...

中新赛克两款数据安全产品成功获得“可信数安”评估测试证书
6月19日,2024数据智能大会在北京盛大召开。 会上,中国2024年上半年度“可信数安”评估测试证书正式颁发。中新赛克两款参评产品凭借过硬的技术水准和卓越的应用效果,成功获得专项测试证书。 2024年上半年度“可信数安”评估测试通过名单 中新…...

代码随想录——分割回文串(Leetcode 131)
题目链接 回溯 class Solution {List<List<String>> res new ArrayList<List<String>>();List<String> list new ArrayList<String>();public List<List<String>> partition(String s) {backtracking(s, 0);return res;}p…...

JavaSec-RCE
简介 RCE(Remote Code Execution),可以分为:命令注入(Command Injection)、代码注入(Code Injection) 代码注入 1.漏洞场景:Groovy代码注入 Groovy是一种基于JVM的动态语言,语法简洁,支持闭包、动态类型和Java互操作性,…...

K8S认证|CKS题库+答案| 11. AppArmor
目录 11. AppArmor 免费获取并激活 CKA_v1.31_模拟系统 题目 开始操作: 1)、切换集群 2)、切换节点 3)、切换到 apparmor 的目录 4)、执行 apparmor 策略模块 5)、修改 pod 文件 6)、…...
Admin.Net中的消息通信SignalR解释
定义集线器接口 IOnlineUserHub public interface IOnlineUserHub {/// 在线用户列表Task OnlineUserList(OnlineUserList context);/// 强制下线Task ForceOffline(object context);/// 发布站内消息Task PublicNotice(SysNotice context);/// 接收消息Task ReceiveMessage(…...
STM32+rt-thread判断是否联网
一、根据NETDEV_FLAG_INTERNET_UP位判断 static bool is_conncected(void) {struct netdev *dev RT_NULL;dev netdev_get_first_by_flags(NETDEV_FLAG_INTERNET_UP);if (dev RT_NULL){printf("wait netdev internet up...");return false;}else{printf("loc…...

如何将联系人从 iPhone 转移到 Android
从 iPhone 换到 Android 手机时,你可能需要保留重要的数据,例如通讯录。好在,将通讯录从 iPhone 转移到 Android 手机非常简单,你可以从本文中学习 6 种可靠的方法,确保随时保持连接,不错过任何信息。 第 1…...
【android bluetooth 框架分析 04】【bt-framework 层详解 1】【BluetoothProperties介绍】
1. BluetoothProperties介绍 libsysprop/srcs/android/sysprop/BluetoothProperties.sysprop BluetoothProperties.sysprop 是 Android AOSP 中的一种 系统属性定义文件(System Property Definition File),用于声明和管理 Bluetooth 模块相…...
根据万维钢·精英日课6的内容,使用AI(2025)可以参考以下方法:
根据万维钢精英日课6的内容,使用AI(2025)可以参考以下方法: 四个洞见 模型已经比人聪明:以ChatGPT o3为代表的AI非常强大,能运用高级理论解释道理、引用最新学术论文,生成对顶尖科学家都有用的…...
Mysql8 忘记密码重置,以及问题解决
1.使用免密登录 找到配置MySQL文件,我的文件路径是/etc/mysql/my.cnf,有的人的是/etc/mysql/mysql.cnf 在里最后加入 skip-grant-tables重启MySQL服务 service mysql restartShutting down MySQL… SUCCESS! Starting MySQL… SUCCESS! 重启成功 2.登…...

在Mathematica中实现Newton-Raphson迭代的收敛时间算法(一般三次多项式)
考察一般的三次多项式,以r为参数: p[z_, r_] : z^3 (r - 1) z - r; roots[r_] : z /. Solve[p[z, r] 0, z]; 此多项式的根为: 尽管看起来这个多项式是特殊的,其实一般的三次多项式都是可以通过线性变换化为这个形式…...

Razor编程中@Html的方法使用大全
文章目录 1. 基础HTML辅助方法1.1 Html.ActionLink()1.2 Html.RouteLink()1.3 Html.Display() / Html.DisplayFor()1.4 Html.Editor() / Html.EditorFor()1.5 Html.Label() / Html.LabelFor()1.6 Html.TextBox() / Html.TextBoxFor() 2. 表单相关辅助方法2.1 Html.BeginForm() …...