通义千问2.5-7B工具调用实战：Function Calling接入Agent

通义千问2.5-7B工具调用实战Function Calling接入Agent想不想让你的AI助手不仅能聊天还能帮你查天气、发邮件、甚至控制智能家居今天我们就来聊聊如何让通义千问2.5-7B-Instruct这个“全能型选手”学会使用工具也就是所谓的Function Calling并把它接入一个简单的Agent框架。你可能听说过ChatGPT的插件功能或者Claude的联网搜索。Function Calling就是类似的能力它让大模型从“空想家”变成“实干家”。模型不再只是生成一段文字而是能理解你的意图并告诉你“嘿你需要调用某个工具函数来完成这个任务参数我都帮你准备好了。”通义千问2.5-7B-Instruct在这方面做得相当不错。它支持标准的工具调用格式而且因为模型本身开源、可商用我们完全可以把它部署在自己的服务器上打造一个私有的、能干的AI助手。接下来我会手把手带你走一遍从环境准备到实际调用的完整流程。1. 环境准备与模型部署工欲善其事必先利其器。我们先来把模型跑起来。1.1 选择你的部署方式通义千问2.5-7B-Instruct非常友好支持多种部署框架。对于工具调用这种需要稳定、低延迟交互的场景我推荐使用vLLM或Ollama。vLLM性能怪兽吞吐量高特别适合需要同时服务多个请求的场景。如果你是团队使用或者想搭建一个API服务选它。Ollama简单易用一条命令就能跑起来本地开发调试的首选。我们今天就用它来演示。如果你的显卡是RTX 306012GB或以上可以直接跑原版模型。如果显存紧张可以用量化版比如4位量化的GGUF格式模型大小会降到4GB左右在3060上也能跑到每秒100个token以上完全够用。1.2 使用Ollama一键部署首先确保你安装了Ollama。然后打开终端运行下面这条命令ollama run qwen2.5:7b-instruct第一次运行会自动下载模型。下载完成后你会进入一个交互式对话界面。先别急我们测试一下基础对话能力输入你好请介绍一下你自己。如果模型能正常回复说明部署成功。要退出交互模式按CtrlD。我们真正需要的是它的API服务所以用下面这个命令在后台启动APIollama serve默认情况下Ollama的API服务会在http://localhost:11434运行。这样我们的模型“引擎”就准备就绪了。2. 理解Function Calling从聊天到行动在写代码之前我们得先搞明白Function Calling是怎么一回事。你可以把它想象成点外卖你提出需求“我想吃一份宫保鸡丁微辣送到XX小区。”AI理解并拆解AI听懂了你话里的关键信息菜品宫保鸡丁、口味微辣、地址XX小区。AI调用工具AI不会自己去炒菜但它知道要调用“外卖下单”这个工具函数并把刚才提取的参数填进去。工具执行并返回结果外卖平台接单、餐厅制作、骑手配送。AI总结回复“好的已为您下单宫保鸡丁微辣预计30分钟后送达。”在技术层面这个过程分为两步模型决定调用哪个函数你告诉模型有哪些函数可用比如get_weathersend_email以及每个函数需要什么参数。当你的问题匹配某个函数时模型会停止生成普通对话转而输出一个结构化的JSON对象里面包含了它想调用的函数名和具体的参数值。你的程序执行函数你的代码收到这个JSON后去真正执行对应的函数比如调用天气API拿到结果比如“北京晴25度”。模型整合结果回复你把函数执行的结果再塞回给模型模型会组织语言生成一个完整的、包含结果的回答给你。通义千问2.5-7B遵循主流的Function Calling格式和OpenAI的格式兼容这让我们接入起来非常方便。3. 实战构建一个天气查询Agent理论说再多不如动手试一次。我们来构建一个最简单的Agent它只有一个能力查天气。3.1 第一步定义工具函数首先我们创建一个Python文件比如叫weather_agent.py。我们先定义一个虚拟的天气查询函数。在实际应用中这里应该替换成调用真实天气API如和风天气、OpenWeatherMap的代码。# weather_agent.py import json import requests from typing import Dict, Any # 1. 定义我们可供模型调用的工具列表 # 这里我们只定义一个工具get_weather tools [ { type: function, function: { name: get_weather, description: 获取指定城市的当前天气情况, parameters: { type: object, properties: { location: { type: string, description: 城市名称例如北京、上海、New York }, unit: { type: string, enum: [celsius, fahrenheit], description: 温度单位摄氏度celsius或华氏度fahrenheit, default: celsius } }, required: [location] # 必须提供的参数 } } } ] # 2. 实现这个工具函数 # 这是一个模拟函数真实场景请接入API def get_weather(location: str, unit: str celsius) - Dict[str, Any]: 模拟获取天气的函数 print(f[系统] 正在查询 {location} 的天气单位{unit}...) # 这里模拟一个固定的返回实际应调用API weather_data { 北京: {condition: 晴朗, temperature: 25, humidity: 40%}, 上海: {condition: 多云, temperature: 28, humidity: 65%}, New York: {condition: 小雨, temperature: 18, humidity: 80%} } result weather_data.get(location, {condition: 未知, temperature: N/A, humidity: N/A}) # 处理温度单位转换简单模拟 if unit fahrenheit and result[temperature] ! N/A: result[temperature] result[temperature] * 9/5 32 result[unit] °F else: result[unit] °C return result关键点看这里description用清晰的语言告诉模型这个工具是干什么的。这很重要模型靠这个来决定是否调用它。parameters详细定义每个参数的名字、类型、描述。required字段指明哪些参数是必须的。enum对于像温度单位这种有固定选项的参数用enum列出所有可能值能大大提高模型提取的准确性。3.2 第二步与模型对话并处理工具调用接下来我们要写核心的对话逻辑。这里我们需要向Ollama的API发送请求。# weather_agent.py (续) def chat_with_ollama(messages: list, tools: list None) - dict: 发送请求到Ollama API url http://localhost:11434/api/chat payload { model: qwen2.5:7b-instruct, messages: messages, stream: False, # 我们不需要流式输出 options: { temperature: 0.1 # 低温度让输出更确定适合工具调用 } } # 如果有工具定义一起发送给模型 if tools: payload[tools] tools try: response requests.post(url, jsonpayload, timeout60) response.raise_for_status() return response.json() except requests.exceptions.RequestException as e: print(f[错误] 调用API失败: {e}) return None def run_agent_conversation(user_input: str): 运行一次完整的Agent对话 # 初始化对话历史 messages [ {role: system, content: 你是一个有帮助的助手可以查询天气。请根据用户需求决定是否需要调用工具。如果需要请严格按照提供的工具格式输出。}, {role: user, content: user_input} ] print(f\n[用户] {user_input}) # 第一轮将用户输入和工具定义发给模型 response chat_with_ollama(messages, tools) if not response: print([错误] 未收到模型响应) return assistant_message response.get(message, {}) messages.append(assistant_message) # 将模型的回复加入历史 # 检查模型是否想调用工具 tool_calls assistant_message.get(tool_calls) if tool_calls: print(f[助手] 我理解您想查询天气正在为您调用工具...) # 处理每一个工具调用理论上一次可以调用多个 for tool_call in tool_calls: func_name tool_call[function][name] func_args_json tool_call[function][arguments] try: func_args json.loads(func_args_json) except json.JSONDecodeError: print(f[错误] 解析工具参数失败: {func_args_json}) continue print(f[系统] 模型请求调用函数: {func_name}, 参数: {func_args}) # 根据函数名执行对应的函数 if func_name get_weather: # 执行我们之前定义的函数 result get_weather(**func_args) # 将函数执行结果以特定格式追加到对话历史中 # 这是关键一步告诉模型工具执行的结果 messages.append({ role: tool, content: json.dumps(result, ensure_asciiFalse), tool_call_id: tool_call.get(id, call_1) # 需要关联工具调用ID }) else: print(f[错误] 未知的函数调用: {func_name}) continue # 第二轮将工具执行结果发给模型让它生成最终回答 print([系统] 工具执行完毕正在请求模型生成最终回答...) final_response chat_with_ollama(messages) if final_response and final_response.get(message): final_content final_response[message].get(content, 未生成内容) print(f[助手] {final_content}) else: print([错误] 获取最终回答失败) else: # 模型没有调用工具直接输出回复 content assistant_message.get(content, 无内容) print(f[助手] {content}) # 主程序入口 if __name__ __main__: print( 通义千问2.5-7B 天气查询Agent ) print(已启动。你可以询问例如‘北京今天天气怎么样’ 或 ‘What‘s the weather in New York in Fahrenheit?’) print(输入 quit 或 退出 结束程序。\n) while True: try: user_input input(你: ).strip() if user_input.lower() in [quit, exit, 退出, q]: print(再见) break if user_input: run_agent_conversation(user_input) except KeyboardInterrupt: print(\n程序被中断。) break让我们运行一下看看效果。在终端执行python weather_agent.py然后尝试输入“北京天气如何”“我想知道纽约的天气用华氏度。”“上海今天湿度高吗”你会看到类似下面的输出[用户] 北京天气如何 [助手] 我理解您想查询天气正在为您调用工具... [系统] 模型请求调用函数: get_weather, 参数: {location: 北京, unit: celsius} [系统] 正在查询 北京 的天气单位celsius... [系统] 工具执行完毕正在请求模型生成最终回答... [助手] 根据查询结果北京当前的天气情况是晴朗温度25°C湿度40%。看一个能理解你意图、调用工具、并整合结果回复的AI助手就诞生了4. 进阶技巧与实用建议掌握了基础流程后我们可以让它变得更强大、更稳定。4.1 处理复杂场景与多轮对话上面的例子是单轮对话。现实中用户可能会追问。比如用户“北京天气怎么样”助手“北京晴朗25度。”用户“那上海呢”这就需要我们的程序能记住之前的对话历史。幸运的是我们已经在messages列表中维护了整个历史Ollama API会处理这些上下文。你只需要确保在每次循环中将新的用户输入和模型的回复正确追加到messages列表即可。4.2 增加更多工具一个真正的助手不应该只会查天气。我们可以轻松扩展工具列表。比如增加一个send_email函数tools.append({ type: function, function: { name: send_email, description: 发送电子邮件, parameters: { type: object, properties: { recipient: {type: string, description: 收件人邮箱地址}, subject: {type: string, description: 邮件主题}, body: {type: string, description: 邮件正文内容} }, required: [recipient, subject, body] } } })然后在run_agent_conversation函数里增加对这个新函数的判断和执行逻辑。模型会根据你的问题描述自动选择最合适的工具。4.3 提升工具调用的准确性有时候模型可能“犯懒”或者“误解”不调用工具而是直接编造一个答案。你可以试试下面这些方法优化系统提示词在system消息里更强烈地引导它。例如“你必须使用提供的工具来回答问题。如果用户的问题涉及天气、邮件等请优先调用对应工具不要自行猜测答案。”调整温度参数就像我们代码里设置的temperature: 0.1较低的温度会让模型的输出更确定、更可预测减少“胡编乱造”。提供更详细的工具描述把工具的描述写得更精准包括使用场景和限制。模型理解得越好调用得越准。4.4 错误处理与用户体验生产环境中的Agent需要更健壮网络重试调用模型API或外部工具API时增加重试机制。参数验证在执行工具函数前先验证模型提供的参数是否合法比如城市名是否存在。超时控制给API调用设置合理的超时时间避免用户长时间等待。友好报错当工具调用失败时让模型生成一个友好的错误提示而不是把代码异常直接抛给用户。5. 总结通过今天的实战我们完成了几件关键事部署了模型用Ollama轻松跑起了通义千问2.5-7B-Instruct。理解了核心机制Function Calling的本质是让模型从“思考者”转变为“调度者”它负责理解意图、提取参数我们负责执行具体动作。搭建了完整流程从定义工具、与模型交互、执行函数到整合回复我们实现了一个闭环的天气查询Agent。看到了扩展潜力这个框架可以很方便地添加新工具逐步升级为一个多功能的个人助理。通义千问2.5-7B-Instruct在工具调用上的表现让我们在本地部署一个实用、可控的AI Agent成为可能。它开源、可商用、性能均衡的特点非常适合开发者进行二次创作和业务集成。下一步你可以尝试接入真实的天气API、邮件发送API。为它添加日历管理、记事本查询、智能家居控制等功能。设计一个简单的Web界面让它从一个命令行程序变成一个真正的应用。AI Agent的世界大门已经打开而Function Calling就是那把钥匙。希望这篇教程能帮你顺利起步打造出第一个属于你自己的智能助手。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。