Phi-3-mini-128k-instruct结合MCP协议：扩展模型工具调用能力

Phi-3-mini-128k-instruct结合MCP协议扩展模型工具调用能力1. 引言当轻量模型遇上强大工具想象一下你有一个反应很快、知识储备也不错的小助手但它有个小缺点它知道的都是过去的事情没法帮你查今天的天气也没法告诉你最新的股票价格。这就是很多本地部署的轻量级大模型面临的现状——它们很聪明但被“困”在了训练数据截止的那个时间点。最近我在折腾Phi-3-mini-128k-instruct这个模型时就遇到了这个问题。这个模型真的很不错响应速度快对指令的理解也很到位但一涉及到需要实时信息或者需要操作外部系统的任务它就有点力不从心了。比如我问它“北京现在天气怎么样”它可能会根据训练数据里北京的气候特点给我一个笼统的回答而不是实时的温度和天气状况。后来我发现了Model Context Protocol也就是MCP协议。简单来说它就像给模型装上了一双“手”和“眼睛”让模型能够安全地去调用外部的工具、查询数据库、访问API。这不正好解决了Phi-3-mini的痛点吗所以这篇文章我就想跟你聊聊怎么把Phi-3-mini-128k-instruct和MCP协议结合起来把一个原本只能“纸上谈兵”的模型变成一个能查天气、看股价、甚至查询公司内部知识库的实用助手。整个过程其实没有想象中那么复杂但带来的能力提升却是实实在在的。2. 理解MCP模型与外部世界的安全桥梁在开始动手之前咱们先花点时间搞清楚MCP到底是什么以及它为什么能解决我们的问题。你可以把MCP想象成一个高度规范的“翻译官”和“保安”。它的核心工作有两部分第一它定义了一套标准化的沟通方式让像Phi-3-mini这样的模型能够用同一种“语言”去请求各种各样的外部服务无论是查天气的API还是公司内部的数据库。第二也是更重要的它建立了一套严格的安全管控机制。为什么安全这么重要举个例子如果你直接让模型去执行一段操作数据库的代码风险是很大的。模型可能会误解你的指令或者生成不安全的查询语句。MCP通过“工具Tools”这个概念来解决这个问题。外部能力比如“查询天气”、“搜索股票信息”都被封装成一个个定义好的工具。模型只能从这些预先定义好的工具列表里选择和使用而不能随意执行任意代码。每个工具都有明确的输入、输出格式和描述。比如一个“获取天气”的工具它的描述会是“根据城市名称查询当前天气情况”它需要的输入参数是“city: string”输出是包含温度、湿度、天气状况的JSON数据。模型在需要查询天气时就会按照这个格式去请求MCP服务器接收到请求后再去真正调用对应的天气API。这种设计带来了几个好处安全性模型的能力被严格限制在批准的工具范围内避免了越权操作。标准化无论后端是哪种技术栈Python、JavaScript、Go只要按照MCP的协议提供工具模型都能调用。可扩展性你可以随时增加新的工具比如接入一个新的数据分析API而无需修改模型本身。理解了MCP的角色我们就能明白接下来的任务就是两件事第一让Phi-3-mini模型学会在需要的时候“知道”去调用MCP提供的工具第二搭建一个MCP服务器把我们想要的能力天气、股票、知识库封装成工具并提供出来。3. 构建你的第一个MCP服务器从查询天气开始理论讲得差不多了咱们来点实际的。我认为最快建立信心的方式就是先实现一个最简单、但最能体现价值的功能让模型能查询实时天气。我们就从搭建一个提供天气查询工具的MCP服务器开始。这里我用Python来演示因为它生态丰富写起来也直观。首先你需要安装MCP的核心SDK。pip install mcp接下来我们创建一个简单的MCP服务器文件比如叫weather_mcp_server.py。# weather_mcp_server.py import asyncio from typing import Any from mcp.server import Server, NotificationOptions from mcp.server.models import InitializationOptions import mcp.server.stdio import aiohttp import json # 假设我们使用一个免费的天气API例如 openweathermap你需要自己申请一个API_KEY # 这里仅为示例请替换为你的真实API_KEY或使用其他天气服务 API_KEY YOUR_OPENWEATHERMAP_API_KEY BASE_URL http://api.openweathermap.org/data/2.5/weather async def get_current_weather(city: str) - str: 调用真实天气API获取数据 params { q: city, appid: API_KEY, units: metric, # 使用摄氏度 lang: zh_cn } try: async with aiohttp.ClientSession() as session: async with session.get(BASE_URL, paramsparams) as response: if response.status 200: data await response.json() weather_desc data[weather][0][description] temp data[main][temp] humidity data[main][humidity] return f{city}的当前天气{weather_desc}温度 {temp}°C湿度 {humidity}%。 else: return f无法获取{city}的天气信息请检查城市名称或稍后重试。 except Exception as e: return f查询天气时出错{str(e)} async def main(): # 创建一个MCP服务器实例 server Server(weather-tools-server) # 1. 定义工具获取天气 server.list_tools() async def handle_list_tools(): # 向客户端模型声明本服务器提供的工具列表 return [ { name: get_current_weather, description: 根据城市名称查询该城市的实时天气情况包括温度、湿度和天气状况。, inputSchema: { type: object, properties: { city: { type: string, description: 要查询天气的城市名称例如北京、上海、New York } }, required: [city] } } ] # 2. 实现工具调用逻辑 server.call_tool() async def handle_call_tool(name: str, arguments: dict | None) - list[dict[str, Any]]: if name get_current_weather: city arguments.get(city) if arguments else None if not city: return [{ type: text, text: 请提供要查询的城市名称。 }] # 调用真实的天气API result_text await get_current_weather(city) return [{ type: text, text: result_text }] # 如果收到未知工具调用请求 return [{ type: text, text: f未知工具{name} }] # 3. 通过标准输入输出与客户端通信这是MCP服务器常见的运行方式 async with mcp.server.stdio.stdio_server() as (read_stream, write_stream): await server.run( read_stream, write_stream, InitializationOptions( server_nameweather-server, server_version0.1.0, capabilitiesserver.get_capabilities( notification_optionsNotificationOptions(), experimental_capabilities{}, ), ), ) if __name__ __main__: asyncio.run(main())这个服务器做了三件事声明工具告诉连接的客户端也就是我们的Phi-3模型我这里有一个叫get_current_weather的工具可以用。描述工具详细说明了这个工具需要什么参数城市名以及它是干什么的。实现工具当模型调用这个工具时服务器会执行get_current_weather函数去调用真实的天气API然后把结果格式化成文本返回。现在你可以运行这个服务器了记得先填上你的天气API Key。它会在后台运行等待客户端连接。不过一个光有服务器的系统是没用的我们还需要一个能理解并调用这些工具的“大脑”那就是我们接下来要配置的Phi-3-mini模型。4. 配置Phi-3-mini让它学会“使用工具”有了提供工具的MCP服务器下一步就是让Phi-3-mini模型能够发现这些工具并在合适的时机使用它们。这通常需要一个“客户端”来充当模型和MCP服务器之间的中介。这个客户端负责管理对话、调用模型、并将模型生成的工具调用请求转发给MCP服务器。这里我以使用Claude Desktop或Cursor IDE这类集成了MCP客户端能力的应用为例因为它们配置相对简单直观。当然你也可以用LangChain、LlamaIndex等框架自己编写客户端逻辑。核心配置思路如下启动MCP服务器确保我们刚才写的weather_mcp_server.py在运行。在客户端配置中连接服务器你需要告诉客户端去哪里找这个MCP服务器。通常是通过一个配置文件来完成的。客户端的工作流程将用户的提问如“北京天气如何”和MCP服务器提供的工具列表一起构造成一个特殊的提示Prompt发送给Phi-3-mini模型。Phi-3-mini模型分析这个提示如果判断需要调用工具比如识别出用户想查询天气它会在回复中以特定的格式通常是JSON指明要调用哪个工具以及传入什么参数。客户端解析模型的回复提取出工具调用请求然后转发给对应的MCP服务器。MCP服务器执行工具调用天气API并将结果返回给客户端。客户端将工具执行的结果再次放入对话上下文发送给Phi-3-mini模型让模型基于这个结果生成最终面向用户的、自然语言的回答。这个过程听起来有点绕但关键在于提示Prompt工程。我们需要在给模型的系统指令System Prompt或上下文里清晰地告诉它你现在可以调用哪些工具工具的名称和描述。调用工具的格式是什么。当你有足够信息直接回答时就正常回答当你需要外部信息时就按照格式要求请求调用工具。一个简化的提示词示例可能是这样的你是一个有帮助的AI助手并且可以调用外部工具来获取实时信息。 你可以使用的工具 - get_current_weather: 根据城市名称查询该城市的实时天气情况包括温度、湿度和天气状况。参数{city: 城市名} 请严格按以下规则响应 1. 如果用户问题需要查询实时天气你必须调用get_current_weather工具。 2. 调用工具时你的响应必须是纯JSON格式{tool: get_current_weather, arguments: {city: 北京}} 3. 收到工具返回的结果后请根据结果用自然语言回答用户。当Phi-3-mini接收到这样的指令和用户问题“上海下午会下雨吗”它就可能输出{tool: get_current_weather, arguments: {city: 上海}}客户端捕获到这个JSON就去调用MCP服务器拿到“上海小雨25°C湿度90%”的结果再交给模型。模型最后会生成“根据实时信息上海目前正在下小雨气温大约25摄氏度湿度比较高有90%。下午很可能继续有雨建议您出门带伞。”这样一个完整的“思考-调用-整合-回答”的闭环就完成了。通过精心的提示设计即使是Phi-3-mini这样的轻量模型也能很好地掌握工具调用的逻辑。5. 扩展能力接入股票信息与内部知识库实现了天气查询你已经掌握了MCP应用的核心模式。接下来我们可以轻松地扩展更多能力。思路都是一样的在MCP服务器上定义新工具然后在客户端的提示词里告诉模型这些新工具的存在。1. 添加股票查询工具在你的weather_mcp_server.py基础上增加一个新的工具函数和声明即可。# 在 weather_mcp_server.py 中新增 # 假设使用某个金融数据API例如 Alpha Vantage 或 Yahoo Finance STOCK_API_KEY YOUR_STOCK_API_KEY async def get_stock_price(symbol: str) - str: 调用股票API获取最新价格 # 这里以模拟数据为例实际需要接入真实API # async with aiohttp.ClientSession() as session: # async with session.get(fhttps://api.example.com/stock?symbol{symbol}apikey{STOCK_API_KEY}) as response: # data await response.json() # price data[price] # return f{symbol} 的最新股价为 {price} 美元。 # 模拟返回 await asyncio.sleep(0.5) # 模拟网络延迟 return f[模拟数据] {symbol} 的最新股价为 150.75 美元。 # 在 handle_list_tools 函数返回的列表中添加新工具 { name: get_stock_price, description: 根据股票代码例如AAPL, MSFT查询该股票的最新交易价格。, inputSchema: { type: object, properties: { symbol: { type: string, description: 股票代码例如AAPL苹果 MSFT微软 } }, required: [symbol] } } # 在 handle_call_tool 函数中添加对新工具调用的处理 elif name get_stock_price: symbol arguments.get(symbol) if arguments else None if not symbol: return [{type: text, text: 请提供股票代码。}] result_text await get_stock_price(symbol) return [{type: text, text: result_text}]2. 接入内部知识库以简单向量库为例对于公司内部文档、产品手册等知识我们可以构建一个本地的向量检索RAG系统并通过MCP暴露为一个“搜索内部知识”的工具。首先安装必要的库。pip install sentence-transformers chromadb然后在MCP服务器中添加知识库工具模块。# 在服务器文件中新增知识库相关代码 from sentence_transformers import SentenceTransformer import chromadb from chromadb.config import Settings # 初始化嵌入模型和向量数据库客户端 embed_model SentenceTransformer(all-MiniLM-L6-v2) # 轻量级嵌入模型 chroma_client chromadb.PersistentClient(path./chroma_db) collection chroma_client.get_or_create_collection(namecompany_knowledge) # 假设我们已经预先将公司文档切片、嵌入并存入了向量库 # 这部分预处理代码省略... async def search_internal_knowledge(query: str) - str: 在内部知识库中搜索相关信息 # 将查询语句转换为向量 query_embedding embed_model.encode(query).tolist() # 在向量库中搜索最相似的片段 results collection.query( query_embeddings[query_embedding], n_results3 ) if results[documents]: # 拼接检索到的相关知识片段 context \n\n.join(results[documents][0]) return f根据内部知识库找到以下相关信息\n{context} else: return 在内部知识库中未找到相关信息。 # 同样在 handle_list_tools 中添加这个工具 { name: search_internal_knowledge, description: 在公司内部知识库如产品文档、技术手册、流程规范中搜索与问题相关的信息。, inputSchema: { type: object, properties: { query: { type: string, description: 需要搜索的问题或关键词 } }, required: [query] } } # 在 handle_call_tool 中添加处理逻辑 elif name search_internal_knowledge: query arguments.get(query) if arguments else None if not query: return [{type: text, text: 请提供要搜索的问题或关键词。}] result_text await search_internal_knowledge(query) return [{type: text, text: result_text}]现在你的MCP服务器就具备了三种能力查天气、查股价、搜内部知识。别忘了更新你给Phi-3-mini模型的提示词把新增的两个工具及其描述加进去。这样当用户问“我们产品Q3的保修政策是什么”时模型就会自动调用search_internal_knowledge工具从向量库中找到相关段落再结合找到的信息生成回答。6. 总结与展望把Phi-3-mini-128k-instruct和MCP协议组合起来用了一段时间我感觉这个思路特别适合那些希望模型能力“够用就好”同时又对数据隐私和成本比较敏感的场景。Phi-3-mini本身体积小响应快部署成本低而MCP协议则像一套乐高积木的接口让你可以按需给它添加各种功能模块。整个过程下来最深的体会是“解耦”带来的灵活性。模型本身不需要知道天气API的细节也不需要理解公司知识库的结构它只需要学会在适当的时候按照约定好的格式去“请求”一个工具。所有复杂的、专业的、需要实时更新的逻辑都封装在MCP服务器背后。这意味着你可以独立地升级天气服务、更换股票数据源、或者更新知识库内容而完全不用动模型。当然这套方案也不是没有挑战。最主要的挑战在于提示工程和工具描述的准确性。你需要用清晰、无歧义的语言向模型描述每个工具是干什么的、什么时候用、参数怎么填。有时候模型可能会“误解”工具用途或者在不需要的时候错误调用工具这都需要通过反复调试提示词来优化。另外对于更复杂的多步骤任务比如“查一下北京天气如果下雨就推荐室内活动并查询相关场馆信息”可能需要模型进行多次工具调用和推理这对轻量级模型的规划能力是个考验。不过通过设计更精细的提示和任务分解很多场景也是可以应对的。未来随着MCP这类协议的生态越来越成熟可能会出现更多开箱即用的工具服务器覆盖从数据分析、代码执行到硬件控制等方方面面。到那时为你的Phi-3-mini这样的轻量模型组装一个强大的“工具腰带”可能会像今天安装一个软件插件一样简单。这种“小模型强工具”的路径或许能让AI应用在更多实际场景中轻量化落地发挥出更大的价值。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。