使用Nodejs和Taotoken构建一个多轮对话代理服务

告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度使用Node.js和Taotoken构建一个多轮对话代理服务为全栈或后端开发者设计一个场景利用Node.js环境下的openai包配置baseURL指向Taotoken结合异步编程实现一个具有上下文记忆的对话代理服务并讨论如何利用多模型聚合能力为不同对话类型选择合适模型。1. 场景与核心思路在实际的AI应用开发中一个常见的需求是构建一个能够处理多轮对话的代理服务。这个服务需要维护对话的上下文理解用户的连续意图并给出连贯的回应。直接调用大模型API时开发者需要自己管理会话状态、处理消息历史并考虑如何选择合适的模型来应对不同的对话场景。Taotoken平台通过提供统一的OpenAI兼容API简化了对接多个模型的过程。开发者无需为每个厂商单独处理认证、计费和API差异只需关注业务逻辑本身。本文将展示如何基于Node.js和openainpm包快速搭建一个具备上下文记忆的对话代理服务并探讨如何利用Taotoken的模型聚合能力根据对话内容动态选择模型。2. 项目初始化与基础配置首先创建一个新的Node.js项目并安装必要的依赖。核心依赖是OpenAI官方Node.js SDK它兼容Taotoken的API端点。mkdir dialogue-agent cd dialogue-agent npm init -y npm install openai接下来在项目根目录创建一个.env文件来管理敏感信息例如你的Taotoken API Key。确保将这个文件添加到.gitignore中。# .env TAOTOKEN_API_KEYyour_taotoken_api_key_here然后创建一个基础的配置文件或初始化模块。关键步骤是正确配置OpenAI客户端实例的baseURL将其指向Taotoken的OpenAI兼容端点。// config.js import OpenAI from openai; import dotenv from dotenv; dotenv.config(); if (!process.env.TAOTOKEN_API_KEY) { throw new Error(Missing TAOTOKEN_API_KEY environment variable.); } export const openaiClient new OpenAI({ apiKey: process.env.TAOTOKEN_API_KEY, baseURL: https://taotoken.net/api, // 使用Taotoken的OpenAI兼容端点 });请注意baseURL设置为https://taotoken.net/api。这是使用OpenAI SDK时的标准配置SDK会自动在内部拼接/v1/chat/completions等路径。这是与直接使用curl命令或某些其他工具配置的一个重要区别。3. 实现上下文记忆代理多轮对话的核心在于维护一个消息历史数组。每次用户发起新对话时我们将当前用户消息和历史消息一起发送给模型模型基于完整的上下文生成回复。然后我们将用户消息和助手回复都追加到历史中为下一轮对话做准备。下面是一个简单的DialogueAgent类实现// DialogueAgent.js import { openaiClient } from ./config.js; export class DialogueAgent { constructor(systemPrompt You are a helpful assistant.) { // 初始化消息历史以系统提示开始 this.messageHistory [ { role: system, content: systemPrompt } ]; this.currentModel claude-sonnet-4-6; // 默认模型可在Taotoken模型广场查看ID } // 设置本次对话使用的模型 setModel(modelId) { // 模型ID需与Taotoken平台模型广场中的标识一致 this.currentModel modelId; return this; } // 核心对话方法 async chat(userMessage) { // 1. 将用户消息加入历史 this.messageHistory.push({ role: user, content: userMessage }); try { // 2. 调用Taotoken API const completion await openaiClient.chat.completions.create({ model: this.currentModel, messages: this.messageHistory, temperature: 0.7, // 可根据需要添加其他参数如max_tokens }); const assistantReply completion.choices[0]?.message?.content; if (assistantReply) { // 3. 将助手回复加入历史 this.messageHistory.push({ role: assistant, content: assistantReply }); return assistantReply; } else { throw new Error(No response content from the model.); } } catch (error) { console.error(Chat completion error:, error); // 简单的错误处理可在此处加入重试或降级逻辑 throw error; } } // 清空对话历史开始新会话 clearHistory() { // 保留系统提示 this.messageHistory [this.messageHistory[0]]; } // 获取当前对话历史用于调试或持久化 getHistory() { return this.messageHistory.slice(1); // 排除系统提示 } }这个类封装了对话状态管理的基础逻辑。你可以通过new DialogueAgent()创建一个代理实例然后循环调用chat()方法进行多轮交互。setModel()方法允许你在单次会话中切换模型。4. 集成多模型选择策略Taotoken聚合了多家厂商的模型这为根据对话类型选择合适模型提供了便利。你无需为每个模型维护不同的API客户端和密钥只需在请求中更改model参数。我们可以扩展DialogueAgent使其具备简单的模型路由能力。一种策略是基于对话的初始内容或特定关键词来分派模型。例如编程相关的问题可能更适合擅长代码的模型而创意写作则可能选择另一类模型。// EnhancedDialogueAgent.js import { DialogueAgent } from ./DialogueAgent.js; export class EnhancedDialogueAgent extends DialogueAgent { constructor(systemPrompt) { super(systemPrompt); // 定义一个模型映射表键为路由关键词或类型值为Taotoken模型ID this.modelRouter { code: claude-sonnet-4-6, // 示例编程问题 creative: gpt-4o, // 示例创意写作 analysis: claude-haiku, // 示例逻辑分析 default: claude-sonnet-4-6 }; } // 根据用户消息内容自动选择模型 async chatWithRouting(userMessage) { const modelId this.routerSelectModel(userMessage); this.setModel(modelId); console.log([Router] Selected model: ${modelId} for query: ${userMessage.substring(0, 50)}...); return await this.chat(userMessage); } // 简单的基于关键词的路由逻辑 routerSelectModel(userMessage) { const lowerMsg userMessage.toLowerCase(); if (lowerMsg.includes(代码) || lowerMsg.includes(program) || lowerMsg.includes(function)) { return this.modelRouter.code; } else if (lowerMsg.includes(写诗) || lowerMsg.includes(故事) || lowerMsg.includes(creative)) { return this.modelRouter.creative; } else if (lowerMsg.includes(分析) || lowerMsg.includes(为什么) || lowerMsg.includes(analyze)) { return this.modelRouter.analysis; } return this.modelRouter.default; } // 更新路由表 updateRouter(newRouter) { this.modelRouter { ...this.modelRouter, ...newRouter }; } }在实际生产环境中模型选择策略可以更复杂例如基于历史对话的领域分类、基于不同模型的计费成本甚至是基于对多个模型响应的质量评估。关键在于由于Taotoken提供了统一的接口实现这些策略的代码可以保持简洁只需关注业务逻辑而不必处理底层API的差异。5. 构建服务与部署考量有了核心的代理类你可以将其集成到Web服务框架中例如Express.js以提供HTTP API。// server.js import express from express; import { EnhancedDialogueAgent } from ./EnhancedDialogueAgent.js; const app express(); app.use(express.json()); // 为每个会话或用户创建一个代理实例生产环境需用数据库或缓存持久化 const sessionAgents new Map(); app.post(/api/chat, async (req, res) { const { sessionId, message } req.body; if (!sessionId || !message) { return res.status(400).json({ error: Missing sessionId or message }); } let agent sessionAgents.get(sessionId); if (!agent) { // 为新会话创建代理可自定义系统提示 agent new EnhancedDialogueAgent(You are a helpful assistant. Please respond in Chinese.); sessionAgents.set(sessionId, agent); } try { const reply await agent.chatWithRouting(message); res.json({ reply, sessionId }); } catch (error) { console.error(Chat error for session ${sessionId}:, error); res.status(500).json({ error: Failed to get response from AI model }); } }); app.post(/api/chat/reset, (req, res) { const { sessionId } req.body; if (sessionId sessionAgents.has(sessionId)) { sessionAgents.get(sessionId).clearHistory(); } res.json({ status: ok }); }); const PORT process.env.PORT || 3000; app.listen(PORT, () { console.log(Dialogue agent service running on port ${PORT}); });这个简单的Express服务提供了两个端点/api/chat用于对话/api/chat/reset用于清空某个会话的历史。在生产部署时你需要考虑以下几点会话存储上述示例使用内存Map重启服务会丢失状态。应替换为Redis等持久化存储。速率限制与鉴权为API端点添加身份验证和请求频率限制。错误处理与降级当某个模型调用失败时应有备用模型切换机制。上下文窗口管理模型有Token限制当对话历史过长时需要实现摘要或滑动窗口等策略来裁剪历史。可观测性记录每次调用的模型、Token消耗和响应时间便于后续分析和成本优化。Taotoken控制台提供了用量看板你也可以在服务内部添加更细粒度的日志。通过以上步骤你便拥有了一个可运行、可扩展的多轮对话代理服务。它利用Taotoken统一了模型接入层让你能更灵活地设计和实现上层的对话逻辑与模型调度策略。开发者可以将精力集中于提升对话体验和业务价值而无需在多个模型供应商的API之间疲于奔命。开始构建你的智能对话服务吧访问 Taotoken 获取API Key并查看可用的模型列表。 告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度