Node.js后端集成SenseVoice-Small：构建语音处理REST API

Node.js后端集成SenseVoice-Small构建语音处理REST API你是不是遇到过这样的场景前端应用需要语音转文字功能但直接在前端处理性能、隐私和格式支持都是问题。或者你有一个想法想快速搭建一个语音处理的微服务却不知道从何下手。今天我们就来聊聊如何用Node.js这个我们熟悉的后端利器快速搭建一个REST API服务专门用来处理语音转文字。我们会集成一个强大的语音识别模型——SenseVoice-Small它部署在星图GPU平台上能帮你轻松应对各种音频格式把语音变成结构化的文字数据。整个过程就像搭积木一样简单用Express.js搭个服务器架子写好接收音频文件的接口然后去调用星图平台上的模型API最后把识别结果整理好返回给前端。无论你是想做个智能会议记录工具、语音客服质检系统还是给App加个语音输入功能这套方案都能让你快速跑通原型。接下来我就手把手带你走一遍。1. 项目蓝图与环境准备在开始敲代码之前我们得先把“工地”清理好把需要的“工具”备齐。我们的目标是构建一个Node.js后端服务它就像个中转站接收前端发来的音频包裹转交给强大的SenseVoice-Small模型处理再把处理好的文字包裹寄回去。首先确保你的电脑上已经安装了Node.js。打开终端输入node -v和npm -v如果能显示出版本号比如v18.x.x和9.x.x那就说明环境没问题。如果还没安装可以去Node.js官网下载LTS版本安装过程就是一路点“下一步”非常简单。接下来我们创建一个新的项目目录并初始化它mkdir voice-api-server cd voice-api-server npm init -y这个npm init -y命令会快速生成一个package.json文件这是你项目的“身份证”和“购物清单”。然后我们需要安装几个核心的“工具包”npm install express multer axios dotenv cors我来简单说说这几个包是干嘛的expressNode.js里最流行的Web框架用来搭建我们的服务器和定义API路由的骨架。multer一个中间件专门处理multipart/form-data类型的数据简单说就是帮我们接收前端上传的音频文件。axios一个非常好用的HTTP客户端我们用它来向星图平台上的SenseVoice-Small模型API发送请求。dotenv用来管理环境变量。我们把API密钥、模型地址这些敏感或易变的信息放在.env文件里用这个包来读取这样更安全也更灵活。cors解决跨域问题的中间件。因为你的前端应用比如运行在localhost:3000和后端API比如运行在localhost:8080域名端口不同浏览器会阻止请求这个包能帮你搞定。安装完成后你的package.json的dependencies部分应该看起来类似这样dependencies: { axios: ^1.6.0, cors: ^2.8.5, dotenv: ^16.3.1, express: ^4.18.2, multer: ^1.4.5-lts.1 }工具备齐场地清空接下来我们就可以开始搭建服务器的核心结构了。2. 搭建Express服务器与API路由现在我们来搭建服务的核心骨架。在项目根目录下创建一个名为app.js的文件这将是我们的主服务器文件。首先引入我们刚才安装的那些工具包const express require(express); const multer require(multer); const axios require(axios); const cors require(cors); require(dotenv).config(); // 加载环境变量 const app express(); const port process.env.PORT || 8080; // 可以从环境变量读取端口默认8080接下来我们要解决跨域问题并让服务器能解析JSON格式的请求体虽然主要文件是表单上传但返回JSON和未来扩展可能需要// 使用CORS中间件允许前端跨域访问 app.use(cors()); // 解析JSON格式的请求体 app.use(express.json());然后我们配置multer来处理文件上传。这里我们做一个简单的内存存储适用于原型开发和小文件。对于生产环境你可能会考虑存储到磁盘或云存储。// 配置multer用于内存存储上传的文件 const upload multer({ storage: multer.memoryStorage(), // 将文件存储在Buffer中 limits: { fileSize: 50 * 1024 * 1024 // 限制文件大小为50MB根据模型要求调整 }, fileFilter: (req, file, cb) { // 可选在这里检查文件类型例如只允许音频文件 const allowedMimes [audio/mpeg, audio/wav, audio/m4a, audio/x-m4a, audio/mp4]; if (allowedMimes.includes(file.mimetype)) { cb(null, true); } else { cb(new Error(不支持的文件类型请上传音频文件如MP3, WAV, M4A), false); } } });关键部分来了定义我们的语音识别API路由。我们创建一个POST接口/api/transcribe它使用upload.single(audio)中间件来接收前端表单中字段名为audio的文件。// 定义语音转文字API端点 app.post(/api/transcribe, upload.single(audio), async (req, res) { try { // 1. 检查是否有文件上传 if (!req.file) { return res.status(400).json({ error: 请上传音频文件 }); } console.log(收到文件: ${req.file.originalname}, 大小: ${req.file.size} bytes); // 2. 准备调用SenseVoice-Small模型API // 注意这里的 API_URL 和 API_KEY 需要从环境变量获取 const apiUrl process.env.STAR_MAP_API_URL; // 星图平台模型API地址 const apiKey process.env.STAR_MAP_API_KEY; // 你的API密钥 if (!apiUrl || !apiKey) { return res.status(500).json({ error: 服务器配置错误缺少API信息 }); } // 3. 构建发送给模型API的请求数据 // 通常需要将音频文件Buffer转换为Base64或直接发送multipart/form-data // 这里假设模型API接受FormData格式包含文件和其他参数 const formData new FormData(); // 由于在Node.js环境我们使用axios配合特定的headers来模拟FormData const audioBuffer req.file.buffer; const audioBase64 audioBuffer.toString(base64); const requestData { audio: audioBase64, audio_format: req.file.mimetype.split(/)[1] || wav, // 传递格式信息 // 可以根据模型API文档添加其他参数如 language, task等 // task: transcribe, // language: zh, }; // 4. 调用星图平台上的SenseVoice-Small模型API const response await axios.post(apiUrl, requestData, { headers: { Authorization: Bearer ${apiKey}, Content-Type: application/json, }, timeout: 120000 // 设置超时时间为2分钟语音识别可能较耗时 }); // 5. 处理模型返回的结果 const transcriptionResult response.data; // 假设模型返回结构为 { text: 识别出的文字, segments: [...] } console.log(语音识别成功); // 6. 将结果返回给前端 res.json({ success: true, message: 语音识别完成, data: { originalName: req.file.originalname, text: transcriptionResult.text, // 如果有分段信息也一并返回 segments: transcriptionResult.segments || [], model: SenseVoice-Small } }); } catch (error) { console.error(语音识别处理失败:, error.message); // 判断错误来源给出更友好的提示 let errorMessage 语音识别服务暂时不可用; let statusCode 500; if (error.response) { // 请求已发出但服务器响应的状态码不在 2xx 范围内 statusCode error.response.status; errorMessage 模型API错误 (${statusCode}): ${error.response.data?.detail || error.response.statusText}; } else if (error.request) { // 请求已发出但没有收到响应 errorMessage 无法连接到语音识别服务请检查网络或服务配置; } else if (error.code ECONNABORTED) { errorMessage 请求超时音频文件可能过长或服务繁忙; } else if (error.message.includes(文件类型)) { statusCode 400; errorMessage error.message; } res.status(statusCode).json({ success: false, error: errorMessage }); } });最后让服务器监听指定的端口并输出一个启动日志// 启动服务器 app.listen(port, () { console.log(语音识别API服务已启动运行在 http://localhost:${port}); console.log(API端点: POST http://localhost:${port}/api/transcribe); });好了服务器的核心代码就写完了。但这里有个关键点process.env.STAR_MAP_API_URL和process.env.STAR_MAP_API_KEY是从哪来的呢这就需要我们配置环境变量了。3. 配置模型API与项目运行我们的服务需要知道去哪里调用模型以及用什么身份去调用。这些信息不适合硬编码在代码里所以我们用环境变量来管理。在项目根目录下创建一个名为.env的文件# .env 文件 PORT8080 STAR_MAP_API_URLhttps://your-star-map-instance.com/v1/audio/transcriptions STAR_MAP_API_KEYyour_actual_api_key_here重要提示STAR_MAP_API_URL这个地址需要替换为你实际部署的SenseVoice-Small模型在星图GPU平台上的API访问端点。你需要在星图平台的控制台找到你部署服务的访问地址。STAR_MAP_API_KEY这是你的API密钥用于身份验证。同样需要在星图平台中创建并获取。务必保管好这个密钥不要将它提交到代码仓库。.env文件应该被添加到.gitignore文件中。现在让我们创建一个.gitignore文件确保敏感信息和临时文件不会被上传# .gitignore node_modules/ .env *.log .DS_Store一切就绪是时候运行我们的服务了。在终端中确保你在项目根目录下然后运行node app.js如果一切正常你会看到语音识别API服务已启动运行在 http://localhost:8080 API端点: POST http://localhost:8080/api/transcribe恭喜你的语音识别REST API服务已经成功运行在本地了。但这还不够我们得验证它是否真的能工作。4. 测试与调用你的语音API服务跑起来了我们怎么知道它好不好用呢最简单的方法就是用工具模拟前端发个请求试试。这里我推荐使用Postman或curl命令行工具。使用Postman测试打开Postman创建一个新的POST请求。地址栏填写http://localhost:8080/api/transcribe在Body选项卡中选择form-data。添加一个key名字设为audio这个名称必须和代码中upload.single(audio)的参数一致类型选择File。在Value栏点击“Select Files”选择你电脑上的一个音频文件比如.mp3,.wav格式。点击“Send”按钮。如果成功你应该会收到一个JSON响应类似下面这样{ success: true, message: 语音识别完成, data: { originalName: my_audio.mp3, text: 你好世界。这是一个语音识别测试。, segments: [ { start: 0.0, end: 1.5, text: 你好世界。 }, { start: 1.6, end: 3.8, text: 这是一个语音识别测试。 } ], model: SenseVoice-Small } }使用curl命令测试如果你喜欢命令行可以这样测试curl -X POST http://localhost:8080/api/transcribe \ -F audio/path/to/your/audio/file.wav请将/path/to/your/audio/file.wav替换为你本地音频文件的实际路径。从前端JavaScript调用当然最终我们的API是要给前端用的。这里是一个使用原生fetchAPI进行调用的简单示例// 假设有一个文件输入框 input typefile idaudioFile const fileInput document.getElementById(audioFile); const audioFile fileInput.files[0]; const formData new FormData(); formData.append(audio, audioFile); // 字段名必须是 audio fetch(http://localhost:8080/api/transcribe, { method: POST, body: formData // 注意使用FormData时不要手动设置Content-Type浏览器会自动设置 }) .then(response response.json()) .then(data { if (data.success) { console.log(识别结果:, data.data.text); // 更新你的UI显示识别出的文字 document.getElementById(result).textContent data.data.text; } else { console.error(识别失败:, data.error); alert(识别失败: data.error); } }) .catch(error { console.error(请求出错:, error); alert(网络或服务器错误); });通过这几步测试你应该能完整地走通从上传音频到获取文字结果的整个流程。这证明你的后端API桥梁已经稳固地搭建起来了。5. 应用到实际场景与优化思路现在一个能工作的语音识别API原型已经有了。但要让它在真实项目中发挥作用我们还得考虑更多。比如你可能会用它来构建一个在线会议记录工具参会者上传录音后台自动转成文字并提炼要点。或者做一个语音客服质检系统将客服通话录音批量转写再分析服务质量和客户情绪。直接使用我们当前的代码可能还比较“简陋”。这里有几个方向可以让它变得更强大、更可靠文件存储与异步处理现在文件存在内存里大文件或高并发时会出问题。可以考虑用multer.diskStorage存到服务器本地或者更好的是直接上传到云存储如阿里云OSS、腾讯云COS后端只处理文件URL。对于长音频识别耗时可能超过HTTP超时时间可以引入消息队列如RabbitMQ、Redis采用“上传-返回任务ID-客户端轮询结果”的异步模式。API安全与限流现在的API是公开的。你需要添加身份验证如JWT Token确保只有授权用户能调用。同时用express-rate-limit这样的中间件对接口进行限流防止恶意请求拖垮服务或产生高额API调用费用。结果后处理与格式化SenseVoice-Small返回的可能是纯文本。你可以增加后处理模块比如用正则表达式添加标点符号优化断句或者将识别出的特定实体如时间、人名、产品名标注出来返回结构更丰富的数据。日志与监控在生产环境完善的日志使用winston或pino库和监控如Prometheus指标是必不可少的。记录每一次请求的耗时、状态、文件大小这样在出问题时能快速定位。容器化部署用Docker将你的Node.js应用和它的运行环境打包成一个镜像。这样无论是在你自己的服务器还是在云服务商的容器平台上部署都会变得极其简单和一致。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。