FunASR：几行代码搞定语音识别全流程的开源工具包，GitHub已获15.2k Star！

导读语音识别ASR是人工智能落地最广泛的方向之一但学术界的前沿模型与工业界的实际部署之间一直存在距离。阿里达摩院开源的FunASR正是为弥合这一差距而生。它提供基于大规模工业语料训练的预训练模型支持训练、微调和服务部署覆盖语音识别、语音活动检测、标点恢复、说话人分离、情感识别等任务。项目自 2023 年开源以来持续更新除自研的 Paraformer 系列外还集成了通义实验室的 Fun-ASR-Nano支持中文 7 种方言和 26 种地方口音、SenseVoice 等外部模型目前在 GitHub 上已获得 15.2k Star。本文将从项目定位、模型体系、使用方式和服务部署几个方面对 FunASR 做一个全面的介绍。一、FunASR 是什么图片来源于原论文FunASRFundamental ASR是一个基于 PyTorch 的端到端语音识别工具包由阿里达摩院语音实验室开发并开源。项目的核心目标有两个提供工业级预训练模型在 ModelScope 和 Hugging Face 上发布多个基于工业数据训练的模型涵盖语音识别、语音活动检测、标点恢复、情感识别等任务用户可以直接调用。打通训练到部署的全链路FunASR 不仅支持模型推理还提供从零训练的学术流水线和面向工业场景的微调脚本并提供 Docker 化的服务部署方案包括实时流式转录和离线文件转录直接对接生产环境需求。FunASR 的核心价值在于工具包能力——统一的AutoModel接口、灵活的模型组合、一键服务部署。它不仅提供自研模型Paraformer 系列还集成了来自其他团队的模型如通义实验室的 SenseVoice 和 Fun-ASR-Nano、OpenAI 的 Whisper、阿里云的 Qwen-Audio 等让开发者用几行代码就能完成从一段音频到一段带标点、带时间戳、带说话人标签的文字的全过程。二、核心模型一览FunASR 的模型库覆盖了语音处理的多个环节。需要说明的是FunASR 作为工具包既包含达摩院自研的模型也集成了其他团队的模型以下按来源分类列出达摩院自研模型图片来源于原论文模型名称语言参数量特点Paraformer-zh中文220M6 万小时中文数据训练支持时间戳非流式Paraformer-zh-streaming中文220MParaformer 的流式版本Paraformer-en英文220M5 万小时英文数据训练非流式Conformer-en英文220M5 万小时英文数据训练非流式Paraformer 是 FunASR 的自研核心模型发表于 INTERSPEECH 2022/2023。它是一个单步非自回归NAR模型相比自回归模型实现了 12 倍推理加速。在 AISHELL test 上 CER 为 1.95%。需要注意的是随着领域的快速发展Paraformer 在中文识别精度上已不是最新 SOTA如 FireRedASR 在 AISHELL-1 上 CER 已达 0.57%但 FunASR 的优势在于工具包层面的模型组合和部署能力。集成的外部模型模型名称来源语言参数量特点Fun-ASR-Nano通义实验室中/英/日800M数千万小时数据训练支持 7 种方言、26 种口音支持歌词与说唱识别SenseVoiceSmall通义实验室中/粤/英/日/韩234M40 万小时数据同时支持语种识别、情感识别、音频事件检测非自回归端到端架构处理 10 秒音频仅需 70msWhisper-large-v3OpenAI多语言1550M多语言语音识别带时间戳Whisper-large-v3-turboOpenAI多语言809M多语言语音识别带时间戳Qwen-Audio阿里云 Qwen 团队多语言8B音频-文本多模态预训练Qwen-Audio-Chat阿里云 Qwen 团队多语言8B音频-文本多模态对话这些模型由各自团队开发和维护FunASR 通过统一的AutoModel接口将它们集成在一起用户切换模型只需更改model参数。辅助任务模型模型名称任务参数量说明fsmn-vad语音活动检测0.4M检测音频中的有效语音段输出起止时间毫秒ct-punc标点恢复290M1 亿条样本训练为识别文本自动添加标点fsmn-kws关键词检测0.7M支持流式关键词检测fa-zh时间戳预测38M对已有文本进行精确时间对齐cam说话人验证/分离7.2M用于区分不同说话人emotion2veclarge情感识别300M4 万小时数据训练识别语音中的情感值得注意的是这些模型可以灵活组合使用。比如将 VAD Fun-ASR-Nano 标点恢复串联就可以实现长音频 → 分段识别 → 带标点文本的完整流水线。这种模型组合能力是 FunASR 作为工具包的核心优势。三、上手使用从几行代码开始安装FunASR 的安装非常简单要求 Python ≥ 3.8、PyTorch ≥ 1.13pip3 install -U funasrFunASR 提供了统一的AutoModel接口通过切换模型名称和组合不同模块即可完成各类语音任务。命令行调用最快捷的方式是直接用命令行一行命令即可完成 VAD 分段 语音识别 标点恢复funasr modelparaformer-zh vad_modelfsmn-vad punc_modelct-punc inputasr_example_zh.wav支持单个音频文件或 Kaldi 风格的 wav.scp 文件列表。Python API非流式Fun-ASR-Nano以下示例使用 Fun-ASR-Nano 模型配合 VAD 进行语音识别from funasr import AutoModel model AutoModel( modelFunAudioLLM/Fun-ASR-Nano-2512, vad_modelfsmn-vad, vad_kwargs{max_single_segment_time: 30000}, devicecuda:0, ) res model.generate(input[wav_path], cache{}, batch_size_s0) text res[0][text]Python API多能力识别SenseVoiceSmallSenseVoiceSmall 的调用方式类似通过languageauto自动检测语种use_itnTrue启用标点和反向文本规范化from funasr import AutoModel from funasr.utils.postprocess_utils import rich_transcription_postprocess model AutoModel( modeliic/SenseVoiceSmall, vad_modelfsmn-vad, vad_kwargs{max_single_segment_time: 30000}, devicecuda:0, ) res model.generate( inputf{model.model_path}/example/en.mp3, cache{}, languageauto, use_itnTrue, batch_size_s60, merge_vadTrue, merge_length_s15, ) text rich_transcription_postprocess(res[0][text])两个示例使用的都是 FunASR 统一的AutoModel接口切换模型只需更改model参数。主仓库 README 中还提供了流式识别、VAD、标点恢复、时间戳预测、情感识别等完整的代码示例详见项目仓库。四、服务部署面向生产环境FunASR 不只是一个研究工具它提供了面向生产的服务部署方案离线文件转录服务FFmpeg 音频格式处理时间戳生成热词模型动态批处理CPU 和 GPU 两种部署方式SenseVoiceSmall ONNX 模型支持实时流式转录服务支持边说边转的实时识别支持先出流式结果、再用离线模型修正的两阶段模式性能表现GPU 离线转录服务单线程 RTF 为0.0076多线程加速比1200CPU 上使用 ONNX Int8 量化 RTF 为 0.0446CER 无损失AMP 量化提升推理速度约 40%多平台与模型导出Windows SDKv2.0ARM64 平台 Docker 镜像ONNX 模型导出一行命令完成funasr-export modelparaformer quantizefalse devicecpu社区生态围绕 FunASR 的模型社区贡献了多种部署方案Triton GPU 部署sherpa-onnx支持 C/Python/Java 等 10 种编程语言覆盖 iOS/Android/Raspberry PiSenseVoice.cpp基于 GGML 的纯 C/C 实现支持 3/4/5/8 位量化SenseVoice FastAPI 服务部署支持 Python、C、Java、C# 等多种语言调用五、总结FunASR 适合谁FunASR 的定位介于纯学术框架和商业 API 之间它的价值在于开源、可控、可定制。具体来说需要私有化部署语音识别的团队不依赖第三方 API数据不出本地适合对数据安全有要求的场景。需要多任务组合的开发者VAD、ASR、标点、说话人分离、情感识别可以灵活串联通过统一的AutoModel接口构建定制化的语音处理流水线。需要实时转录的应用场景会议记录、直播字幕、客服质检等场景可以直接使用其流式和离线转录服务。需要在特定领域微调的团队FunASR 支持在预训练模型基础上进行微调适配垂直行业的专业词汇和口音。从 2023 年至今FunASR 保持着稳定的更新节奏从自研的 Paraformer 到集成通义实验室的 SenseVoice 和 Fun-ASR-Nano工具包的模型覆盖和部署能力持续扩展。相关仓库FunASR 主仓库https://github.com/modelscope/FunASRFun-ASR 模型仓库https://github.com/FunAudioLLM/Fun-ASRSenseVoice 模型仓库https://github.com/FunAudioLLM/SenseVoice论文Zhifu Gao, Zerui Li, Jiaming Wang, et al. FunASR: A Fundamental End-to-End Speech Recognition Toolkit. INTERSPEECH 2023.许可证代码采用 MIT License模型使用需遵守 Model License Agreement。