Typora风格技术文档创作：集成SenseVoice-Small实现语音速记

Typora风格技术文档创作集成SenseVoice-Small实现语音速记每次在Typora里敲代码、写文档是不是都有过这样的瞬间脑子里灵光一闪一段绝妙的思路或者一个关键的描述手速却跟不上。等你好不容易敲完几个字刚才那股子灵感劲儿可能已经跑了一半。或者当你需要整理会议纪要、口述技术要点时还得在编辑器和录音转文字软件之间来回切换繁琐又割裂。今天咱们就来解决这个痛点。我想跟你分享一个我自己在用的“偷懒”方案给Typora或者你喜欢的任何Markdown编辑器装上一个“语音速记”小助手。它的核心思路很简单在写作时按个快捷键开始说话后台的AI模型我们选用开源的SenseVoice-Small会默默地把你的语音转成文字然后自动插入到你正在编辑的文档里。整个过程无缝衔接真正做到“想到哪说到哪记到哪”。这不仅仅是省去了手动转录的麻烦更是改变了技术创作的流程。你可以用它来快速记录头脑风暴、口述代码注释、整理访谈内容甚至是在通勤路上用手机录音回家后一键生成文稿草稿。下面我就带你一步步看看怎么把这个想法变成你写作工具箱里一个趁手的工具。1. 场景与痛点技术写作中的“思维断点”技术创作无论是写项目文档、技术博客还是代码注释都是一个高度依赖连续思维的活动。然而传统的纯键盘输入方式常常会制造一些“思维断点”。想象一下这些场景灵感速记在调试代码时突然对某个模块的设计有了新想法。你停下敲键盘打开手机备忘录或另一个便签软件用语音或打字记下来再切回编辑器。思路可能已经受到了干扰。内容口述你需要撰写一份冗长的系统架构说明。对着屏幕打字速度远跟不上你组织语言的思维速度写得手腕酸痛效率低下。多源整理你刚参加完一个技术讨论会录音文件里充满了宝贵的观点。现在你需要先找工具转写再把文字复制到Typora中整理格式。这个过程至少切换三次上下文。无障碍输入长时间编码或写作导致手部疲劳或者你单纯就是更喜欢“说”而不是“打”。这些痛点的核心在于创作工具Typora和内容输入方式语音是割裂的。我们需要一个桥梁让语音输入能像键盘输入一样自然地流入我们的Markdown文档中。SenseVoice-Small作为一个轻量级、效果不错的开源语音识别模型正好可以成为这座桥梁的核心。2. 解决方案设计让语音“流”入文档我们的目标不是做一个功能庞杂的语音识别软件而是一个极致轻量、无缝集成的写作辅助插件。它的工作流应该像呼吸一样自然触发在Typora中通过一个自定义快捷键比如CtrlShiftSpace启动录音。转写系统录音并实时或稍后将音频数据发送给本地的SenseVoice-Small服务进行转写。插入转写完成的文本自动插入到当前文档的光标位置。控制提供简单的控制如结束录音、取消等。整个方案的设计可以非常灵活取决于你的技术偏好。这里我提供两种主流思路2.1 思路一Typora插件Node.js如果你的Typora是通过官方渠道安装的并且你熟悉Web技术开发一个真正的Typora插件是最集成的方案。Typora基于Electron允许通过自定义插件扩展功能。核心组件录音模块使用Web Audio API或navigator.mediaDevices.getUserMedia在浏览器环境中获取麦克风音频流。音频处理将音频流转换为WAV等格式可能需要进行分块用于“流式”识别或整体发送。本地服务调用通过HTTP请求将音频数据发送到本地运行的SenseVoice-Small推理API。文档操作利用Typora插件API将识别结果插入编辑器。优点体验最原生与Typora深度绑定。挑战需要熟悉Typora插件开发规范处理Electron环境下的权限和音频处理。2.2 思路二独立桌面脚本Python 全局快捷键这是一个更通用、更简单的方案。我们编写一个独立的桌面脚本它监听全局快捷键管理录音和识别然后模拟键盘输入将文本“键入”到任何获得焦点的窗口中包括Typora。这相当于一个系统级的语音输入工具。核心组件全局热键监听使用pynput或keyboard库监听CtrlShiftSpace。录音模块使用sounddevice或pyaudio库录制系统或麦克风音频。语音识别客户端将录制的音频文件发送给本地SenseVoice-Small服务。文本注入使用pyautogui或pynput模拟键盘输入将识别文本输出到当前活动窗口。优点开发简单不依赖特定编辑器任何能输入文字的地方都能用。缺点是系统级工具与编辑器的集成度不如原生插件。考虑到普适性和实现的便捷性我们将以思路二Python独立脚本为例进行详细的实现演示。这个方案即使你是Python新手跟着步骤也能搭建起来。3. 动手实现构建你的语音速记助手让我们开始搭建。首先你需要一个能运行的SenseVoice-Small服务。3.1 第一步部署SenseVoice-Small推理服务SenseVoice-Small是一个优秀的开源语音识别模型。你可以在自己的电脑上通过Docker快速拉起一个推理服务。确保你已安装Docker。# 拉取SenseVoice-Small的推理镜像这里以一个示例镜像为例请根据社区最新推荐镜像调整 docker pull registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.8.0-py38-torch2.1.2-tf2.14.0-1.11.0 # 运行容器并启动语音识别服务。这里假设镜像内已包含相关模型和启动脚本。 # 你需要将本地的某个端口如9000映射到容器内的服务端口如8000。 # 注意以下命令仅为示例实际镜像名称、模型路径和启动命令需参考官方文档。 docker run -itd \ --name sensevoice-service \ -p 9000:8000 \ -v /path/to/your/models:/models \ registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.8.0-py38-torch2.1.2-tf2.14.0-1.11.0 \ bash -c cd /workspace python app.py # 假设启动命令如此更简单的方式是如果你有现成的、支持API调用的语音识别服务如一些开源项目提供的HTTP接口也可以直接使用。关键是获得一个http://localhost:9000/asr这样的API端点它能接收音频文件并返回文本。3.2 第二步编写Python语音速记脚本接下来是核心脚本。我们将使用keyboard监听热键sounddevice录音requests调用APIpyautogui输入文本。首先安装必要的库pip install keyboard sounddevice requests pyautogui numpy然后创建脚本文件voice_notes.pyimport keyboard import sounddevice as sd import numpy as np import requests import json import tempfile import threading import time import pyautogui from queue import Queue import warnings warnings.filterwarnings(ignore) class VoiceNoteTaker: def __init__(self, api_urlhttp://localhost:9000/asr, sample_rate16000): self.api_url api_url self.sample_rate sample_rate self.is_recording False self.audio_queue Queue() self.recording_frames [] # 注册全局热键CtrlShiftSpace 开始/停止录音 keyboard.add_hotkey(ctrlshiftspace, self.toggle_recording) print(语音速记助手已启动。按下 CtrlShiftSpace 开始/停止录音。) print(请确保Typora或目标编辑器处于焦点状态。) def toggle_recording(self): 切换录音状态 if not self.is_recording: self.start_recording() else: self.stop_recording() def audio_callback(self, indata, frames, time, status): 录音回调函数将数据存入队列 if status: print(f录音错误: {status}) self.audio_queue.put(indata.copy()) def start_recording(self): 开始录音 self.is_recording True self.recording_frames [] print([录音中... 再次按下 CtrlShiftSpace 停止并转写]) # 在新线程中开始录音避免阻塞主线程 self.recording_thread threading.Thread(targetself._record_stream) self.recording_thread.start() def _record_stream(self): 实际的录音流处理 with sd.InputStream(callbackself.audio_callback, channels1, samplerateself.sample_rate, dtypeint16): while self.is_recording: # 从队列中获取音频数据块 while not self.audio_queue.empty(): data self.audio_queue.get() self.recording_frames.append(data) time.sleep(0.1) # 避免CPU空转 def stop_recording(self): 停止录音并发送识别请求 self.is_recording False if hasattr(self, recording_thread): self.recording_thread.join(timeout2) if not self.recording_frames: print(未录制到音频。) return print(录音结束正在转写...) # 合并音频数据 audio_data np.concatenate(self.recording_frames, axis0) # 在新线程中处理识别避免界面卡顿 threading.Thread(targetself._transcribe_and_insert, args(audio_data,), daemonTrue).start() def _transcribe_and_insert(self, audio_data): 调用API转写并插入文本 try: # 1. 将音频数据保存为临时WAV文件 import scipy.io.wavfile as wavfile with tempfile.NamedTemporaryFile(suffix.wav, deleteFalse) as tmpfile: wavfile.write(tmpfile.name, self.sample_rate, audio_data.astype(np.int16)) audio_file_path tmpfile.name # 2. 调用SenseVoice-Small API with open(audio_file_path, rb) as f: files {audio: f} # 根据你的API实际情况调整参数 data {model: sensevoice-small, language: zh} response requests.post(self.api_url, filesfiles, datadata, timeout30) if response.status_code 200: result response.json() # 假设API返回格式为 {text: 识别结果} transcribed_text result.get(text, ) if transcribed_text: print(f识别结果: {transcribed_text}) # 3. 将文本输入到当前活动窗口 self._type_text(transcribed_text) else: print(识别成功但返回文本为空。) else: print(fAPI请求失败: {response.status_code}, {response.text}) except Exception as e: print(f转写过程出错: {e}) finally: # 清理临时文件 import os if audio_file_path in locals(): os.unlink(audio_file_path) def _type_text(self, text): 使用pyautogui将文本输入到当前焦点窗口 try: # 在输入前加一个空格使其更自然也可以根据需求添加换行符等 text_to_type text pyautogui.write(text_to_type, interval0.02) # interval控制输入速度 print(文本已插入。) except Exception as e: print(f文本输入失败: {e}) def run(self): 主循环保持脚本运行 try: keyboard.wait(esc) # 按ESC键退出脚本 print(退出语音速记助手。) except KeyboardInterrupt: print(\n手动中断退出。) if __name__ __main__: # 初始化传入你的SenseVoice服务地址 assistant VoiceNoteTaker(api_urlhttp://localhost:9000/asr) assistant.run()3.3 第三步使用与优化运行脚本在终端中运行python voice_notes.py。开始速记打开你的Typora将光标放在想插入文字的地方。按下CtrlShiftSpace你会看到脚本提示“录音中...”此时开始说话。说完后再次按下CtrlShiftSpace。查看结果稍等片刻识别出的文字就会自动“打字”到你的Typora文档中。个性化调整修改热键在脚本的keyboard.add_hotkey处更改快捷键组合。调整输入格式在_type_text方法中你可以修改text_to_type。例如在文本后自动加两个换行text “\n\n”使其自成一段。流式识别体验上述脚本是“录音-停止-转写”模式。如果你想实现更即时的“边说边出字”的流式体验需要SenseVoice服务支持WebSocket或流式HTTP并修改录音和调用逻辑这会更复杂一些但体验也更好。错误处理与提示可以增加更完善的错误处理和桌面通知如使用plyer库。4. 实际应用与效果我把这个脚本集成到我的写作流程中已经有一段时间了它确实改变了我的一些工作习惯。代码注释口述在编写复杂函数时我会边看代码边按快捷键口述这段函数的功能、参数说明和注意事项。识别出的文字直接成为Markdown格式的注释稍作整理即可。会议纪要整理线上会议时我会在Typora里新建一个文档全程开启录音需要稍改脚本支持长录音。会议结束后一次性转写成文字草稿极大提升了整理效率。灵感捕捉读书或思考时突然的想法不再需要找手机或便签直接在电脑上打开一个Typora临时文件说一句记一句思路完全不被中断。初稿撰写对于技术文章的第一稿我会用语音快速口述文章结构和核心观点生成一个详细的要点列表然后再用键盘进行精细化的填充和修饰。SenseVoice-Small的识别准确率在安静环境下对中文普通话的支持相当不错足以满足技术术语不算过于生僻的口述需求。当然它并非完美偶尔会有误识别但对于生成一个需要后续编辑的草稿来说其价值远大于那一点点修正成本。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。