Vellium：基于Electron与RAG的本地AI创作工作台架构解析

1. 项目概述Vellium一个全能的本地AI创作与对话工作台如果你和我一样既沉迷于与AI进行深度角色扮演对话又需要它协助进行严肃的写作、整理知识库并且对数据隐私和本地化运行有执念那么你一定会对Vellium这个项目感兴趣。它不是一个简单的聊天客户端而是一个集成了AI对话、角色扮演、长篇写作、知识库管理和插件扩展的桌面级一体化工作台。简单来说它试图把你在网页端需要开五六个标签页才能完成的工作全部整合到一个高性能、可深度定制的本地应用里。Vellium的核心价值在于其“All-in-One”的设计哲学。它基于Electron构建这意味着你可以在macOS、Windows上获得近乎原生的应用体验。前端是现代化的React TypeScript Vite组合后端则是一个轻量级的Express API数据存储全部落在本地的SQLite数据库中。这种架构确保了应用的响应速度也意味着你的所有对话记录、写作草稿、知识库文件都牢牢掌握在自己手里无需担心云端服务的隐私政策变更或突然宕机。我最初被它吸引是因为厌倦了在不同工具间来回切换的割裂感。写小说时需要查角色设定得切到另一个笔记应用和AI角色对话时产生的灵感又很难系统化地沉淀到写作项目中。Vellium通过其“项目-章节-场景”的写作工作流、与聊天深度集成的“LoreBook”世界信息书系统以及统一的“知识集合”RAG功能完美地解决了这个问题。它让我能在一个界面内完成从构思、资料收集、角色对话到正式成文的完整创作闭环。2. 核心架构与技术栈深度解析2.1 为什么选择这样的技术栈Vellium的技术选型清晰地反映了其定位一个功能强大但追求轻量、高性能的本地桌面应用。我们逐一拆解Electron作为应用外壳这是桌面跨平台开发的事实标准。它允许开发者使用Web技术HTML, CSS, JavaScript来构建桌面应用。对于Vellium这样交互复杂、UI要求高的应用来说用Electron可以复用海量的Web生态资源如React组件库极大地加快了开发速度。同时Electron提供了访问本地文件系统、系统托盘、原生菜单等能力这是纯Web应用无法做到的。一个值得注意的细节是项目使用electron-builder进行打包并提供了针对macOS和Windows的一键构建脚本这对希望分发应用的开发者非常友好。React TypeScript Vite构成前端铁三角React用于构建复杂、动态的用户界面。Vellium的聊天界面、写作编辑器、插件面板都是高度交互式的组件React的组件化模型和状态管理虽然项目未明确提及但推测会使用Context或类似Zustand、Jotai的轻量级方案非常适合此类场景。TypeScript在这样一个大型、模块众多的项目中类型安全至关重要。TypeScript能在编译期捕获大量潜在错误例如API调用时的参数类型不匹配、组件属性传递错误等这对维护长期项目的稳定性有巨大帮助。从项目结构看前后端很可能共享一些类型定义。Vite作为新一代的前端构建工具其基于ES Module的快速冷启动和热更新HMR特性为开发体验带来了质的飞跃。在开发Vellium这种功能繁多的应用时快速的反馈循环能显著提升效率。Express SQLite构建本地服务层Express一个极简的Node.js Web框架。在Vellium中它并非对外服务而是作为本地后端API处理所有核心业务逻辑与AI提供商OpenAI, KoboldCpp等的通信、执行RAG检索、管理数据库操作、处理插件请求等。这种前后端分离的架构即使是在本地也使得关注点分离代码更易维护和测试。SQLite与better-sqlite3这是技术栈中最关键的一环。SQLite是一个服务器端为零的、自包含的SQL数据库引擎整个数据库就是一个文件完美契合本地应用的需求。better-sqlite3是一个Node.js驱动以其同步API和高性能著称。所有用户数据——聊天记录、角色卡、写作项目、知识库文档索引——都存储在这个单一的.db文件中便于备份和迁移。项目文档特别强调了better-sqlite3是原生模块需要与Node.js版本匹配如果遇到ERR_DLOPEN_FAILED错误运行npm run rebuild:native即可解决。Tailwind CSS负责样式这是一个实用优先的CSS框架。在Vellium中它确保了UI构建的速度和一致性。从截图看应用界面干净、现代支持深色/浅色主题并且通过插件系统可以扩展主题包如内置的Catppuccin主题套件这都得益于Tailwind的灵活性和可配置性。2.2 项目目录结构揭秘理解项目结构是参与开发或深度定制的基础。Vellium的目录组织得非常清晰vellium/ ├── src/ # React前端源代码 │ ├── components/ # 可复用的UI组件聊天气泡、编辑器、设置面板等 │ ├── pages/ # 页面级组件聊天页、写作工作室、设置页 │ ├── hooks/ # 自定义React Hooks │ ├── utils/ # 工具函数 │ └── types/ # TypeScript类型定义 ├── server/ # Express后端API │ ├── routes/ # API路由/api/chat, /api/writing, /api/rag等 │ ├── services/ # 核心业务逻辑层 │ ├── lib/ # 服务器端工具数据库客户端、AI提供商适配器 │ └── index.ts # 服务器入口点 ├── electron/ # Electron主进程代码 │ ├── main.js # 主进程脚本创建窗口、管理生命周期 │ ├── preload.js # 预加载脚本在渲染进程中暴露安全的Node.js API │ └── menu.js # 自定义应用菜单 ├── scripts/ # 构建和开发辅助脚本 │ ├── build-icons.js # 生成应用图标的脚本 │ └── setup-*.sh/.bat # 一键环境配置脚本 ├── docs/ # 项目文档 │ └── vellium/ # 用户使用指南 ├── data/ # 运行时数据开发环境 │ ├── plugins/ # 用户安装的插件 │ └── bundled-plugins/ # 应用内置的插件 ├── build/ # 构建资源图标等 └── release/ # 打包后的桌面应用输出目录这种结构将前端、后端、桌面层逻辑清晰地分开任何有经验的Web开发者都能快速上手。data/目录在开发时位于项目根目录而在打包后的应用中会映射到Electron的userData路径下例如macOS的~/Library/Application Support/vellium/data确保用户数据在应用更新时得以保留。3. 核心功能模块实战指南3.1 聊天与角色扮演系统这是Vellium最吸引人的功能之一它远不止一个简单的GPT对话界面。分支式聊天历史这是区别于线性对话的核心特性。你可以从任意一条历史消息处创建新的“分支”让对话走向不同的可能性。这在角色扮演中尤其有用比如你可以尝试角色对同一事件的不同反应或者在写作中探索不同的剧情分支。界面操作通常是通过消息旁的菜单实现“从此处分支”。多角色聊天与自动回合你可以同时添加多个AI角色到同一个聊天会话中。Vellium可以配置为自动轮流发言模拟出多个角色之间互动的场景对于构建复杂的对话场景或头脑风暴非常有效。你需要为每个角色精心设定其“人格”Persona和对话风格。RP控制面板这是深度玩家的控制中心。包含提示词堆栈可以分层设置系统提示词、场景提示词、角色提示词优先级自上而下让你精细控制AI的上下文。作者笔记一种仅对AI可见的全局注释用于提醒自己剧情走向或角色关系。场景状态以键值对形式记录当前场景的变量如“时间夜晚”、“地点城堡大厅”这些可以被提示词或LoreBook引用。预设与人格保存常用的提示词组合和角色人格模板方便快速切换。LoreBook / 世界信息这是构建沉浸式世界的关键。你可以创建条目定义特定的关键词如角色名、地点名、特殊物品及其关联的描述。当聊天内容中出现这些关键词时对应的描述会自动插入到上下文中通常放在系统提示词之后确保AI始终记得这些重要设定。Vellium支持导入/导出与SillyTavern兼容的World Info文件这意味着你可以从那个活跃的社区直接迁移丰富的设定库。推理支持与结构化输出Vellium支持think.../think格式的解析。这是一种让AI进行“链式思考”的常见技巧AI会在think.../think标签内进行内部推理然后在标签外输出最终回答。这能让回答更富有逻辑性。在Vellium中这部分内容可能会被折叠或高亮显示让对话界面更整洁。视觉与附件支持在聊天中上传图片VisionAI可以识别图片内容并进行对话。也支持上传文档作为附件结合RAG功能AI可以基于附件内容进行回答。实操心得在设置多角色聊天时为每个角色定义清晰的“发言顺序”和“触发条件”至关重要。单纯自动轮流发言容易导致对话混乱。我通常会结合“场景状态”来设置规则例如“当‘辩论主题’状态为‘进行中’时角色A和B交替发言当状态变为‘结束’时由角色C进行总结”。3.2 专业化写作工作室Vellium的写作模块是为长篇、结构化内容创作量身定制的。项目-章节-场景三级结构这模仿了专业写作软件如Scrivener的构思。你可以在“项目”层级管理整本书或系列在“章节”层级规划大纲在“场景”层级进行实际写作。这种结构让管理大型作品变得井然有序。AI辅助写作流程摘要与改写你可以选中一段文字让AI进行总结、扩写、润色或变换风格。Vellium可能提供了预设的工作流比如“将这段对话改写得更加戏剧化”。一致性工具这是写作的“救星”。工具可以扫描整个项目检查角色名称、地点描述等是否前后一致并给出修改建议。角色感知写作当你在写作模块中工作时可以绑定一个或多个聊天中定义的角色。AI在提供建议或进行续写时会模仿该角色的口吻和知识确保角色声音的统一。导入与导出支持导入DOCX文档方便从其他工具迁移。导出支持DOCX和Markdown满足了出版和网络发布的不同需求。写作侧RAG支持你可以在写作时随时查询已建立的知识库。比如在写一个医疗场景时可以快速检索医学知识库中的相关条目确保描写的专业性。3.3 知识库与RAG系统RAG是让AI回答更精准、更少“幻觉”的关键技术。Vellium的RAG系统设计得非常实用。知识集合你可以创建不同的知识集合比如“我的小说设定”、“编程API文档”、“个人笔记”。每个集合是独立的。摄取过程支持上传多种格式文档TXT, PDF, DOCX, MD等。系统会在后台进行以下操作文本提取与分块将文档内容按语义或固定长度分割成“块”。向量化使用配置的嵌入模型如OpenAI的text-embedding-3-small或本地运行的BGE模型将每个文本块转换为高维向量一组数字。存储索引将这些向量及其对应的原始文本存储到SQLite的特定表中并建立向量索引以便快速检索。检索与绑定当你在聊天或写作中发起查询时系统会将你的问题也转换为向量。在向量空间中计算问题向量与所有知识块向量的“距离”通常用余弦相似度找出最相似的几个知识块。将这些知识块作为上下文与你的原始问题一起发送给AI模型要求其基于此上下文回答。你可以在设置中配置使用哪个嵌入模型、检索返回前K个结果、是否使用重排序模型Reranker来进一步精排结果。混合检索基础这意味着系统可能不仅依赖向量相似度还结合了关键词匹配等传统搜索技术以提高检索的召回率和准确性。注意事项RAG的效果极度依赖于文本分块的质量和嵌入模型的选择。对于技术文档按章节或函数分块效果较好对于小说按场景或段落分块更合适。初次搭建时建议用小规模数据测试不同分块策略如重叠分块的效果。另外纯本地运行的嵌入模型如all-MiniLM-L6-v2速度可能较慢但隐私性最好使用云端API则速度快但需考虑成本。3.4 多模型提供商与端点适配Vellium没有将自己锁定在单一的AI服务上其设计是开放和模块化的。OpenAI兼容提供商这是主流。只要后端API遵循OpenAI的格式如ChatCompletions接口就可以直接配置。这包括OpenAI官方APIAzure OpenAI众多开源的本地模型服务如使用openai格式的Ollama、LM Studio、LocalAI等。KoboldCpp支持KoboldCpp是一个专注于运行大型语言模型的本地推理引擎特别适合在消费级GPU上运行Llama、Mistral等开源模型。Vellium对其有专门适配可以更好地利用其特性。自定义端点适配器这是插件系统的威力所在。对于既不兼容OpenAI也不兼容KoboldCpp的后端比如一些国内的云服务或特殊的本地模型开发者可以通过编写插件中的“自定义端点适配器”来桥接。这几乎让Vellium可以连接任何具有HTTP API的AI模型服务。分离的模型配置你可以为不同任务指定不同的模型实现性价比和效果的最优组合主聊天/写作模型使用能力强但可能较贵或较慢的大模型如GPT-4、Claude 3、本地70B模型。翻译/压缩模型使用轻量、快速的小模型处理这些辅助任务。TTS模型专门配置语音合成端点。RAG嵌入模型配置专用的嵌入模型。4. 插件系统与扩展开发实战Vellium的插件系统是其从“优秀应用”迈向“生态平台”的关键一步。它允许开发者深度定制和扩展应用功能。4.1 插件能力全景一个Vellium插件可以做到以下事情工具栏标签页在应用主工具栏添加一个新的标签页就像内置的“聊天”、“写作”、“知识”一样。你可以在这里构建一个专属的插件界面比如一个“绘画生成器”或“音乐播放器”。插槽部件在聊天界面、写作编辑器、设置页面等预留的“插槽”中嵌入小部件。例如在聊天输入框上方添加一个“快速表情包选择器”。动作在工具栏、消息右键菜单、写作编辑器菜单、输入框等处添加自定义按钮或菜单项触发插件功能。插件本地设置与存储插件拥有独立的设置页面和本地存储空间通过better-sqlite3可以保存用户配置和状态。权限控制插件需要声明其所需的权限如“读取当前聊天内容”、“写入文件系统”、“访问网络”用户可以在设置 - 插件中查看和管理这些权限这增强了安全性。插件主题插件可以提供全新的UI主题改变整个应用的外观。自定义检查器字段为角色卡、场景状态等对象添加自定义的编辑字段比如为角色添加一个“血型”下拉框。自定义端点适配器如前所述用于接入非标准AI后端。4.2 Pluginfile插件的便携包Pluginfile是Vellium设计的单文件插件包格式。它本质上是一个包含了插件所有代码、资源、元信息如名称、版本、权限声明的压缩包。安装插件用户只需在设置 - 插件 - 安装Pluginfile中选择一个.plugin文件Vellium就会将其解压到用户插件目录data/plugins/并注册。导出插件开发者或用户可以将一个已安装的插件包括自己开发的或修改过的内置插件导出为Pluginfile方便分享和分发。这避免了手动复制文件夹可能带来的路径或依赖问题。4.3 扩展API与开发入门Vellium为插件开发者提供了一套稳定的SDK核心是通过vellium.generate(...)等命名空间下的API来访问宿主应用的能力。这使得插件可以安全地调用主应用的AI生成功能。读写当前聊天、写作项目的数据在授权前提下。监听应用内的事件如消息发送、场景切换。注册自己的API端点供前端部件调用。开发环境准备确保你的Vellium开发环境npm run dev已正常运行。在data/plugins/目录下创建一个新的插件文件夹例如my-first-plugin。创建必要的元文件plugin.json声明插件信息、权限、main.js或index.ts插件主入口。一个简单的插件示例结构my-first-plugin/ ├── plugin.json ├── src/ │ ├── main.ts # 插件后端逻辑 │ └── components/ │ └── MyWidget.tsx # 插件前端React组件 ├── ui/ │ └── settings.html # 插件设置页面可选 └── README.mdplugin.json示例{ id: com.example.myplugin, name: 我的天气插件, version: 1.0.0, author: 你的名字, description: 在聊天中显示天气信息, permissions: [read:chat, api:external], slots: { chat.composer.above: { type: widget, component: MyWeatherWidget } } }开发与调试将插件文件夹放入data/plugins/。在Vellium的插件设置页面找到你的插件启用它并授予所需权限。修改插件代码后点击“重新加载插件”按钮无需重启整个应用。如果修改涉及SDK或运行时接口则需要重启npm run dev:electron。避坑指南插件开发中最常见的两个问题一是权限不足导致API调用失败务必在plugin.json中声明所有需要的权限二是前端组件与宿主应用的样式冲突建议使用Tailwind CSS并遵循宿主应用的CSS变量命名规范或者将组件样式严格限制在自定义类名下。另外插件应被视为“不可信代码”即使有权限系统也应避免安装来源不明的插件尤其是要求“写入文件系统”和“访问网络”权限的插件。5. 从开发到打包完整工作流详解5.1 开发环境搭建与日常开发对于想要贡献代码或进行二次开发的开发者以下是标准流程环境准备# 1. 确保安装Node.js LTS版本如18.x, 20.x和npm node --version npm --version # 2. 克隆项目 git clone vellium-repo-url cd vellium # 3. 安装依赖注意better-sqlite3是原生模块此步骤可能耗时 npm install # 4. 可选安装Python和Pillow用于图标生成 pip install pillow启动开发模式# 标准开发命令同时启动前端Vite开发服务器和后端Express服务器 npm run dev启动后打开浏览器访问http://localhost:1420即可。这是最高效的开发方式支持前端热重载。Electron开发测试# 当需要测试完整的桌面应用特性如系统托盘、原生菜单、文件对话框时 npm run dev:electron这个命令会执行完整的Electron启动流程包括构建入口点、等待服务健康检查最终启动Electron窗口。启动速度比纯Web模式慢但更接近最终用户环境。5.2 构建与打包桌面应用当你完成了功能开发需要分发给其他用户时就需要进行打包。生产环境构建# 首先构建前端React应用优化、压缩代码 npm run build # 同时构建后端服务器代码 npm run build:server这会在项目根目录生成dist/文件夹包含前端静态资源以及server-bundle.mjs等后端文件。桌面应用打包# 打包所有平台macOS, Windows npm run dist # 或单独打包 npm run dist:mac # 生成macOS的.dmg或.zip npm run dist:win # 生成Windows的.exe安装包或便携版打包输出位于release/目录。项目明确提示CI构建的包是未签名的。在macOS上用户首次打开时需要到“系统偏好设置 - 安全性与隐私”中手动允许。Windows也可能弹出SmartScreen警告。若要分发建议进行代码签名需要苹果开发者账号或微软EV证书。一键脚本项目提供了setup-and-run-dev.sh(macOS) 和setup-and-run-dev.bat(Windows) 脚本试图自动化安装Node.js和启动开发环境的过程对于新手或快速演示非常有用。5.3 持续集成与自动化发布项目通过GitHub Actions实现了自动化构建和发布。工作流文件.github/workflows/build-desktop.yml定义了以下步骤触发条件当代码推送到主分支或有新的v*标签如v1.0.0时触发。构建矩阵同时为macOSx64和arm64架构和Windowsx64创建构建任务。构建过程在每个任务中拉取代码、安装依赖、运行npm run dist。产物上传将生成的安装包作为工作流制品上传供测试下载。发布如果是标签推送则自动创建一个GitHub Release并将所有平台的构建包作为附件上传。这套流程确保了每次重要的版本更新都能自动生成所有平台的可用版本极大简化了维护者的发布工作。6. 高级配置、问题排查与性能调优6.1 数据存储与迁移理解数据存储位置对于备份和故障恢复至关重要。开发环境所有数据数据库、插件、设置都存储在项目根目录的data/文件夹下。直接备份这个文件夹即可。生产环境打包后数据存储在Electron的“用户数据目录”下的data/子文件夹中。路径因系统而异macOS:~/Library/Application Support/vellium/dataWindows:%APPDATA%/vellium/dataLinux:~/.config/vellium/data自定义数据目录可以通过环境变量SLV_DATA_DIR来覆盖默认的数据存储路径。这在想将数据放在特定硬盘或同步盘如Dropbox时非常有用。迁移数据如果你想从开发环境迁移到打包应用或者反之只需将对应的data/文件夹内容复制到目标位置即可。SQLite数据库文件是跨平台的。6.2 常见问题与解决方案速查表问题现象可能原因解决方案启动时报ERR_DLOPEN_FAILED或NODE_MODULE_VERSION错误better-sqlite3原生模块与当前Node.js版本不兼容。常见于切换Node版本后。运行npm run rebuild:native重新编译原生模块。如果不行删除node_modules和package-lock.json重新运行npm install。启动后端API时提示EADDRINUSE: address already in use :::3001端口3001被占用。可能是之前的开发进程未正常退出。在终端中查找并结束占用端口的进程macOS/Linux:lsof -nP -iTCP:3001 -sTCP:LISTEN然后kill -TERM PIDWindows:netstat -ano | findstr :3001然后使用任务管理器结束对应PID的进程。打包后的应用打开是空白窗口或启动极慢1. 未使用完整桌面构建命令。2. 服务器捆绑文件缺失。3. 防病毒软件干扰。1. 确保使用npm run dist而非npm run build。2. 检查release/目录下的应用包内是否包含server-bundle.mjs。3. 将应用添加到防病毒软件的白名单。插件安装后不显示或无法工作1. 插件未启用。2. 权限未授予。3. 插件代码有错误。4. 运行时环境变化。1. 前往设置 - 插件确保插件开关已打开。2. 在同一页面检查并授予插件所需权限。3. 点击“重新加载插件”按钮查看控制台是否有错误。4. 如果修改了插件SDK相关代码需要重启整个应用 (npm run dev:electron)。AI模型响应慢或无响应1. 网络问题针对API。2. 本地模型负载过重。3. 提示词过长导致上下文超载。1. 检查网络连接和API密钥有效性。2. 如果是本地模型如KoboldCpp检查GPU/CPU使用率和内存占用考虑降低并行请求数或模型量化等级。3. 在聊天设置中减少“上下文长度”或清理过长的聊天历史。使用“总结”功能压缩旧对话。RAG检索结果不准确1. 文本分块策略不佳。2. 嵌入模型不适合该领域。3. 检索返回数量K值设置不当。1. 尝试不同的分块大小和重叠量。对于技术文档分块可小一些对于连贯叙事分块可大一些。2. 尝试不同的嵌入模型。通用模型如OpenAI的通常不错但针对特定领域如代码、法律有专用模型效果更好。3. 适当增加K值如从5调到10并启用“重排序”模型如果有来精排Top结果。6.3 性能调优与最佳实践数据库优化SQLite在大多数场景下性能足够但频繁写入时如记录每一条聊天消息可能成为瓶颈。确保better-sqlite3以高性能模式运行通常默认就是。对于超大型知识库可以考虑定期执行PRAGMA optimize;命令或对常用查询字段建立索引。聊天历史管理与AI的长时间对话会导致上下文极长不仅拖慢响应速度也可能触及模型令牌限制。养成定期使用“总结”功能的习惯将早期对话总结成一段简练的描述然后清空或归档旧消息。Vellium的分支功能也鼓励你为不同的剧情线创建新分支而非一条道走到黑。本地模型资源配置如果你使用KoboldCpp运行本地大模型务必根据你的硬件调整参数。在GPU内存有限的情况下使用--gpulayers参数将部分层卸载到GPU其余留在CPU。使用量化模型如GGUF格式的Q4_K_M可以大幅减少内存占用和提升推理速度虽然会轻微损失质量。插件性能插件虽然强大但低质量的插件可能拖慢主应用。注意观察启用某个插件后应用是否变卡顿。插件应避免在渲染循环中进行重型计算或频繁的API调用。复杂的操作应放在插件的后端部分或使用Web Worker。Vellium代表了一种趋势将强大的云端AI能力与本地应用的隐私、性能和深度定制化相结合。它不是一个玩具而是一个面向严肃创作者和AI爱好者的生产力工具。从技术架构到功能设计都体现出了对用户工作流的深刻理解。无论是想搭建一个完全私密的AI写作伙伴还是希望有一个可无限扩展的AI交互实验平台Vellium都提供了一个坚实且充满可能性的起点。它的插件系统尤其令人兴奋为社区生态的发展埋下了种子。如果你不满足于现成的AI应用渴望拥有完全的控制权和扩展性那么投入时间学习和配置Vellium将会是一次非常值得的投资。