Screenpipe：本地AI记忆体，事件驱动与隐私优先的屏幕活动自动化

1. 项目概述为你的屏幕装上AI记忆如果你和我一样每天在电脑前处理海量信息从代码、文档到会议、网页那么“我上周三下午在哪个网页上看到过那个API文档”或者“昨天开会时客户提到的那个具体需求是什么”这类问题绝对会让你抓狂。我们的大脑不是为这种精确的、高密度的信息回溯而设计的。传统的解决方案比如手动截图、录屏或者依赖云服务的活动记录要么效率低下要么在隐私和成本上让人心存疑虑。这就是Screenpipe要解决的问题。它本质上是一个运行在你本地的、持续性的“数字记忆体”。它安静地在后台工作通过事件驱动的方式智能地捕捉你屏幕上的每一次有意义的变化比如窗口切换、内容滚动、输入暂停以及系统音频将所有信息——包括结构化的可访问性树文本、OCR识别的图像文字、语音转写的文字——全部存储在你自己的硬盘上。然后通过内置的AI能力你可以用自然语言像搜索自己的记忆一样搜索过去发生过的任何事情。更酷的是它不止于“记录”和“搜索”。通过其核心的“管道”系统你可以定义一些AI智能体让它们基于你的屏幕活动自动为你工作。比如每次你在特定项目管理工具中工作时自动更新任务状态或者自动将会议讨论要点整理成笔记。这一切都发生在本地你的数据从未离开你的机器真正实现了“AI为你所用”而非你为AI服务。2. 核心设计思路为什么是事件驱动与本地优先在深入技术细节前理解Screenpipe的设计哲学至关重要。这决定了它为何在性能、隐私和实用性上脱颖而出。2.1 事件驱动捕获 vs. 连续录屏传统录屏软件的工作方式是“笨拙”的每秒捕获N帧比如30帧无论屏幕内容是否变化。这带来了两个致命问题巨大的存储开销一天8小时工作以1080p分辨率、中等质量计算连续录屏可能产生数十GB的数据。对于需要长期保存记忆的用户来说这是不可持续的。高昂的CPU/GPU消耗持续编码视频流对系统资源是沉重的负担尤其影响需要高性能计算的任务。Screenpipe采用了截然不同的事件驱动模型。它监听操作系统级别的各种事件作为触发信号应用/窗口切换当你从浏览器切换到IDE这是一个关键上下文变化点。用户交互事件鼠标点击、键盘输入暂停比如停止打字超过1秒、滚动。剪贴板变化复制了新的内容。周期性空闲捕获当长时间没有上述事件时以一个较低的频率如每分钟捕获一次以防遗漏。只有当这些“有意义的事件”发生时Screenpipe才会捕获一帧屏幕截图并同时获取当前窗口的可访问性树。这种“按需捕获”的方式将存储消耗降低了1-2个数量级官方数据是约300MB/8小时 vs. 连续录屏的~2GB同时将CPU占用率维持在5-10%的低水平。2.2 本地优先与隐私边界“你的数据属于你”在AI时代几乎成了一句空洞的口号但Screenpipe将其作为架构基石。所有原始数据——截图、音频、文本——默认存储在你本地的一个SQLite数据库中。这意味着零网络传输在默认配置下没有任何数据会被发送到Screenpipe的服务器或任何第三方。完全掌控你可以随时导出、查看、或永久删除所有数据。数据库文件就躺在你的硬盘里。离线工作所有核心功能包括AI搜索如果使用本地模型和管道执行都可以在断网环境下运行。这种设计并非只是情怀它解决了企业级部署中的一个核心矛盾组织希望利用AI提升效率但无法承受敏感数据上云的风险。Screenpipe的团队版方案允许管理员集中配置捕获规则和AI管道权限但数据本身仍留在每个员工的设备上管理员只能控制“规则”而看不到“内容”在协作与隐私之间建立了清晰的边界。2.3 多模态信息融合不止是截图单纯的截图只是一张图片缺乏机器可读的语义。Screenpipe致力于构建一个丰富的、结构化的信息上下文首选可访问性树这是操作系统为辅助功能提供的API能直接获取屏幕上UI元素的层级结构、文本内容、角色按钮、输入框等。这种方式获取的文本100%准确且效率极高。备选OCR对于游戏、远程桌面或某些Linux应用等无法获取可访问性树的情况Screenpipe会启用OCRmacOS用Apple VisionWindows用原生OCRLinux用Tesseract从截图中提取文字。音频转录同时它利用本地运行的Whisper模型将系统声音和麦克风输入实时转写成文字并尝试区分不同说话者。元数据关联每一份数据都带有精确的时间戳、来源应用名称、窗口标题、浏览器URL等丰富元数据。最终一次“事件”捕获的结果是一个包含截图、纯文本、结构化文本、音频文本和丰富元数据的数据包。这为后续的精准搜索和AI理解奠定了坚实基础。3. 核心功能深度解析与实操要点理解了设计理念我们来看看Screenpipe具体能做什么以及在实际使用中需要注意什么。3.1 安装与初步配置选择适合你的方式Screenpipe提供了两种主要使用方式桌面应用和CLI。对于绝大多数用户我强烈推荐直接从官网下载桌面应用。桌面应用安装访问https://screenpi.pe/onboarding。选择对应操作系统macOS或Windows的安装包下载。安装过程与普通软件无异。安装完成后首次运行会引导你进行必要的权限授权屏幕录制、麦克风、辅助功能等。这是最关键的一步务必全部允许否则功能无法正常工作。授权后Screenpipe图标会出现在菜单栏macOS或系统托盘Windows开始安静地工作。注意在macOS上授予“辅助功能”权限后可能需要重启Screenpipe应用甚至重启电脑权限才会完全生效。如果发现无法捕获文字内容首先检查系统设置-隐私与安全性-辅助功能中Screenpipe是否已被勾选。CLI方式适合开发者如果你更喜欢命令行或者想在无头服务器上运行可以使用npm包npx screenpipelatest record这条命令会启动后台记录进程。CLI模式更适合集成到自动化脚本中。资源占用初体验安装完成后打开活动监视器macOS或任务管理器Windows你可以看到Screenpipe进程。在待机状态下CPU占用通常低于1%内存占用约500MB-1GB。当进行密集活动如快速切换窗口、频繁输入时CPU可能会短暂上升到5-10%这是正常的事件处理开销。存储方面你可以设置缓存目录并定期在设置中清理旧数据。3.2 AI搜索像对话一样找回记忆这是Screenpipe最直观的“哇塞”时刻。点击菜单栏图标打开搜索框或使用全局快捷键默认为CmdShiftSpace你可以直接输入自然语言进行查询。搜索示例与技巧模糊时间内容“昨天下午讨论的那个关于用户画像的PPT”精确应用内查找“在Figma里我改过登录按钮颜色的那个文件”跨模态联合搜索“提到‘Q3预算’的会议”这个查询会同时扫描所有OCR文本可能是文档、表格和音频转录文本可能是会议录音。使用过滤器在搜索界面你可以轻松按日期范围、应用类型、内容类型文本、音频进行筛选快速缩小范围。实操心得搜索的准确度高度依赖文本提取的质量。对于原生应用如Safari、Notes、IDE可访问性树能提供完美文本搜索效果极佳。对于某些自定义渲染复杂的应用如一些游戏化的管理工具可能依赖OCR准确率会略有下降。建议在重要会议或浏览关键文档时尽量使用文本渲染清晰的应用。3.3 管道让AI智能体基于你的活动自动工作“管道”是Screenpipe将被动记录变为主动生产力的核心功能。你可以把它理解为一个由你的屏幕活动触发的、本地运行的AI智能体工作流。每个管道就是一个Markdown文件放在~/.screenpipe/pipes/目录下。创建一个简单的管道假设你想让AI每天下午5点自动总结你当天在代码编辑器如VS Code和终端如iTerm中的活动并生成日报。在~/.screenpipe/pipes/目录下创建文件daily-dev-summary.md。编辑内容如下--- name: “每日开发总结” schedule: “0 17 * * *” # 每天下午5点运行Cron表达式 allow-apps: [“Visual Studio Code”, “Code”, “iTerm2”, “Terminal”, “Warp”] deny-windows: [“*personal*”, “*chat*”] # 排除可能包含个人或聊天内容的窗口 allow-content-types: [“ocr”, “accessibility”] # 只关注文本内容忽略音频 --- 请分析我今天在允许的应用中的屏幕活动。 总结 1. 我今天主要编写或修改了哪些代码文件或模块 2. 在终端中执行了哪些关键命令或遇到了什么错误 3. 基于我的活动推断我今天可能推进了哪个项目任务 请以简洁的要点形式输出并保存到文件 ~/Documents/daily_logs/{{YYYY-MM-DD}}.md 中。保存文件。Screenpipe会自动加载这个管道并在每天下午5点执行。执行时Screenpipe会调用你配置的AI模型默认可能是Claude Haiku或你设置的本地Ollama模型将过去24小时内在VS Code和终端中捕获的文本内容作为上下文提供给AI并执行你的提示词指令最后将结果写入指定文件。管道权限系统的精妙之处 注意上面YAML前导码中的allow-apps、deny-windows等字段。这不是对AI的“建议”而是操作系统级别的强制访问控制。这意味着即使你的提示词写得再复杂AI模型也根本不知道那些被deny-apps排除的应用的存在。数据过滤发生在AI调用之前从源头上杜绝了数据泄露的可能。这种确定性权限模型对于在企业中部署AI自动化至关重要它让管理员可以放心地部署管道而不用担心AI会“越权”访问敏感信息。3.4 与AI助手集成通过MCP赋予AI“视觉记忆”Model Context Protocol 是Anthropic推出的一种标准让AI助手可以安全地访问外部工具和数据源。Screenpipe内置了MCP服务器这使得它能够与支持MCP的AI助手无缝集成。配置Claude Desktop使用Screenpipe这是目前最流畅的体验。只需在终端执行一条命令claude mcp add screenpipe -- npx -y screenpipe-mcp然后重启Claude Desktop。完成后你就可以在Claude的对话中直接询问“我过去一小时在浏览器里看了哪些关于React的文章”“把今天上午Stand-up会议中提到的主要障碍总结一下。”“根据我最近在Figma上的活动我正在设计一个登录流程对吗”Claude会通过MCP协议向本地的Screenpipe服务器查询数据并将结果融入它的回答中。这相当于给了Claude一个关于你工作的“长期记忆”让它提供的帮助更具上下文连续性。与其他工具集成类似的你也可以在Cursor、Continue等AI编码助手中配置Screenpipe作为上下文源让它们在为你编写代码时能参考你刚刚看过的API文档或错误信息。4. 高级部署与团队应用场景对于个人用户上述功能已经足够强大。但对于想要在团队或整个组织中推广AI辅助工作的技术负责人来说Screenpipe提供了更专业的企业级方案。4.1 团队版核心价值可控的AI赋能Screenpipe Teams解决的核心问题是如何在保障数据隐私和安全的前提下让团队规模化地使用AI自动化集中配置管理管理员可以通过一个中央控制台统一推送捕获策略到所有成员的设备上。例如可以规定全公司统一不捕获财务软件、HR系统的窗口或者设置统一的空闲捕获时间间隔。共享管道库管理员可以创建和维护一套标准的AI管道如“自动生成客户会议纪要”、“将Jira评论同步到代码提交记录”、“每周项目进度自动汇总”并一键部署到整个团队。这确保了自动化流程的规范性和最佳实践共享。确定性的数据权限这是团队版的基石。每个共享管道都带有强制的YAML权限配置。例如一个用于“自动填写周报”的管道其配置可能只允许访问日历应用和项目管理工具而明确拒绝访问邮箱和即时通讯软件。如前所述这个权限在技能层、代理层和服务器中间件层三重强制绝非依赖AI的“自觉”。隐私边界管理员只能管理“规则”和“管道”而永远无法访问任何员工设备上的实际屏幕数据。数据始终留在本地。员工个人甚至可以添加更严格的规则比如额外屏蔽自己的个人邮箱但不能放宽管理员设置的规则。4.2 技术架构与数据流理解其技术架构有助于评估其稳定性和安全性采集层由各平台原生代码Rust实现直接挂钩系统事件API实现高效低耗的捕获。处理层捕获的原始数据截图、音频流被送入处理队列。文本优先从可访问性树提取失败则触发OCR音频通过本地Whisper模型转写。所有处理均在本地完成。存储层处理后的结构化数据文本、元数据存入SQLite数据库并建立FTS5全文搜索索引。媒体文件截图、音频以文件形式存储数据库记录其路径。服务层一个本地REST API服务器默认端口3030提供所有查询和操作接口。桌面UI和MCP服务器都作为该API的客户端。管道调度器一个独立的调度进程根据Cron表达式触发对应的管道执行调用配置的AI模型并执行定义的任务。整个数据流形成一个闭环所有环节均可审计因为是开源的且默认不涉及任何外部网络调用。4.3 自托管与开发集成对于有强烈自控需求的企业Screenpipe的MIT开源许可证允许你完全自行部署和修改。通过Docker部署服务端实验性 你可以将Screenpipe的数据处理和API服务部署在内网服务器上团队成员设备上的客户端将数据加密后同步到服务器。这需要一定的运维能力但提供了最高的控制权。利用开发者API构建自定义工作流 Screenpipe的本地API是功能完备的。你可以用任何编程语言调用它构建更复杂的集成。 例如一个Python脚本可以定期查询过去一周关于“错误”或“异常”的屏幕内容自动生成系统稳定性报告。import requests import json from datetime import datetime, timedelta def get_recent_errors(): end_time datetime.now() start_time end_time - timedelta(days7) params { ‘q’: ‘error exception bug crash’, ‘contentType’: ‘ocr’, ‘limit’: 50, ‘startTime’: start_time.isoformat(), ‘endTime’: end_time.isoformat(), ‘appName’: ‘Visual Studio Code’ # 只关注IDE中的错误 } response requests.get(‘http://localhost:3030/search’, paramsparams) if response.status_code 200: return response.json() return [] # 进一步分析结果发送到通知系统或生成报告 errors get_recent_errors()这种灵活性使得Screenpipe可以成为企业数字工作流中的一个核心“上下文提供者”。5. 常见问题、性能调优与避坑指南在实际使用Screenpipe数月后我积累了一些宝贵的经验和解决常见问题的技巧。5.1 性能与资源管理问题Screenpipe会让我的电脑变慢吗在绝大多数现代电脑2018年后的机型8GB以上内存上影响微乎其微。事件驱动架构是功臣。但如果你的工作流涉及大量、快速的视觉变化如高频动画、视频剪辑时间线快速拖动可能会观察到短暂的CPU峰值。调优建议调整捕获频率在设置中可以延长“空闲捕获间隔”和“事件去抖延迟”。这能进一步降低在极度活跃场景下的负载。应用过滤如果你确定某些应用如游戏、视频播放器不需要被记录直接在设置中将其加入排除列表可以显著减少不必要的OCR处理。定期清理数据Screenpipe默认会保留所有历史。可以在设置中配置自动清理规则例如“仅保留过去30天的数据”或“当存储空间超过50GB时自动清理最旧的数据”。问题存储空间占用增长太快首先确认你是否开启了“连续录制”模式非默认。正常情况下每月20GB的估算是合理的。如果远超此数检查是否捕获了多个显示器且每个显示器分辨率都很高。可以考虑降低非主显示器的捕获分辨率。检查音频录制设置。如果开启了无损音频录制会占用大量空间。会议转录使用有损压缩即可。如前所述使用应用过滤排除视频播放器等“高变化率但低信息价值”的窗口。5.2 隐私与安全实践问题如何确保敏感信息不被记录Screenpipe提供了多层防护全局排除在设置中你可以添加关键词或正则表达式来模糊化或完全阻止捕获包含这些内容的窗口。例如添加“banking”、“password”、“ssn”等。管道级权限如前所述为每个AI管道严格定义allow-apps和deny-windows。本地AI模型对于搜索和管道执行优先选择本地运行的Ollama模型如Llama 3.2、Qwen2.5确保你的查询内容也不会外泄。物理开关菜单栏图标提供了快速暂停捕获的一键开关。在处理高度敏感事务时可以临时关闭。一个关键设置务必在系统设置中仅允许Screenpipe录制你工作用的桌面空间。如果你使用macOS的“调度中心”或有多个桌面确保它只捕获你需要记录的那个。5.3 搜索效果优化问题为什么有时候搜不到我知道存在的内容这通常与文本提取方式有关。OCR识别错误对于字体较小、对比度低、背景复杂的图像OCR可能出错。尝试在搜索时使用更通用的关键词或者使用Screenpipe时间线视图手动定位到大致时间查看当时提取的原始文本是什么。可访问性树缺失某些应用如一些Java Swing或Electron老版本应用可能未正确实现可访问性支持。对于这类应用Screenpipe会降级到OCR。如果这对你很重要可以考虑换用更现代的应用或向该应用开发者反馈。语义搜索的局限性Screenpipe的AI搜索基于嵌入向量。它善于理解“帮我找关于机器学习入门的资料”但可能不擅长精确匹配一个非常特定的、罕见的专业术语缩写。此时可以尝试切换到“关键词匹配”模式或结合时间、应用过滤器进行搜索。技巧使用时间线视图辅助当搜索无果时别放弃。打开Screenpipe的时间线视图像看监控录像一样拖动到你记忆中的大概时间点。视觉回顾往往能触发更精确的记忆然后你可以基于那个时间点附近的文本来调整搜索词。5.4 管道开发与调试问题我写的管道没有按预期执行检查日志Screenpipe桌面应用有内置的日志查看器。管道执行失败或异常会有详细记录。这是排查的第一步。验证Cron表达式使用在线Cron表达式验证工具检查你的时间设置是否正确。测试管道逻辑可以手动触发管道执行进行测试。在管道文件中临时将schedule改为“* * * * *”每分钟运行观察一次执行结果然后再改回。权限过于严格确认你的allow-apps列表包含了目标应用所有可能的进程名。例如VS Code的进程名可能是“Visual Studio Code”也可能是“Code”。最安全的方式是先在时间线中查看目标活动记录的应用名称是什么。AI模型响应问题如果你使用云端AI模型如Claude可能是API调用超时或额度用尽。如果是本地模型Ollama请确保模型已正确加载且内存足够。开发心得从简单的管道开始。先创建一个只做查询和简单总结的管道确保它能跑通。然后再逐步增加“写文件”、“调用外部API”等更复杂的操作。将复杂的业务逻辑拆分成多个专注的小管道比写一个巨无霸管道更易于维护和调试。Screenpipe代表的是一种范式转变从“人主动记录信息”到“环境自动为你记忆并赋能”。它不再是一个简单的工具而是一个嵌入到你数字工作流中的智能层。无论是个人用于对抗遗忘还是团队用于构建可控的AI自动化它都提供了一个强大、私密且可扩展的基石。