基于AI与RSS的智能信息筛选：构建个人技术摘要系统

1. 项目概述与核心价值如果你和我一样每天被海量的技术资讯淹没想从上百个优质博客里筛选出真正值得一读的内容但又苦于时间有限那么这个项目可能就是你的“数字信息管家”。ai-daily-digest是一个为 OpenClaw AI 智能体平台设计的技能它能自动抓取、评分并总结来自 92 个顶级技术博客的最新文章最终生成一份精炼的每日摘要。最吸引人的一点是它完全利用你本地或已配置的 AI 模型如 Claude、GPT、Gemini 等来完成评分和摘要工作无需额外申请任何外部 API 密钥既保护了隐私也省去了不少麻烦。这个项目的核心思路非常清晰与其自己手动订阅几十个 RSS 源然后被信息洪流冲垮不如让 AI 智能体充当你的第一道过滤器。它模拟了一个资深技术编辑的工作流——先广撒网抓取内容再根据时效性、相关性和质量进行智能筛选最后提炼出核心观点。对于开发者、技术负责人或任何需要保持技术前沿敏感度的人来说这相当于拥有了一位 7x24 小时不间断工作的个人技术情报官。我自己使用几周后明显感觉信息摄入效率提升了不再错过那些藏在小众博客里的“宝藏文章”。2. 核心工作流程与原理拆解2.1 从 RSS 源到摘要的完整链路这个技能的工作流程设计得非常模块化每一步都目的明确。理解这个流程不仅能帮你更好地使用它还能在需要自定义时知道从哪里下手。整个链路可以概括为源获取 → 并行抓取 → 时间过滤 → AI 智能评分 → AI 生成摘要 → 格式化输出。源获取项目内置了一个精心挑选的sources.json文件包含了 92 个高质量技术博客的 RSS 源。这些源并非随意选择而是来自 Andrej Karpathy 整理的一份清单并经 Hacker News 社区人气验证确保了源的普遍高质量。并行抓取这是性能关键。scripts/fetch-rss.mjs脚本使用 Node.js 的原生异步能力并发抓取所有 RSS 源默认 15 个并行。我实测下来抓取全部 92 个源通常在 10-20 秒内完成这比顺序请求快了不止一个数量级。脚本设计为零依赖Zero deps意味着它只使用 Node.js 原生模块部署时无需npm install非常干净。时间过滤抓取到的文章可能包含很久以前的内容。技能会根据你输入的参数如/digest 48h进行过滤只保留指定时间窗口内发布的文章。这一步大幅减少了后续 AI 处理的数据量节约了成本和时间。AI 智能评分这是项目的“大脑”。过滤后的文章会交给 OpenClaw 智能体由你配置的 LLM大语言模型根据预设的“相关性”、“质量”和“时效性”等多个维度进行评分。这个过程模拟了人类的判断这篇文章是浅尝辄止的新闻还是有深度的技术分析是否与我或设定的角色关心的领域相关AI 生成摘要评分最高的文章会被挑选出来通常是 Top N再由同一个 AI 模型生成 2-3 句话的精准摘要。摘要不是简单截取开头而是要求模型理解内容后重新组织提炼核心创新点、结论或关键数据。格式化输出最终所有摘要会被整合成一份格式清晰、易于阅读的文本通过 OpenClaw 的聊天界面或配置的 Telegram 机器人发送给你。注意整个流程中AI 模型被调用了两次评分和摘要但使用的是同一个智能体会话。这意味着你可以利用 OpenClaw 的上下文管理、角色设定等功能让摘要更符合你的个人口味。例如如果你将智能体角色设定为“资深系统架构师”那么它可能会更关注分布式系统、性能优化类的文章。2.2 为何选择“AI评分”而非简单规则你可能会问为什么不用关键词匹配、点赞数等简单规则来筛选这正是本项目的精妙之处。技术博客的价值往往不在于表面关键词而在于其洞察的深度、论述的严谨性以及前瞻性。一个讨论“Rust 内存模型”的文章可能通篇不出现“高性能”这个词但对系统程序员却价值连城。AI 评分尤其是使用现代大语言模型能够进行一定程度的语义理解。它可以判断一篇文章是教程、观点评论、项目发布还是深度研究。通过设计好的评分指令Prompt我们可以让 AI 优先筛选出那些具有原创性、信息密度高、论证扎实的内容过滤掉那些老生常谈或内容稀薄的文章。这种基于理解的筛选是静态规则难以实现的。3. 详细配置与实操指南3.1 环境准备与技能安装首先你需要一个正在运行的 OpenClaw 环境。OpenClaw 是一个开源的 AI 智能体平台允许你连接不同的 AI 模型并为其安装各种技能。假设你已经完成了 OpenClaw 的基础部署。安装ai-daily-digest技能有两种方式推荐第一种方式一通过 clawhub 安装最简单在 OpenClaw 所在的服务器或终端中直接运行clawhub install ai-daily-digest这个命令会从技能中心自动下载并安装最新版本。安装成功后在任何 OpenClaw 的聊天窗口中输入/digest命令即可触发。方式二手动安装适用于自定义或离线环境# 1. 克隆仓库 git clone https://github.com/HarrisHan/ai-daily-digest.git # 2. 将技能目录复制到 OpenClaw 的技能文件夹 # 注意~/.openclaw/workspace/skills/ 是默认路径请根据你的实际安装位置调整 cp -r ai-daily-digest ~/.openclaw/workspace/skills/手动安装后可能需要重启 OpenClaw 服务或重新加载技能列表技能才会生效。3.2 核心配置详解安装只是第一步合理的配置才能让技能发挥最大效用。1. 时间范围控制这是最常用的参数直接跟在命令后面。/digest 24h # 获取过去24小时的文章 /digest 48h # 获取过去48小时的文章默认可能就是这个范围 /digest 72h # 获取过去72小时的文章 /digest 1w # 获取过去一周的文章如果技能支持周参数我个人的经验是对于技术资讯48h是一个甜点。24小时可能内容太少72小时则可能信息量过大导致摘要过于冗长。你可以根据自己阅读频次调整。2. 自定义信息源内置的 92 个源已经很全面但你可能有自己的偏爱博客或行业特定网站。修改references/sources.json文件即可。找到该文件位于技能目录下ai-daily-digest/references/sources.json。文件格式是 JSON 数组每个源是一个对象。[ { name: Your Favorite Blog, xmlUrl: https://example.com/feed.xml, htmlUrl: https://example.com }, // ... 其他现有源 ]name源的显示名称。xmlUrlRSS/Atom 源的 URL。通常可以在博客首页找找 RSS 图标或尝试/feed、/rss、/atom.xml等常见路径。htmlUrl博客的主页 URL主要用于展示。实操心得添加新源前最好先用浏览器或curl命令测试一下xmlUrl是否能正常访问并返回有效的 XML。有些网站的 RSS 源可能已废弃或格式不标准这会导致抓取失败。一个快速测试命令是curl -s -I “https://example.com/feed.xml” | head -n 1查看是否返回200 OK。3. 设置定时任务每日自动推送手动触发固然可以但每日自动接收摘要才是“Daily Digest”的完全体。OpenClaw 提供了强大的定时任务Cron功能。openclaw cron add \ --name ai-daily-digest \ --cron 0 9 * * * \ --tz Asia/Shanghai \ --message /digest 48h \ --announce --exact让我拆解一下这个命令--name给这个定时任务起个名字方便管理。--cronCron 表达式。“0 9 * * *”表示每天上午 9:00 执行。--tz指定时区。这里设为Asia/Shanghai上海确保在本地时间上午9点触发。--message定时触发时发送给智能体的消息。这里就是我们的摘要命令。--announce任务执行时在聊天中发送一条开始执行的通知。--exact要求智能体严格按消息文本执行不进行额外的意图识别或修改。设置成功后你每天上午 9 点就会自动收到一份新鲜的技术摘要。你可以根据自己的作息调整时间比如设为“0 18 * * *”在下班前推送作为次日早上的阅读材料。4. 高级使用技巧与自定义扩展4.1 优化 AI 评分与摘要质量技能的效果很大程度上取决于背后 AI 模型的能力和你的提示词Prompt设计。虽然技能内置了默认的评分和摘要逻辑但 OpenClaw 允许你深度定制智能体的行为。1. 为智能体设定专业角色在 OpenClaw 中你可以为执行/digest的智能体会话设置一个系统角色System Role。例如你可以这样设定“你是一位专注于前沿软件开发、系统架构与机器学习工程的技术编辑。你的任务是筛选出最具技术深度、实践指导意义和创新性的文章。对于炒作性质或内容浅薄的文章应给予低分。”通过赋予智能体一个明确的“人设”它能更好地理解“质量”和“相关性”的标准使生成的摘要更符合你的专业领域。2. 调整评分权重你可以通过修改技能源码需要一些 JavaScript 知识来调整评分维度。在评分阶段AI 模型通常会收到一个包含多个评分项的指令。你可以增加或修改这些项例如增加“代码示例质量”的权重。增加“对开源项目的实际贡献”的考量。降低“纯新闻通报”类文章的分数。这需要对SKILL.md或相关脚本中的 AI 交互部分进行修改属于高级用法。4.2 输出目的地扩展不止于聊天窗口默认摘要输出在 OpenClaw 聊天界面。但你可以结合 OpenClaw 的其他功能或外部工具将摘要发送到更多地方1. 推送至 Telegram这是项目 README 中提到的功能。你需要先在 OpenClaw 中配置好 Telegram 机器人。然后在定时任务或手动执行时确保摘要被发送到与 Telegram 绑定的会话中消息就会自动转发到你的 Telegram。2. 保存为本地文件或笔记你可以编写一个简单的脚本监听 OpenClaw 的特定输出然后将摘要内容追加到 Markdown 文件或导入到 Obsidian、Logseq 等笔记软件中建立你的个人知识库。3. 发送到团队协作工具理论上通过 OpenClaw 的 Webhook 或 API 功能可以将摘要内容转发到 Slack、钉钉、飞书等团队频道作为团队的技术晨报。4.3 处理抓取失败与源更新92 个源不可能永远有效。博客可能关闭、RSS 地址可能变更。定期维护源列表是保持摘要质量的重要一环。1. 监控抓取日志OpenClaw 的运行日志会记录技能执行过程。定期检查是否有大量“Fetch error”或“Invalid feed”错误这通常是某个源失效的信号。2. 社区维护与更新关注项目的 GitHub 仓库。像这样的开源项目源列表sources.json可能会随着时间由社区共同更新。你可以定期拉取更新或者将自己验证过的新优质源提交 Pull Request 回馈给社区。5. 常见问题与故障排查实录在实际部署和使用中你可能会遇到一些问题。以下是我遇到的一些典型情况及解决方法。5.1 技能安装后命令不生效现象执行clawhub install或手动复制后在 OpenClaw 聊天中输入/digest无反应或提示“未知命令”。排查步骤确认安装路径首先检查技能是否放到了正确的位置。OpenClaw 的技能目录通常是~/.openclaw/workspace/skills/。确保ai-daily-digest文件夹在该目录下并且里面包含SKILL.md文件。检查技能加载有些 OpenClaw 版本需要重启服务或执行重载命令来识别新技能。尝试重启 OpenClaw 服务或在管理界面查找“重载技能”的选项。查看技能列表OpenClaw 可能有命令如/skills或/list来列出所有已安装技能。检查ai-daily-digest是否在列表中。权限问题确保技能目录及其内部文件的读取权限对运行 OpenClaw 的用户是开放的。5.2 执行超时或无结果返回现象输入/digest后长时间处于“思考”状态最后可能超时或返回一个空结果。排查步骤网络连接问题这是最常见的原因。技能需要访问外网抓取 92 个 RSS 源。确保运行 OpenClaw 的服务器或机器可以稳定访问这些海外技术博客。你可以手动测试几个源地址是否能ping通或被curl访问。AI 模型响应慢评分和摘要需要调用 LLM。如果你使用的模型如某些本地部署的大模型本身响应速度较慢或者当前网络到模型 API 的延迟很高就会导致整体超时。尝试换一个响应更快的模型或者增加 OpenClaw 的命令超时时间设置。源数量过多首次运行或长时间未运行时抓取的数据量可能很大。可以尝试缩小时间范围如使用/digest 12h先确认流程是否正常。查看详细日志在 OpenClaw 中开启更详细的调试日志观察卡在哪一步。是卡在“Fetching RSS”还是“Scoring articles”5.3 摘要质量不理想现象摘要内容感觉泛泛而谈没有抓住重点或者筛选出的文章不是你感兴趣的。解决方案调整 AI 模型不同的 LLM 在理解和总结能力上差异很大。如果你在使用 GPT-3.5尝试切换到 Claude 3 Haiku 或 GPT-4摘要的准确性和洞察力可能会有显著提升。当然这需要考虑成本。优化系统提示词如前所述在 OpenClaw 中为执行摘要任务的智能体设置更精确、更严厉的角色指令。明确告诉它你想要什么如“深度技术分析”、“具体的代码解决方案”、“行业趋势解读”和不想要什么如“产品发布通告”、“简单的新闻转载”。自定义源列表移除那些总是产出低质量内容或与你领域无关的博客源增加你所在细分领域的顶级博客。精准的输入是高质量输出的前提。反馈循环如果摘要某篇文章你觉得不好记下它。思考是评分标准问题还是摘要生成问题并尝试通过调整提示词来改进。5.4 RSS 抓取解析错误现象日志中提示某些源的 XML 解析失败。原因与解决非标准 RSS 格式有些网站的 RSS 输出可能不完全符合标准。fetch-rss.mjs脚本使用的是 Node.js 环境下的通用解析器对畸形 XML 容错能力有限。解决方案对于少数几个特别重要但解析失败的源可以考虑寻找其替代的 Feed 地址如 JSON Feed或者为该源编写一个简单的适配器函数先对抓取到的原始内容进行清洗和格式化再交给解析器。这需要一定的编程能力。5.5 定时任务未执行现象设置了 Cron 任务但到时间没有收到摘要。排查步骤检查 Cron 服务确认 OpenClaw 的 Cron 服务是否正常运行。有些部署方式下Cron 功能可能需要单独启用或配置。验证 Cron 表达式和时区双重检查--cron和--tz参数是否正确。可以使用在线的 Cron 表达式验证工具。时区错误是导致时间对不上的常见原因。检查任务状态使用openclaw cron list查看任务列表及其状态确认任务是否被成功添加且处于激活状态。查看 OpenClaw 日志在设定的任务执行时间点查看 OpenClaw 的系统日志看是否有任务被触发的记录以及触发后执行是否报错。6. 项目结构解析与二次开发思路理解项目结构能让你在需要定制功能时更快上手。我们看一下核心目录和文件ai-daily-digest/ ├── SKILL.md # 技能定义文件告诉 OpenClaw 如何调用这个技能 ├── README.md # 项目说明文档 ├── scripts/ │ └── fetch-rss.mjs # 核心抓取脚本并发获取 RSS 内容 └── references/ └── sources.json # RSS 源列表项目的“数据源”SKILL.md这是技能的“说明书”。它定义了技能的元信息名称、描述、版本、可用的命令如/digest、命令的参数格式以及最重要的——技能的执行入口点。当你在聊天中输入/digest时OpenClaw 就是根据这个文件找到对应的处理函数。scripts/fetch-rss.mjs这是项目的引擎。它采用 ES Module 格式.mjs后缀利用Promise.all或p-limit之类的模式虽然说是零依赖但可能用了非常轻量的并发控制来实现并行 HTTP 请求。它的输出是一个包含所有文章标题、链接、发布时间和原始内容的数组。如果你需要修改抓取逻辑比如增加重试机制、添加请求头以应对某些网站的反爬主要就是改这个文件。references/sources.json项目的数据基础。格式简单易于维护。如果你想为这个技能开发一个“源管理”界面比如一个简单的 Web 页面来启用/禁用源操作的就是这个 JSON 文件。二次开发方向增加摘要输出模板目前摘要格式是固定的。你可以修改代码让摘要以更丰富的格式如带图文的 HTML、更结构化的 Markdown 表格输出。引入多维度过滤在 AI 评分前可以先基于关键词、黑名单域名等进行一层规则过滤减少 AI 的调用量。实现个性化推荐记录你对历史摘要文章的反馈点赞、跳过利用这些数据微调 AI 的评分模型让推荐越来越“懂你”。支持更多输出渠道将推送逻辑模块化方便接入邮件、Discord 等更多平台。这个项目的设计保持了很好的松耦合性抓取、评分、摘要、输出各司其职使得扩展和维护都相对清晰。无论是想小修小补还是大刀阔斧地改成适合自己的信息流处理中心它都是一个非常不错的起点。