基于AI Agent的科技资讯聚合器：自动抓取、评分与摘要生成

1. 项目概述一个为AI Agent打造的科技资讯聚合器如果你和我一样每天被海量的科技博客、技术文章淹没但又不想错过那些真正有洞见的内容那么你肯定会对这个项目感兴趣。ai-daily-digest是一个为 OpenClaw AI Agent 设计的技能Skill它能自动抓取、评分并总结来自 92 个顶级科技博客的最新文章最终生成一份精炼的每日文摘。最吸引人的一点是它完全利用你本地或已配置的 AI 大模型如 Claude, GPT, Gemini 等来完成内容评估和摘要生成无需额外申请任何外部 API 密钥既保护了隐私也省去了不少麻烦。这个项目的核心价值在于“筛选”和“提炼”。信息过载的时代我们缺的不是信息源而是高效的信息过滤器。ai-daily-digest扮演的正是这个角色它从 Andrej Karpathy 等大佬精心筛选的源列表中并发抓取内容然后驱动你的 AI Agent像一位经验丰富的编辑一样根据相关性、质量和时效性给文章打分最后只把最值得阅读的几篇精华以两三句话的摘要形式推送给你。无论是通过 OpenClaw 聊天窗口手动触发还是设置定时任务自动接收它都能让你在几分钟内把握过去 24 或 48 小时的技术圈脉搏特别适合开发者、技术负责人和所有希望保持技术前沿敏感度的从业者。2. 核心设计思路与工作流拆解2.1 为什么是“AI Agent 技能”而非独立应用初次接触这个项目你可能会问为什么不直接做一个独立的 RSS 阅读器或摘要生成网站这正是其设计巧妙之处。将功能封装为 OpenClaw 的一个 Skill带来了几个关键优势首先是生态集成与能力复用。OpenClaw 本身是一个功能强大的 AI Agent 框架它已经妥善处理了与各大语言模型的连接、会话上下文管理、工具调用等复杂问题。ai-daily-digest作为 Skill可以直接复用这些能力。它不需要自己处理 API 密钥轮转、模型上下文窗口限制或复杂的提示工程编排只需专注于“获取信息-请求评估-格式化输出”这个核心流程。这极大地降低了开发复杂度和维护成本。其次是交互的自然性。对于 OpenClaw 的用户来说使用/digest命令获取摘要就像在聊天中问一个问题一样自然。这种交互模式无缝融入了用户已有的工作流中无需切换应用或上下文。更进一步由于它运行在 Agent 环境里生成的摘要可以直接成为后续深度讨论或研究的起点。你可以紧接着让 Agent 针对某篇摘要文章展开详细分析或者基于多篇摘要进行交叉对比提问形成一种“阅读-思考-延伸”的增强循环。最后是部署的灵活性与隐私性。作为一个本地化运行的 Skill所有数据处理——从抓取 RSS 到调用 LLM 评分——都可以发生在你控制的环境内。源数据RSS 内容和中间数据文章全文、评分理由不会上传到第三方服务器。这对于处理许多涉及未公开技术细节或内部思考的优质博客内容来说是一个重要的考量点。项目强调“No external API keys required”正是将隐私和成本的控制权完全交给了用户。2.2 工作流深度解析从 RSS 到精炼摘要项目文档中的流程图清晰地勾勒了核心管线但每个环节都有值得深挖的细节和设计考量92 RSS Feeds → Concurrent Fetch → Time Filter → LLM Scoring → LLM Summary → Digest1. 并发抓取 (Concurrent Fetch -scripts/fetch-rss.mjs)这是整个流程的油门。使用 92 个源顺序抓取显然不可接受因此项目采用了并发策略。fetch-rss.mjs这个 Node.js 脚本宣称零依赖仅使用原生模块很可能利用了Promise.all或p-limit类似的库来控制并发数例如文档提到的15个并行。这里的一个实操要点是错误处理与超时控制。并非所有 RSS 源都稳定可靠某个源的暂时不可用或响应缓慢不应阻塞整个流程。一个健壮的实现会对每个抓取任务设置独立的超时如 10 秒并将失败的任务单独记录或跳过确保大部分源的成功抓取。2. 时间过滤 (Time Filter)这是提升信噪比的第一道滤网。RSS 条目通常包含发布时间 (pubDate或dc:date)。脚本会根据用户指定的时间窗口如/digest 48h过滤出近期文章。这里有个细节时区处理。RSS 时间格式五花八门脚本需要能稳健地解析各种格式RFC 822, ISO 8601等并将其统一到 UTC 或本地时间进行比较避免因时区问题漏掉或误收文章。3. LLM 评分 (LLM Scoring)这是项目的“智能”核心也是区别于简单关键词过滤的关键。Agent 会收到每篇文章的标题、链接、摘要或部分内容并被要求从多个维度打分。从项目描述看维度至少包括相关性 (Relevance)文章主题是否属于广义的、值得关注的技术范畴AI、编程、系统设计、安全等。质量 (Quality)内容是否深入、有独到见解而非浅薄的新闻快讯或营销软文。时效性 (Timeliness)对于新闻类博客时效性权重高对于技术深度文章时效性权重可降低。评分的提示词 (Prompt) 设计至关重要。它需要清晰地定义评分标准、格式例如要求输出一个0-10分的整数和简短理由并可能提供少量示例 (Few-shot) 来校准模型的评判尺度。这一步消耗的 Token 和计算成本最高因为需要对几十甚至上百篇文章逐一进行评判。4. LLM 摘要 (LLM Summary)对于评分超过某个阈值比如7分的顶级文章Agent 会进一步生成摘要。这里的要求是“2-3 sentence summaries”这意味着提示词需要引导模型进行极度精炼的概括抓住核心论点、关键发现或最具启发性的观点而不是复述文章结构。好的摘要能让读者在 15 秒内决定是否值得点开原文细读。5. 摘要生成与推送 (Digest)最后将所有精选文章的标题、链接、评分和摘要整合成一份格式友好的报告。如果配置了 Telegram 等通知渠道则将其发送出去在 OpenClaw 聊天环境中则直接以消息形式呈现给用户。最终输出的可读性和信息密度是衡量整个流程成功与否的最终标准。3. 从零部署与深度配置指南3.1 环境准备与技能安装首先你需要一个正在运行的 OpenClaw 环境。如果你还没有需要先根据 OpenClaw 官方文档进行安装和基础配置确保它能成功连接到你选择的 LLM 服务如 OpenAI API、Claude API 或本地部署的模型。安装ai-daily-digest技能有两种方式推荐使用第一种因为它更便捷且便于后续更新方式一通过 clawhub 安装推荐clawhub install ai-daily-digest这条命令会从 OpenClaw 的技能中心自动下载并安装该技能。安装完成后你需要在 OpenClaw 的配置文件或管理界面中确认技能已被正确加载。通常重启 OpenClaw 服务或重新加载技能列表即可生效。方式二手动安装适用于网络环境特殊或希望进行代码修改的场景。git clone https://github.com/HarrisHan/ai-daily-digest.git cp -r ai-daily-digest ~/.openclaw/workspace/skills/手动复制后同样需要确保 OpenClaw 能识别到这个新技能。有时需要检查~/.openclaw/workspace/skills/目录的权限确保 OpenClaw 进程有读取权限。注意安装完成后首次运行/digest命令可能会失败因为技能需要读取references/sources.json中的 RSS 源列表并首次抓取。请确保网络通畅能够访问这些海外博客的 RSS 地址。对于国内用户这可能是一个常见的绊脚石。3.2 核心配置详解技能安装成功只是第一步根据你的需求进行定制化配置才能让它发挥最大效用。1. 时间范围控制默认情况下/digest可能抓取最近24小时的内容。你可以通过参数灵活调整/digest 12h # 获取过去12小时的文章 /digest 48h # 获取过去48小时的文章适合周末后补看 /digest 7d # 获取过去一周的精华可能产生较多内容评分筛选更关键时间窗口越宽抓取和处理的文章数量就越多LLM 评分和摘要的成本时间与Token消耗也越高。建议日常使用24h或48h在周一或长假后可以考虑使用72h。2. 自定义信息源列表项目自带的92个源质量很高但众口难调。你可能想加入自己常看的博客或者移除一些不感兴趣的领域比如如果你不关注网络安全可以移除 Krebs on Security。编辑~/.openclaw/workspace/skills/ai-daily-digest/references/sources.json文件。该文件是一个 JSON 数组每个元素代表一个 RSS 源。[ { name: Joel on Software, xmlUrl: https://www.joelonsoftware.com/feed/, htmlUrl: https://www.joelonsoftware.com }, { name: Your Personal Tech Blog, xmlUrl: https://yourblog.com/feed.xml, htmlUrl: https://yourblog.com } ]name: 博客的名称用于在日志和摘要中标识。xmlUrl: RSS/Atom 源的直接地址。这是抓取程序真正访问的 URL。htmlUrl: 博客的主页地址方便用户点击来源名称时跳转。实操心得在添加新源前务必先用浏览器或curl命令测试一下xmlUrl是否能正常访问并返回有效的 XML 内容。很多现代博客的 Feed 地址可能不是/feed或/rss需要查看网页源码中的link relalternate typeapplication/rssxml ...标签来获取正确地址。3. 实现定时自动推送Cron Job手动执行固然可以但每日自动接收才是“Daily Digest”的完全体。OpenClaw 提供了cron功能来模拟定时任务。openclaw cron add \ --name ai-daily-digest \ --cron 0 9 * * * \ --tz Asia/Shanghai \ --message /digest 24h \ --announce --exact对参数的解释--name: 定时任务的名称便于管理。--cron: Cron 表达式。0 9 * * *表示每天上午9点执行。--tz: 时区。确保定时任务在你期望的本地时间触发。--message: 到点时OpenClaw 会模拟用户发送的消息。这里我们发送/digest 24h命令。--announce: 让 OpenClaw 在执行任务前在聊天中发送一个开始提示。--exact: 要求精确匹配命令。这能避免与其他可能包含“digest”字样的命令冲突。设置成功后每天上午9点你的 OpenClaw 聊天窗口就会自动收到一份新鲜出炉的科技文摘。你可以根据你的工作节奏调整时间例如设置为下午5点作为下班前的“今日技术要闻回顾”。4. 核心脚本剖析与自定义修改4.1 抓取脚本fetch-rss.mjs的运作细节这个零依赖的 Node.js 脚本是整个数据流水线的源头。我们来拆解一下它可能需要处理的关键问题及应对策略。并发控制与优雅降级脚本很可能使用async/await配合Promise.allSettled来实现并发抓取。Promise.allSettled比Promise.all更合适因为即使部分抓取失败其他成功的结果仍然会被保留。代码中应该有一个concurrencyLimit变量可能设为15来控制同时发起的请求数既避免对服务器造成过大压力也防止本地网络连接数耗尽。请求头与缓存策略为了更友好地抓取并提高成功率脚本应该设置合理的User-Agent例如OpenClaw-RSS-Fetcher/1.0并可能包含Accept头指明接收application/xml或application/atomxml。此外可以实现一个简单的内存缓存在短时间内对同一 URL 的重复请求比如调试时直接返回缓存结果节省时间和流量。XML 解析与字段提取Node.js 原生没有 XML 解析器但可以动态引入fast-xml-parser这类高性能库。不过项目强调“零依赖”所以更可能使用的是 Node.js 环境内置的、对于简单 RSS 解析足够的其他方法或者作者自己实现了一个轻量解析器。解析后需要从 XML 中提取出每条目的title,link,pubDate,description(或content:encoded) 等字段。这里字段映射的兼容性处理是关键因为 RSS 和 Atom 标准以及各家博客系统的实现都有差异。错误日志记录脚本应将每个源的抓取状态成功、失败、超时以及失败原因记录到日志中。这对于后期维护源列表、排查网络问题非常有帮助。日志可以输出到控制台也可以写入一个文件供 OpenClaw 技能统一管理。4.2 评分与摘要提示词优化这是决定文摘质量的核心“算法”。虽然我们看不到技能内部与 LLM 交互的具体提示词但可以根据其目标反向推导出优化的方向。你可以通过修改技能的源代码通常在skills/ai-daily-digest/目录下的某个.py或.js文件来调整这些提示词。评分提示词 (Scoring Prompt) 建议结构你是一位资深技术编辑负责从大量技术博客中筛选出最有价值的文章。 请对以下文章进行评分0-10分整数并分别给出相关性、质量、时效性三个维度的简要理由。 文章标题[ARTICLE_TITLE] 文章链接[ARTICLE_LINK] 文章摘要/片段[ARTICLE_SNIPPET] 评分标准 - 相关性 (Relevance, 权重40%)主题是否属于前沿技术、深度工程实践、重要的行业洞察或具有普遍学习价值的技术思考。 - 质量 (Quality, 权重40%)内容是否原创、有深度、逻辑清晰、论据充分而非简单资讯搬运或浅尝辄止。 - 时效性 (Timeliness, 权重20%)对于新闻、版本发布、时效性强的分析新内容加分对于经典技术原理探讨时效性要求可降低。 请按以下格式回复 评分[X] 理由相关性[理由]。质量[理由]。时效性[理由]。摘要提示词 (Summary Prompt) 建议结构请为以下高分技术文章生成一个精炼的摘要要求2-3句话抓住文章最核心的论点、发现或建议语言简洁有力避免细节罗列。 文章标题[ARTICLE_TITLE] 文章全文/长摘要[ARTICLE_CONTENT] 摘要注意事项调整提示词后最好用小批量文章进行测试观察评分分布和摘要质量是否符合预期。不同的 LLMGPT-4, Claude 3, Gemini Pro对同一提示词的反应可能有差异可能需要针对你主要使用的模型进行微调。5. 常见问题排查与实战技巧在实际部署和运行ai-daily-digest的过程中你可能会遇到一些典型问题。下面是我在多次部署和调试中积累的排查经验和技巧。5.1 安装与运行类问题问题1执行/digest命令无反应或报“技能未找到”。排查步骤确认安装路径是否正确。通过clawhub list或检查~/.openclaw/workspace/skills/目录下是否存在ai-daily-digest文件夹。检查 OpenClaw 的技能加载日志。重启 OpenClaw 服务观察启动日志中是否有加载该技能的成功或错误信息。确认 OpenClaw 版本。某些技能可能需要特定版本的 OpenClaw 框架支持检查项目 README 是否有版本要求。问题2命令执行后长时间卡住最后超时。原因分析这通常发生在抓取阶段。92个源中如果有几个响应特别慢或完全无响应并发控制不当会导致整个流程挂起。解决方案调整超时时间找到fetch-rss.mjs脚本中设置超时的地方可能是setTimeout或AbortController将超时时间从默认的比如 10 秒缩短至 5-8 秒。对于新闻摘要来说5秒内无法返回的源可以暂时放弃。审查源列表运行一次并查看日志找出哪些源经常超时或失败。考虑将这些源从sources.json中暂时移除或替换为备用源如果有的话。网络代理如果你在访问某些海外博客时需要网络辅助请确保运行 OpenClaw 的环境如服务器或 Docker 容器配置了正确的网络设置。5.2 内容与输出类问题问题3生成的摘要质量不高要么过于笼统要么遗漏重点。原因分析这主要与两个因素有关一是提供给 LLM 的文章内容不完整RSS 源只提供了摘要而非全文二是摘要提示词不够精准。优化策略改善输入内容尝试修改抓取脚本对于只提供摘要的 RSS 源可以尝试通过link字段再次发起请求抓取文章正文的前几段注意尊重robots.txt。但这会增加复杂度和抓取时间。迭代提示词如前文所述精心设计摘要提示词。加入具体指令如“请用一句话总结作者的核心论点再用一句话指出该文章对[某领域如‘后端开发’]从业者的主要启示。”切换或升级模型如果使用的是能力较弱的模型如 GPT-3.5-turbo尝试切换到更强大的模型如 GPT-4、Claude 3 Sonnet/Opus。摘要生成质量通常会有显著提升。问题4评分标准不符合个人偏好感兴趣的文章分数低不感兴趣的分数高。解决方案这是个性化需求。你需要“训练”你的评分器。收集样本手动收集一批你明确认为“好”和“一般”的文章标题、链接和片段。微调评分提示词在评分提示词中增加更符合你偏好的描述。例如如果你特别关注“系统架构”和“性能优化”可以在相关性标准里加重这些关键词的权重。甚至可以加入负面示例“关于某公司内部团队重组的一般性公告应给予低分。”后续过滤如果不想修改核心评分逻辑可以在技能输出后增加一个简单的本地过滤脚本根据关键词如包含“Python”、“Kubernetes”加分包含“IPO”、“funding”减分对 LLM 的评分结果进行二次调整。5.3 性能与成本优化问题5每日运行消耗的 Token 数量过多API 成本高昂。成本分析成本主要发生在 LLM 评分和摘要阶段。假设每天抓取 200 篇文章每篇文章用 500 Token 进行评分再用 300 Token 为前10名生成摘要那么每日消耗约为200*500 10*300 103,000 Token。使用 GPT-4 等模型成本确实不菲。优化方案分级处理实现一个简单的基于规则或关键词的预过滤器。在调用昂贵的 LLM 评分之前先过滤掉明显不符合要求的文章例如语言非目标语言、来源为纯新闻网站而非技术博客、标题包含“赞助”、“广告”等字样。这可以筛掉 20%-30% 的内容。摘要模型降级使用强大的模型如 GPT-4进行评分因为评分需要更好的理解和判断力。而对于摘要生成可以使用更经济但摘要能力尚可的模型如 Claude 3 Haiku 或 GPT-3.5-turbo。调整时间窗口和源数量将/digest改为每两天运行一次 (48h)或精简sources.json只保留你最核心关注的 30-40 个顶级博客源。问题6定时任务 (cron) 没有按时执行。排查步骤首先用openclaw cron list确认任务已正确添加。检查 OpenClaw 服务是否在后台持续运行。如果 OpenClaw 进程退出定时任务自然无法触发。检查系统时间及时区设置。确保服务器系统时间准确且与--tz参数指定的时区一致。查看 OpenClaw 的日志文件在设定的任务执行时间点是否有相关的执行记录或错误信息。5.4 扩展与进阶玩法扩展1输出渠道多样化目前技能主要输出到 OpenClaw 聊天窗口。你可以修改技能代码将最终生成的文摘同时发送到电子邮件通过 SMTP 协议发送到指定邮箱。Telegram/Discord 频道利用这些平台的 Bot API创建自己的技术文摘推送频道。Notion 或 Obsidian 数据库通过 API 将摘要和链接写入你的知识管理工具构建个人技术知识库。扩展2加入个性化推荐在长期运行后你可以收集历史数据哪些文章你点击阅读了通过链接哪些文章被 LLM 打了高分。利用这些数据可以训练一个简单的偏好模型在未来评分时加入“与用户历史兴趣匹配度”这个维度让文摘越来越贴合你的口味。扩展3构建摘要存档与搜索将每日文摘的完整结果包括文章标题、链接、评分、摘要、日期保存到一个本地文件如 JSONL或轻量级数据库如 SQLite中。这样你就可以回溯查找过去任何一天的技术热点或者通过关键词搜索历史摘要形成一个可检索的个人技术新闻档案。这个项目提供了一个极其优雅的起点将 RSS 的“拉取”信息模式与 AI 的“智能筛选”能力结合了起来。它的价值不仅在于节省时间更在于通过一个可编程、可定制的智能管道让你与高质量信息源之间建立了更高效、更个性化的连接。剩下的就是根据你的具体需求对它进行打磨和扩展了。