Agent文件系统检索核心：Grep和Glob工具

在Harness的定义中Agent的文件系统是核心之一在文件系统的帮助下Agent表现出来的搜索能力是非常出色的用户和开发者不定义搜索路径只提供输入驱动而具体的搜索路径是由Agent根据每一次的工具调用动态决定的Agent的文件检索能力的实现关键就来源于基础工具Grep和Glob在Karpathy提出的大模型应用进化路线中Chat-Agent-Claw我觉得在Claw模式下工具的四种核心基础设施Grep、Glob、Bash、Write本文节选自「大模型应用开发 - 上下文工程与运行空间实践指南」上下文工程是设计原则Agent Harness 是构建目标。完整内容已发布在 GitHub欢迎查看 https://github.com/WakeUp-Jin/Practical-Guide-to-Context-Engineering一、Glob 工具实现glob 工具是存在降级策略的为了提高执行效率和降低运行占用量Glob 工具实现实现 glob 工具有两种方式这两种方式“各有各的”好处•glob 依赖包返回的是完整的文件的信息(存在文件元信息等例如文件大小文件修改时间)所以不需要额外的操作并且 glob 依赖包是天然的 Node 环境的包•ripgrep 命令返回的是文件路径没有任何文件元信息所以需要在操作读取文件信息的操作stat方法但是 ripgrep 检索的速度是比 glob 快的但是 ripgrep 是 Rust 实现的所以运行时需要加载一个二进制文件关于 glob 工具执行的总时间这里有一个形象的公式总时间检索时间 N*单文件的处理时间glob 依赖包的实现方式后面的那个单文件处理时间完全可以忽略不计所以其检索时间就约等于总时间ripgrep 命令的实现方式检索时间是比 glob 依赖包的方式更快的但是其需要单文件的处理时间也就是 stat 方法的调用时间我的建议和总结是•如果是追求开发方便那么我是建议直接使用 glob 实现会快很多并且不需要考虑外部文件的执行•如果是追求可操作的检索效率那么是可以考虑使用 ripgrep 来实现检索工具不可能只实现 glob也会考虑使用 grep 的要实现 grepripgrep 这个命令是优先考虑的这么一看也不算是另外单独引入一个外部依赖•如果是追求稳定那么可以考虑降级策略先使用 ripgrep如果 ripgrep 这个环境不存在或者下载失败那么就可以降级为 glob保证了程序或者项目可以运行二、Grep 工具的实现Grep 工具实现目前 grep 有四种的方式实现按照优先级排序保证系统的稳定的可用性使用降级策略保证 grep 工具执行成功我们会先验证这些策略的可用性再考虑优先级高的先使用ripgrep是使用 Rust 编写的二进制文件检索速度非常非常快git grep 命令这个是直接读取.git/index 中已缓存的文件列表跳过耗时的目录遍历操作系统的 grep 命令大部分是传统的 C 实现的单线程递归搜索速度还可以大部分 Unix 系统都有不过 windows 系统是没有的js 实现的 grep 命令是纯 JS 实现的是一个保底方案用 glob 获取文件列表逐个读取文件内容逐行正则匹配速度最慢三、Ripgrep 自动下载机制Ripgrep 自动下载机制ripgrep 命令的执行需要完整的路径在 Node 子进程中使用 spawn 的时候需要完整的路径才可以成功执行命令async function grepWithRipgrep(pattern, cwd, options) { // 获取 ripgrep 路径 const rgPath await Ripgrep.filepath(options.binDir); // 返回/usr/bin/rg 或 ~/.reason/bin/rg // 使用路径执行命令 const proc spawn(rgPath, [ --line-number, --no-heading, pattern, ], { cwd });}所以目前的判断获取的策略是这样的先看看内存缓存中是否存在如果没有就进入下一级有就返回再看看系统是否有安装 ripgrep如果有就返回并且赋值给缓存下一次就可以直接缓存取啦如果没有就下一级然后在看看本地路径是否安装了 ripgrep 的二进制文件要是有安装的话和上面同理如果没有就开始进行下载文件到相应的目录中四、超时控制实现这个需求在 Node 中会使用到中止控制器AbortController/AbortSignal这里有一个简单的例子const controller new AbortController();function customTask(signal: AbortSignal): Promisestring { return new Promise((resolve, reject) { //初始状态的检查 if (signal.aborted) { reject(new Error(Task aborted)); return; } const timer setTimeout(() resolve(done), 5000); // 使用 { once: true } 自动清理监听器 const abortHandler () { clearTimeout(timer); reject(new Error(Task aborted)); }; signal.addEventListener(abort, abortHandler, { once: true }); // 或者手动清理如果需要在 resolve 时也清理 const cleanup () { signal.removeEventListener(abort, abortHandler); }; // 修改 timer 回调 const timerCallback () { cleanup(); resolve(done); }; setTimeout(timerCallback, 5000); });}customTask(controller.signal);// 3秒后取消setTimeout(() { controller.abort(); }, 3000);•AbortController这个是控制器用来发送“取消”信号•AbortSignal这个是信号传递给异步操作让它们可以被取消关于 AbortSignal 这个对象有一些属性是值得理解一下的会让你在异步操作使用更加熟练interface AbortSignal{ readonly aborted:boolean //是否已经被取消 readonly reason:any //取消的原因 //监听取消事件 addEventListener( type:abort, listener:(event:Event)void, options?:{once?:boolean} ):void //移除取消事件监听器 removeEventListener( type:abort, listener:(event:Event) void ):void //用于检查信息是否已取消 throwIfAborted():void}那我们开始整理超时控制的函数式如何写的主要就是三步• 封装取消函数这个函数返回信号对象• 创建一个包装器传入要取消的函数操作用于包装任何的异步操作• 传入参数给异步操作学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】