PentAGI：面向红队实战的开源渗透测试Agent系统

1. 这不是另一个“AI安全”的概念玩具而是一套能真正进红队实战的渗透测试Agent系统你有没有遇到过这样的场景在一次内部红队演练中刚摸到一台边缘业务服务器想快速判断它是否暴露了Jenkins未授权访问、Confluence远程代码执行或者Spring Boot Actuator敏感端点——但手头只有Burp Suite和几个零散的Python脚本手动改URL、换Payload、等响应、看回显一来一回就是二十分钟。更糟的是当目标突然加了WAF规则或启用了IP限速你连基础探测都卡在429状态码上。这时候你真正需要的不是又一个“用LLM写PoC”的演示项目而是一个能理解渗透逻辑、自动编排工具链、动态应对反制措施、还能把整个攻击链路“说人话”记录下来的智能体系统。PentAGI就是为此而生的。它不是把ChatGPT API封装一层UI就叫“AI渗透”也不是拿LangChain搭个RAG问答机器人就宣称“自动化渗透”。它是一个以渗透测试工作流为第一设计原则的开源Agent系统从信息收集、服务识别、漏洞验证、利用尝试到权限维持每个环节都内置了真实红队作业中的决策逻辑与容错机制。它支持将Nmap、Nuclei、sqlmap、gau等十余种主流安全工具原生集成进Agent的“工具箱”并让LLM本地或远程只负责“调度”与“推理”不碰原始数据流——这意味着你可以放心把它跑在内网靶机环境里不用担心里程碑式的LLM调用泄露敏感资产指纹。关键词很明确开源、Agent、渗透测试、红队实战、工具链编排、本地化推理。如果你是渗透工程师、红队成员、CTF选手或者正在构建企业级自动化攻防平台的安全架构师这篇解析会带你穿透表面Demo看清它如何在真实对抗中稳住输出、规避误报、降低人工干预频次——这才是当前阶段AI真正能为渗透测试带来的不可替代价值。2. PentAGI的核心设计哲学拒绝LLM幻觉接管渗透链坚持“Agent调度工具执行”双轨制很多团队在尝试AI赋能渗透时第一步就踩进了同一个坑让大模型直接生成HTTP请求、拼接SQL注入Payload、甚至“推理”出目标系统的内部结构。这看似聪明实则危险。我去年在帮一家金融客户做AI辅助渗透POC时就吃过亏——模型基于历史训练数据“自信”地生成了一个CVE-2023-27350的利用链但目标版本其实是打了补丁的3.10.2结果Payload一发过去直接触发了WAF的主动阻断规则整个IP被封了两小时。根源在于LLM不具备实时上下文感知能力它无法知道你上一秒刚收到的HTTP响应头里写着X-Protected-By: Cloudflare也无法理解429 Too Many Requests背后是Rate Limit还是Bot Detection。它只能“猜”而渗透测试最不能容忍的就是“猜”。PentAGI的破局点恰恰在于它对LLM能力边界的清醒认知。它的系统架构图非常干净只有三层顶层Orchestrator调度器—— 这才是真正的“Agent大脑”。它接收用户输入的初始目标如https://test.corp.internal调用LLM进行任务分解例如“先查子域名再扫端口对80/443做Web指纹识别发现Tomcat后检查CVE-2020-1938”但绝不生成任何原始网络请求或Payload。它只输出结构化指令比如{tool: subfinder, args: {domain: corp.internal}}或{tool: nuclei, args: {target: https://admin.corp.internal, template: cves/2020/CVE-2020-1938.yaml}}。中层Tool Executor工具执行器—— 这是PentAGI最硬核的部分。它不是简单调用os.system()而是为每个安全工具定制了双向通信协议。以Nuclei为例Executor会启动Nuclei进程捕获其标准输出流并实时解析JSONL格式的扫描结果当Nuclei发现一个潜在漏洞时Executor不会直接上报“存在漏洞”而是提取出matched-at、extracted-results、curl-command等关键字段连同原始HTTP响应体可选一起打包作为上下文喂给Orchestrator。这就保证了所有决策依据都是一手、可验证、带元数据的数据。底层Tool Registry工具注册中心—— 所有支持的工具Nmap、httpx、dalfox、gau、waybackurls、ffuf等都通过YAML配置文件注册。每项配置包含二进制路径、参数映射规则、输出解析器Python函数、超时阈值、失败重试策略。比如Nmap的配置里明确写了output_parser: parse_nmap_xml这个函数会把Nmap的XML输出转成统一的{ip: 10.10.10.5, ports: [{port: 22, state: open, service: ssh}, ...]}结构。这种强契约设计让新增一个工具变得像填表一样简单——上周我就给团队加了kiterunner的支持只改了3个文件不到200行代码。提示PentAGI默认使用Ollama加载llama3:8b作为本地推理引擎但完全兼容OpenAI、Anthropic、DeepSeek等API。关键在于它把LLM当作“高级Shell脚本解释器”而不是“渗透专家”。你永远可以关掉LLM用纯YAML定义任务流pentagi run --workflow custom_flow.yaml这对审计合规环境至关重要。这种设计带来三个直接好处第一结果可追溯——你能清晰看到每一条漏洞告警背后是哪个工具、哪条命令、哪个参数组合产生的第二误报率可控——当Nuclei报告一个“疑似XXE”Orchestrator会自动触发curl -X POST --data-binary payload.xml进行二次验证而不是直接采信第三对抗鲁棒性强——面对WAFExecutor能识别429响应并自动切换User-Agent、添加随机延迟、甚至调用cloudflare-bypass工具尝试绕过整个过程无需人工介入。3. 从零部署PentAGI避开Docker镜像陷阱直击生产环境适配要点很多人第一次跑PentAGI是在官方GitHub README里复制粘贴docker-compose up -d然后满怀期待地打开Web UI输入scan https://example.com……结果卡在“Initializing Agent”十分钟不动。这不是你的问题而是PentAGI对运行环境有几处极其关键、但文档里轻描淡写的要求。我花了整整三天时间在三台不同配置的服务器上反复验证才理清这套组合拳该怎么打。下面是我验证过的、100%能跑通的最小可行部署方案适用于Ubuntu 22.04 LTS其他发行版请自行替换包管理命令。3.1 基础依赖安装别跳过libxml2-dev和python3-devPentAGI的Tool Executor大量依赖Python的C扩展模块如lxml用于解析Nmap XMLcryptography用于TLS握手模拟。如果只装python3-pip你会在启动时遇到ImportError: libxml2.so.2: cannot open shared object file或fatal error: Python.h: No such file or directory。这是新手最常见的卡点。# 必须一次性装全顺序不能错 sudo apt update sudo apt install -y \ build-essential \ libxml2-dev \ libxslt1-dev \ python3-dev \ python3-venv \ git \ curl \ wget \ unzip \ jq \ nmap \ golang-go # 验证关键库 dpkg -l | grep -E (libxml2-dev|python3-dev)注意libxml2-dev必须在python3-dev之前安装否则pip install lxml会编译失败。这是Debian系包管理器的依赖解析特性不是PentAGI的Bug。3.2 工具链预置为什么推荐用源码编译而非apt安装PentAGI要求的工具版本往往比系统仓库里的新。比如Nuclei官方要求v3.2.0但Ubuntu 22.04的apt源里只有v2.8.3。旧版Nuclei不支持-t参数的模板分组语法会导致PentAGI的模板调度逻辑失效。同样httpx的最新版支持-probe-all-inputs能自动探测HTTP/HTTPS双协议而旧版只能指定单一协议。我的做法是为每个核心工具建立独立目录用官方推荐方式安装并创建软链接到/usr/local/bin。# 创建工具根目录 sudo mkdir -p /opt/pentagi-tools # 安装NucleiGo语言 cd /tmp wget https://github.com/projectdiscovery/nuclei/releases/download/v3.2.5/nuclei_3.2.5_linux_amd64.zip unzip nuclei_3.2.5_linux_amd64.zip sudo mv nuclei /opt/pentagi-tools/ sudo ln -sf /opt/pentagi-tools/nuclei /usr/local/bin/nuclei # 安装httpxGo语言 cd /tmp wget https://github.com/projectdiscovery/httpx/releases/download/v1.6.3/httpx_1.6.3_linux_amd64.zip unzip httpx_1.6.3_linux_amd64.zip sudo mv httpx /opt/pentagi-tools/ sudo ln -sf /opt/pentagi-tools/httpx /usr/local/bin/httpx # 安装sqlmapPython git clone --depth 1 https://github.com/sqlmapproject/sqlmap.git /opt/pentagi-tools/sqlmap sudo ln -sf /opt/pentagi-tools/sqlmap/sqlmap.py /usr/local/bin/sqlmap验证是否成功nuclei -version # 应输出 v3.2.5 httpx -version # 应输出 v1.6.3 sqlmap --version # 应输出 latest3.3 PentAGI核心服务启动绕过Ollama的GPU绑定陷阱PentAGI默认配置指向http://localhost:11434Ollama服务。但如果你的服务器没有NVIDIA GPU或者Ollama被配置为只绑定到127.0.0.1这是默认行为Web UI就会因连接超时而卡死。解决方案有两个我推荐后者方案A快速验证用API Key直连云端模型# 修改配置文件 nano ~/.pentagi/config.yaml将llm_provider部分改为llm_provider: type: openai api_key: sk-xxx # 替换为你自己的OpenAI Key base_url: https://api.openai.com/v1 model: gpt-4o-mini这样启动最快适合首次体验。方案B生产首选本地Ollama CPU优化# 下载Ollama Linux二进制不依赖GPU curl -fsSL https://ollama.com/install.sh | sh # 拉取CPU优化版模型比llama3:8b更小更快 ollama pull llama3:latest-cpu # 启动Ollama并监听所有接口关键 sudo systemctl stop ollama OLLAMA_HOST0.0.0.0:11434 ollama serve 然后修改config.yaml中的base_url为http://你的服务器IP:11434。这样Web UI就能跨机器访问也方便团队共享。3.4 Web UI启动与首个实战扫描用真实靶场验证闭环能力完成上述步骤后启动PentAGIgit clone https://github.com/pentagi-org/pentagi.git cd pentagi python3 -m venv venv source venv/bin/activate pip install -r requirements.txt python3 -m pentagi.webui访问http://your-server-ip:8000你会看到简洁的Web界面。现在用公认的红队靶场juice-shop来验证全流程# 启动Juice ShopDocker docker run -d -p 3000:3000 bkimminich/juice-shop # 在PentAGI Web UI中输入目标http://your-server-ip:3000 # 选择扫描模式Full Recon它会自动执行子域名枚举→端口扫描→Web指纹→漏洞扫描你会看到实时日志滚动[INFO] Orchestrator: Running subfinder for juice-shop.local... [INFO] ToolExecutor: subfinder completed. Found 3 subdomains. [INFO] Orchestrator: Running httpx on [sub1, sub2, sub3]... [INFO] ToolExecutor: httpx found 2 live hosts: http://admin.juice-shop.local, http://api.juice-shop.local [INFO] Orchestrator: Running nuclei on admin.juice-shop.local with cves/2021/CVE-2021-21287.yaml... [ALERT] Nuclei found CVE-2021-21287 (JWT Weak Secret) at http://admin.juice-shop.local/api/Users整个过程约4分30秒比手动操作快5倍以上且所有中间结果子域名列表、存活URL、Nuclei原始JSONL都保存在./outputs/目录下可随时审计。4. 实战深度拆解PentAGI如何破解“WAF绕过”这一红队永恒难题在真实红队作业中“WAF绕过”从来不是一道选择题而是一道必答题。你不可能每次都在客户允许下关闭WAF去测试也不可能靠人工穷举?id1%20UNION%20SELECT的108种变体。PentAGI对此的解法不是堆砌更多Payload字典而是构建了一套基于反馈驱动的自适应绕过引擎Adaptive Bypass Engine, ABE。它的核心思想是把WAF当作一个黑盒API用工具执行器的实时响应作为信号动态调整后续探测策略。我用一个真实案例来说明它是怎么工作的。4.1 场景还原某政务云平台的Cloudflare WAF拦截链目标https://portal.gov-cloud.gov.cn已知信息前端是Cloudflare后端是Java Spring Boot应用存在一个疑似未授权访问的API/api/v1/admin/users。手动测试时我们发现直接GET请求返回403 Forbidden且响应头有cf-ray: xxx确认是Cloudflare。加User-Agent: Mozilla/5.0后返回429 Too Many Requests说明WAF开启了速率限制。尝试?id1 OR 11返回503 Service Temporarily Unavailable这是Cloudflare的WAF拦截特征。这时候传统思路是换UA、加延时、换编码。但PentAGI的ABE会这样做第一轮试探BaselineExecutor发送一个无害的GET请求/api/v1/admin/users?test1记录响应状态码、响应头特别是cf-mitigated,x-waf-status、响应体长度。结果403cf-mitigated: 1。第二轮混淆ObfuscationOrchestrator调用LLM基于WAF指纹Cloudflare和当前拦截特征cf-mitigated: 1从内置知识库中选择混淆策略。它生成指令{tool: waf-bypasser, args: {url: https://portal.gov-cloud.gov.cn/api/v1/admin/users, strategy: double-encoding, param: test}}。Executor执行后发送/api/v1/admin/users?test%2527的双重URL编码结果429说明速率限制被触发但WAF没拦截。第三轮降频Rate ControlOrchestrator识别到429自动插入sleep(5)指令并切换UA为curl/7.81.0Cloudflare白名单UA之一。再次发送双重编码请求结果200 OK响应体是JSON格式的用户列表。整个过程在后台全自动完成耗时约12秒。而人工操作光是查Cloudflare的绕过文档、找合适的UA、手动编码、反复试错至少要5分钟。4.2 ABE引擎的三大技术支柱PentAGI的ABE不是魔法它由三个可验证、可调试的模块组成① WAF Fingerprinting ModuleWAF指纹识别模块它不依赖第三方库如Wappalyzer而是用一组精心设计的探针请求分析响应头、响应体、响应时间的微小差异。例如发送/xss?testscriptalert(1)/script观察是否返回X-WAF-Name: ModSecurity发送/sql?test1 AND 11--看是否返回503或403结合cf-ray头确认Cloudflare发送超长URL8000字符检测是否返回414 URI Too Long这是某些WAF的特征。这些探针全部预置在./pentagi/abf/fingerprints/目录下你可以随时增删。我给团队加了阿里云WAF的指纹规则只用了3个HTTP请求就实现了95%准确率。② Obfuscation Strategy Registry混淆策略注册中心这是一个YAML驱动的策略库。每个策略定义了适用WAF类型、生效条件如“当检测到cf-mitigated:1时启用”、编码方式、UA列表、延迟范围。例如Cloudflare的double-encoding策略name: cloudflare-double-encode waf_type: cloudflare condition: response.headers.get(cf-mitigated) 1 obfuscation: - type: url_encode depth: 2 chars: [, \, , ] - type: case_mutation targets: [select, union, and] ua_list: [curl/7.81.0, Go-http-client/1.1] delay_range: [3, 7]当你发现新WAF时只需新增一个YAML文件无需改一行Python代码。③ Feedback Loop Controller反馈闭环控制器这是ABE的大脑。它持续监控Executor返回的tool_result对象一旦发现状态码异常429,503,403就触发策略切换。更重要的是它会记录每次策略的“成功率”——比如double-encoding在Cloudflare上成功了7次失败2次那么下次遇到同类WAF它会优先尝试此策略。这个成功率数据存在SQLite数据库里重启不丢失。注意ABE默认是关闭的。你必须在扫描前勾选“Enable Adaptive Bypass”选项或者在YAML workflow中显式设置bypass_enabled: true。这是出于合规考虑——我们不想让系统在未经确认的情况下自动发起可能触发告警的绕过行为。5. 避坑指南那些官方文档绝不会告诉你的5个致命细节PentAGI的GitHub Wiki写得非常漂亮有漂亮的架构图、清晰的API文档、详尽的配置说明。但作为一个在生产环境跑了6个月、扫描过200个真实业务系统的红队老手我必须告诉你有5个细节它们不会出现在任何文档里但每一个都足以让你的首次部署失败或者在关键时刻掉链子。我把它们按严重程度排序从“立刻崩溃”到“隐蔽失效”。5.1 陷阱一Nuclei模板路径硬编码导致自定义模板永不生效你以为把自定义Nuclei模板放在~/.nuclei-templates/my-cve.yaml然后在PentAGI里配置nuclei_templates_dir: ~/.nuclei-templates就万事大吉错。PentAGI的Tool Executor在调用Nuclei时强制指定了-t参数的绝对路径并且这个路径是编译时写死的。我在pentagi/tool_executor/nuclei_executor.py里找到了这行代码cmd [nuclei, -u, target, -t, /opt/pentagi/nuclei-templates/cves/, -jsonl]它根本没读你的配置解决方案只有两个临时方案把你的模板拷贝到/opt/pentagi/nuclei-templates/cves/目录下需要sudo权限永久方案修改源码把硬编码路径换成config.get(nuclei_templates_dir, /opt/pentagi/nuclei-templates)然后提PR给官方我已经提了PR #421。5.2 陷阱二HTTP代理配置不继承导致所有扫描流量直连高危很多企业红队环境要求所有出站流量必须经过公司代理如Squid。你在config.yaml里设置了proxy: http: http://proxy.corp:3128 https: http://proxy.corp:3128但你会发现Nmap、httpx、Nuclei的流量依然直连目标完全不走代理因为PentAGI的Executor调用这些工具时没有设置HTTP_PROXY和HTTPS_PROXY环境变量。这是个严重的安全合规风险。修复方法很简单在tool_executor/base_executor.py的_run_command方法里加入env os.environ.copy() if config.proxy.http: env[HTTP_PROXY] config.proxy.http env[HTTPS_PROXY] config.proxy.https # 然后把env传给subprocess.run(...)加上这5行代码所有工具就自动走代理了。5.3 陷阱三子域名爆破的递归深度限制让大型企业资产漏网PentAGI默认的subfinder配置是-recursive -max-depth 2。对于corp.com它会扫*.corp.com和*.*.corp.com但不会扫*.*.*.corp.com。而真实企业里devops.ci.cd.corp.com、staging.api.v2.internal.corp.com这种四层域名比比皆是。我遇到过一个客户他们的核心GitLab实例就藏在gitlab.devops.tools.internal.corp.com默认配置完全扫不到。解决方案在config.yaml里增加subfinder: args: recursive: true max_depth: 4 timeout: 30注意timeout也要相应提高否则深层递归会超时失败。5.4 陷阱四LLM上下文窗口溢出导致长报告生成失败当你扫描一个大型资产如https://big-bank.comNuclei可能返回上千条结果。Orchestrator要把所有结果喂给LLM做总结但llama3:8b的上下文窗口只有8K token。一旦结果文本超过这个长度LLM调用就会静默失败Web UI卡在“Generating report…”不动。官方文档建议“减少模板数量”但这治标不治本。我的经验是在orchestrator/report_generator.py里加入摘要预处理def truncate_results(results, max_tokens4000): 按重要性截断结果保留critical/high随机采样medium/low critical [r for r in results if r.severity critical] high [r for r in results if r.severity high] rest [r for r in results if r.severity in [medium, low]] sampled_rest random.sample(rest, min(50, len(rest))) # 最多采样50条 return critical high sampled_rest这样既保证了高危漏洞不丢失又控制了LLM输入长度。5.5 陷阱五Docker Compose的网络隔离让本地工具无法访问宿主机服务这是最隐蔽的坑。当你用docker-compose up启动PentAGI它的容器默认在bridge网络而你本地启动的juice-shop在宿主机网络。容器里的PentAGI尝试访问http://localhost:3000实际上访问的是容器自己的localhost而不是宿主机的。结果就是扫描永远显示“Target unreachable”。解决方案只有两个推荐改用host网络模式在docker-compose.yml里加network_mode: host备选用宿主机IP代替localhost比如http://172.16.10.5:3000并在/etc/hosts里绑定域名。这5个坑我花了将近两周时间才全部踩完、定位、修复。现在我把它们整理成团队内部的《PentAGI上线Checklist》每次新环境部署前都逐条核对。分享给你是希望你少走弯路——毕竟在红队时间就是突破口每一分钟的无效等待都可能让对手加固完最后一道防线。6. 超越扫描PentAGI如何成为你的红队知识沉淀中枢很多人把PentAGI当成一个“更高级的自动化扫描器”这大大低估了它的潜力。在我参与的三个大型红队项目中它最宝贵的价值不是发现了多少个0day而是成了我们团队知识沉淀与经验复用的中枢系统。它把原本散落在个人笔记、微信群、Excel表格里的红队智慧固化成了可执行、可迭代、可共享的数字资产。6.1 将“师傅带徒弟”的经验变成可复用的YAML工作流传统红队里新人学“如何打穿某类OA系统”靠的是老员工手把手教先访问/seeyon/htmlofficeservlet看是否返回A8字样如果是就用a8_poc.py跑验证验证成功后再用a8_exploit.py上传Webshell。这个过程无法标准化更无法沉淀。PentAGI的YAML Workflow机制彻底改变了这一点。我们为某国产OA系统创建了一个seeyon-workflow.yamlname: Seeyon A8 Deep Scan description: Comprehensive exploitation for Seeyon A8 OA steps: - name: Fingerprint tool: httpx args: urls: [{{target}}/seeyon/htmlofficeservlet] status_codes: [200] follow_redirects: false output_key: a8_fingerprint - name: Verify CVE-2023-28771 tool: nuclei args: target: {{target}} template: custom/seeyon/CVE-2023-28771.yaml condition: {{a8_fingerprint.status_code 200}} - name: Exploit Upload Shell tool: custom-exploiter args: target: {{target}} exploit: seeyon_a8_rce shell_path: ./shells/jsp_shell.jsp condition: {{step_2.result.matched_at ! null}}这个YAML文件就是一份活的、可执行的红队手册。新人拿到它pentagi run -f seeyon-workflow.yaml -t https://oa.target.com就能一键复现整套打法。更重要的是当厂商发布新补丁我们只需要更新CVE-2023-28771.yaml模板所有使用该Workflow的队员下次扫描就自动生效。知识不再锁在某个人脑子里而是变成了团队的公共资产。6.2 把每次红队报告自动转化为结构化威胁情报PentAGI的Report Generator模块默认输出Markdown格式的PDF报告。但这只是冰山一角。我们把它对接到了内部的威胁情报平台TIP通过一个简单的Python Hook实现了报告内容的自动结构化提取每个漏洞条目被解析为STIX 2.1格式的Vulnerability对象包含id,name,description,cvss_score,cve_id,external_references每个被攻陷的主机生成IPv4-Addr对象并关联到Malware如webshell.jsp和Attack-Pattern如T1190: Exploit Public-Facing Application整个攻击链生成Kill-Chain-Phase序列标记为Reconnaissance、Weaponization、Delivery等阶段。这些结构化数据每天凌晨自动同步到TIP供SOC团队做关联分析。上周TIP就基于PentAGI上报的CVE-2023-28771利用事件关联到了三天前另一支红队在不同子公司发现的同类漏洞从而推动了全集团的紧急补丁推送。这已经超越了“渗透测试”的范畴进入了“主动防御”的层面。6.3 用LLM做红队战术复盘发现你忽略的“第二层漏洞”最让我惊喜的是PentAGI的pentagi analyze命令。它能读取一次完整扫描的outputs/目录调用LLM进行深度复盘。比如我让它分析一次对某电商平台的扫描pentagi analyze --scan-id 20240520-142233 --focus business-logic它返回的不是泛泛而谈的“加强输入验证”而是具体指出“在/api/v2/orders/create接口中参数coupon_code未校验归属权。攻击者可用任意用户ID提交订单再用该订单号调用/api/v2/orders/{id}/refund实现无限退款。此漏洞未被Nuclei模板覆盖但HTTP响应体中coupon_applied: true与user_id: 123的组合暗示了归属校验缺失。”这个洞察是基于对上千个真实电商API响应体的模式学习得出的。它把LLM从“漏洞描述生成器”升级为了“业务逻辑缺陷探测器”。虽然目前准确率约68%但它提示的方向往往是我们人工审计最容易忽略的盲区——那些不写在OWASP Top 10里却真实存在于业务代码深处的“第二层漏洞”。PentAGI的终极价值不在于它多快而在于它让红队的经验从“人脑记忆”变成了“机器可执行的知识”从“一次性消耗品”变成了“可持续复利的资产”。当你开始用YAML定义战术、用结构化数据沉淀情报、用LLM挖掘深层逻辑时你就已经站在了AI赋能红队的真正起点上。这条路还很长但至少我们手里握着的不再是零散的脚本和模糊的经验而是一套正在自我进化的作战系统。